Skip to content

finess: ajout de la validation des données en fin de pipeline et amélioration de la documentation

Timothée CHEHAB requested to merge feature/finess into develop

Ce commit ajoute la phase de validation des données en fin de pipeline FINESS. Cette validation est réalisée à l'aide du standard Table Schema par le framework frictionless, qui remplace goodtables depuis fin 2020. Le table schema du référentiel FINESS historisé a également été mis à jour. Cette mise à jour s'accompagne de l'ajout de la dépendance table-schema-to-markdown permettant de générer la documentation des données produites à partir des tables schemas. À noter que le test de validation des données produites est désactivé par défaut, ce dernier prenant un peu plus de 10mn. Dans le même esprit, un nouveau paramètre de la CLI permet de désactiver la validation des données en fin de pipeline si cela est souhaité.

Merge request reports

Loading