CONNU
Une valeur est disponible pour ce fait.
+Fiabilité / Multi-sources
FIABILITÉ DES DONNÉES : COMMENT FIABILISER PLUSIEURS SOURCES ?
Une base peut être propre, structurée et techniquement valide tout en conduisant à une mauvaise conclusion. Fiabiliser des données ne se limite donc pas à supprimer des doublons ou à corriger des formats.
01 / Le problème
FUSIONNER DES DONNÉES NE SUFFIT PAS À LES RENDRE FIABLES.
Lorsque plusieurs sources sont rapprochées, elles peuvent décrire le même objet avec des périodes, des périmètres, des identifiants ou des définitions différents. Le résultat est alors exploitable — mais la conclusion qu’on en tire peut être fausse.
La fiabilité des données ne consiste pas seulement à nettoyer ce qui se voit. Elle consiste aussi à pouvoir répondre à une question plus simple :
Question : sur quoi repose exactement ce fait ?
02 / Plusieurs sources
DEUX SOURCES PEUVENT ÊTRE CORRECTES ET NE PAS DIRE LA MÊME CHOSE.
Prenons un exemple : Source A → 42 et Source B → 47.
Ces deux valeurs ne prouvent pas automatiquement que l’une des sources est fausse. Elles peuvent correspondre à :
- Deux périodes différentes : la même grandeur n’est pas mesurée au même moment.
- Deux périmètres différents : une commune, un arrondissement et un territoire intercommunal ne sont pas des mailles équivalentes.
- Deux méthodes de calcul : la définition retenue n’est pas la même.
- Une correction : une version a été révisée entre deux publications.
- Un désaccord réel : les producteurs ne documentent pas la même réalité.
Choisir arbitrairement 42 ou 47 produirait une certitude que les données ne permettent pas forcément d’établir. La première étape de la fiabilisation consiste donc à conserver le désaccord avant de chercher à le résoudre.
03 / Ce qu’il faut conserver
UNE VALEUR SEULE NE RACONTE PAS SON HISTOIRE.
Pour interpréter un fait provenant de plusieurs sources, il peut être nécessaire de connaître autre chose que sa valeur :
Valeur
Source · période · périmètre
Transformations · couverture
Contradictions · limites
C’est pourquoi DataAuthority travaille à partir de faits structurés plutôt que d’une sortie globale dont l’origine serait devenue impossible à retrouver.
La provenance ne garantit pas à elle seule qu’une donnée est correcte. Mais sans provenance, il devient beaucoup plus difficile de comprendre, vérifier ou contester le résultat.
04 / Données manquantes
UNE ABSENCE N’EST PAS UNE VALEUR.
Une difficulté fréquente apparaît lorsqu’une source ne contient aucune information. Une case vide peut vouloir dire « aucune valeur disponible » — et non « la valeur est zéro ».
Ces deux situations produisent pourtant des résultats très différents lorsqu’elles alimentent ensuite un calcul, un classement, un rapport ou une IA. Pour fiabiliser les données, l’absence doit donc pouvoir rester une absence.
05 / Transformations
UNE DONNÉE PEUT ÊTRE JUSTE AU DÉPART ET MAL INTERPRÉTÉE À L’ARRIVÉE.
Filtrer des lignes, regrouper des catégories, changer une unité, fusionner deux tables ou calculer une moyenne peut modifier la portée d’un résultat. Le problème n’est donc pas uniquement : « la source est-elle fiable ? »
Il faut aussi demander : « que lui est-il arrivé depuis la source ? » DataAuthority cherche à conserver ce parcours avec les faits afin que les transformations importantes ne disparaissent pas dans la sortie finale.
06 / Fiabilité et qualité
UNE DONNÉE TECHNIQUEMENT VALIDE PEUT RESTER INSUFFISANTE.
Un champ peut respecter parfaitement son format sans que l’on sache encore de quelle année il s’agit, de quel territoire, selon quelle définition, avec quelle couverture, ni si une autre source fournit une valeur incompatible.
La validité technique est nécessaire dans de nombreux traitements. Mais elle ne suffit pas toujours à établir ce qu’une information permet réellement d’affirmer. C’est précisément cette question que DataAuthority cherche à conserver pendant la transformation des données.
07 / Données d’entreprise
CRM, ERP, FICHIERS MÉTIERS : LE PROBLÈME RESTE LE MÊME.
Une entreprise peut disposer de plusieurs systèmes décrivant les mêmes clients, établissements, produits, fournisseurs ou territoires. Les données sont alors souvent réparties, dupliquées, datées différemment, définies différemment ou simplement incomplètes.
Périmètre : DataAuthority n’a pas vocation à remplacer les outils d’intégration ou les infrastructures de données existantes. Le moteur intervient sur une autre question : après avoir rapproché plusieurs sources, que peut-on encore affirmer avec les données obtenues ?
08 / DataAuthority
DE LA SOURCE AU FAIT INTERROGEABLE.
DataAuthority transforme des données structurées issues de sources dispersées en faits interrogeables tout en conservant les éléments nécessaires à leur interprétation. Le moteur travaille actuellement au cas par cas sur des jeux de données structurés, notamment CSV, Parquet, DuckDB et NDJSON.
Son objectif n’est pas de fabriquer une réponse lorsqu’une information manque. Il est de préserver ce que les données permettent réellement de savoir :
ABSENT
La source ne fournit pas cette information.
INCONNU
L’information devrait exister mais sa valeur n’est pas connue.
CONFLIT
Deux valeurs incompatibles sont disponibles.
avec leurs sources et leurs limites lorsque les contrats disponibles permettent de les établir.