+Fusion de données

FUSION DE DONNÉES : CROISER PLUSIEURS SOURCES SANS PERDRE LEUR SENS

Fusionner des données ne consiste pas seulement à mettre plusieurs fichiers dans une même table. Il faut aussi savoir d’où vient chaque valeur, ce qui a été transformé, ce qui manque et quelles conclusions restent légitimes après le rapprochement.

01 / Définition

FUSIONNER, CE N’EST PAS SEULEMENT METTRE DEUX FICHIERS ENSEMBLE.

La fusion de données consiste à réunir des informations venant de plusieurs sources pour répondre à une question qu’aucune source ne couvre seule. Elle peut traverser des formats différents — CSV, Parquet, NDJSON ou une base DuckDB — et des étapes de nettoyage, de normalisation et de rapprochement.

Le résultat n’est pas seulement une table plus large. C’est une information nouvelle, qui doit rester reliée à ce qui l’a produite : d’où vient chaque valeur, ce qui a été transformé, ce qui manque et là où les sources se contredisent.

01

RÉUNIR

Rassembler des sources qui décrivent le même sujet, sans effacer leurs différences de format, de date ou de définition.

02

RAPPROCHER

Déterminer quand deux lignes parlent réellement du même objet : une commune, une entreprise, un équipement, une adresse.

03

DOCUMENTER

Garder la trace des transformations pour que le résultat reste explicable après coup, y compris pour un lecteur qui n’a pas fait la fusion.

02 / Vocabulaire

FUSION, INTÉGRATION, CONSOLIDATION, RAPPROCHEMENT.

Ces mots sont souvent employés l’un pour l’autre. Les distinguer aide à savoir de quelle opération on parle vraiment, et ce qui a réellement été fait sur les données.

  • Fusion : réunir plusieurs sources dans un même ensemble de données.
  • Intégration : faire entrer des sources hétérogènes dans un même modèle ou un même schéma.
  • Consolidation : réunir des informations dispersées en une vue unique par entité.
  • Rapprochement : établir une correspondance entre des lignes de sources différentes qui désignent le même objet.
  • Agrégation : regrouper des lignes pour produire un total ou une moyenne, ce qui change le niveau de lecture.
Nuance : ces distinctions ne sont pas des normes officielles ; les usages varient d’une organisation à l’autre. Elles servent surtout à nommer précisément chaque étape, pour éviter de croire qu’une fusion a tout réglé.

03 / Déroulé

LES ÉTAPES D’UNE FUSION DE DONNÉES.

Une fusion utile se prépare avant la jointure et se termine après elle. Chaque étape peut introduire une décision qu’il faudra pouvoir expliquer.

Source ASource BSource C
Clé de rapprochement Contrôle + provenance Résultat + limites
  • Définir la question et le périmètre avant de choisir les sources.
  • Identifier chaque source : producteur, millésime et licence lorsqu’ils sont prouvés.
  • Choisir une clé de rapprochement et vérifier ce qu’elle couvre réellement.
  • Rapprocher et dédoublonner, en traitant les correspondances incertaines.
  • Contrôler ce qui manque, ce qui se contredit et ce qui sort du périmètre.
  • Documenter les transformations et les limites du résultat.

04 / Clés de rapprochement

LA CLÉ DÉCIDE DE CE QUI EST FUSIONNÉ.

Une fusion repose rarement sur un identifiant parfait. Un SIREN, un code INSEE ou un code postal peut être absent, mal saisi ou réutilisé. Il faut alors décider, cas par cas, ce qui est considéré comme la même chose — et documenter ce choix.

Deux fichiers peuvent désigner le même objet sans le nommer de la même façon. La difficulté n’est pas technique : elle est dans la décision de considérer deux lignes comme une seule.

05 / Absence et contradiction

ABSENCE, ZÉRO ET CONTRADICTION NE SONT PAS LA MÊME CHOSE.

Après une fusion, une case vide peut signifier trois choses très différentes. Les confondre revient à fabriquer une information qui n’existait pas dans les sources.

  • Absent : la source ne fournit pas l’information.
  • Zéro : la source observe explicitement une valeur nulle.
  • Contradiction : deux sources donnent des valeurs différentes pour le même objet.
  • Incertain : la correspondance entre deux lignes reste probable, pas certaine.
Règle : une valeur absente ne doit pas devenir 0, et une contradiction ne doit pas être lissée par une moyenne. Un lecteur — ou une IA — qui ne reçoit que le résultat final ne peut plus faire la différence.

06 / Millésimes et périmètres

DEUX SOURCES PEUVENT PARLER DU MÊME SUJET SANS DÉCRIRE LE MÊME PÉRIMÈTRE.

Deux jeux de données publics n’ont presque jamais la même date ni le même découpage géographique. Un millésime 2022 et un millésime 2024 ne décrivent pas la même réalité, même lorsqu’ils portent le même intitulé.

Le périmètre compte autant que la date : une commune, un arrondissement municipal et un territoire intercommunal ne sont pas des mailles équivalentes. Les comparer directement revient à comparer des niveaux différents.

07 / Provenance

APRÈS LA FUSION, LA SOURCE DOIT ENCORE ÊTRE RETROUVABLE.

Une valeur agrégée peut sembler précise alors que son origine a disparu. Garder la provenance, c’est pouvoir remonter d’un résultat à la source, à sa date et aux transformations qui l’ont produit.

C’est ce qui permet de distinguer un fait observé d’une déduction, et de savoir ce qu’une réponse a le droit d’affirmer.

08 / Exemple public

UN CAS PUBLIC : L’INDICE DE VIGILANCE SENIORS TERRITORIALE.

Notre étude publique sur les seniors territoriaux rassemble plusieurs familles de données publiques. Elle montre concrètement ce que signifie fusionner en gardant la source visible.

  • INSEE — recensement 2022 : population par âge et modes de cohabitation.
  • DREES : accessibilité aux médecins généralistes, millésimes 2022 et 2023.
  • INSEE BPE 2024 : équipements, commerces et services de proximité.
  • GTFS : arrêts de transport public, dont le producteur et le millésime ne sont pas prouvés et restent signalés comme tels.

L’étude sépare des périmètres de nature différente — des communes d’un côté, des arrondissements municipaux de l’autre — et affiche ses limites à côté de ses résultats plutôt que de les masquer.

09 / IA

CE QU’UNE IA PEUT — ET NE DOIT PAS — DÉDUIRE APRÈS UNE FUSION.

Une IA qui reçoit un tableau fusionné voit le résultat, pas les décisions qui l’ont produit. Si les absences, les contradictions et les périmètres disparaissent, elle peut conclure davantage que ce que les données permettent.

  • Ce qui a été observé et ce qui a été déduit.
  • Ce qui reste absent et ne doit pas être comblé.
  • Là où les sources se contredisent.
  • Ce que le périmètre couvre réellement.

10 / Questions fréquentes

EN CLAIR.

Qu’est-ce que la fusion de données ?

Réunir des informations issues de plusieurs sources pour répondre à une question qu’aucune source ne couvre seule, en gardant la trace de l’origine, des transformations et des limites du résultat.

Fusionner des données, est-ce simplement faire une jointure ?

Non. Une jointure est une opération technique qui relie deux tables sur une clé commune. La fusion commence avant — choisir la clé, vérifier ce qu’elle couvre, décider quelles lignes désignent le même objet — et continue après, en documentant ce qui manque et ce qui se contredit.

Que faire quand deux sources donnent des valeurs différentes ?

Ne pas masquer l’écart. Une contradiction est une information en soi : elle peut venir d’un millésime, d’un périmètre ou d’une définition différente. La signaler fait partie du résultat.

Une fusion de données donne-t-elle un résultat fiable à coup sûr ?

Non. Une fusion documentée rend le résultat explicable, mais elle ne supprime ni les erreurs de source, ni les limites de couverture. Elle permet surtout de savoir ce que le résultat ne permet pas d’affirmer.

11 / Passer à l’action

VOUS AVEZ PLUSIEURS SOURCES À RÉUNIR ?

Décrivez le jeu de données et la question à laquelle vous voulez répondre. Nous vous dirons ce que la fusion permet réellement d’affirmer — et ce qu’elle ne permet pas.