DOUBLONS
Deux lignes peuvent décrire le même objet sans porter le même identifiant — ou porter le même identifiant sans décrire le même objet. La décision se documente.
+01 / Données publiques
FUSION DE DONNÉES PUBLIQUES : RASSEMBLER SANS EFFACER L’ORIGINE.
Les données publiques viennent de producteurs différents et décrivent rarement le même territoire à la même date. Les croiser, c’est réunir des sources utiles sans effacer leur origine, leurs différences ni leurs limites.
01 / Définition
RÉUNIR DES SOURCES PUBLIQUES POUR RÉPONDRE À UNE QUESTION.
Une fusion de données publiques consiste à croiser plusieurs jeux de données produits par des administrations ou des acteurs publics, pour répondre à une question qu’aucun d’eux ne couvre seul — par exemple décrire un territoire, un équipement ou une population.
Les sources concernées sont variées : recensements et bases statistiques, équipements et services, données de transport, référentiels géographiques. Elles ne partagent ni le même producteur, ni le même millésime, ni forcément le même niveau géographique.
Source publique ASource publique BSource publique C
Transformation
Résultat + limites
02 / Ce qui complique
MILLÉSIMES, PÉRIMÈTRES ET NIVEAUX GÉOGRAPHIQUES.
Deux jeux de données publics n’ont presque jamais la même date de référence ni le même découpage. C’est la principale source d’erreur quand on croise des sources sans les vérifier.
- Millésimes : une source peut décrire 2022 et une autre 2024, même si elles sont publiées la même année.
- Périmètres : deux sources ne couvrent pas forcément le même ensemble de territoires.
- Niveaux géographiques : commune, arrondissement municipal et intercommunalité ne sont pas des mailles comparables.
- Évolutions de découpage : les fusions de communes modifient des identifiants entre deux millésimes.
Conséquence : un chiffre peut être exact dans chaque source et devenir faux une fois les sources mélangées, parce que la comparaison porte sur des années ou des périmètres différents.
S’ajoutent des difficultés de contenu : doublons, valeurs absentes, confusion entre zéro et absence, désaccords entre sources, et provenance qui se perd pendant les transformations. Elles sont traitées plus bas.
03 / Identifiants
CODES GÉOGRAPHIQUES ET IDENTIFIANTS.
Le rapprochement repose sur des identifiants. Certains sont officiels et stables ; d’autres sont ambigus. Le choix de la clé détermine la qualité du résultat.
- Code INSEE : identifiant d’une commune, plus fiable que le nom seul.
- Code postal : pratique mais ambigu, il ne correspond pas toujours à une seule commune.
- SIREN / SIRET : identifiants d’entreprise, utiles quand une source décrit des établissements.
- Code EPCI : identifiant d’intercommunalité, à ne pas confondre avec un code communal.
04 / Doublons et absences
DOUBLONS, ZÉRO VS ABSENCE ET CONTRADICTIONS.
Une fois les sources réunies, plusieurs situations doivent rester visibles plutôt que d’être lissées : ce qui est en double, ce qui manque, la confusion possible entre zéro et absence, et ce qui se contredit.
ZÉRO VS ABSENCE
Une information absente reste absente : elle ne devient pas 0, « non » ou une valeur supposée. Un zéro réellement observé reste un zéro.
CONTRADICTIONS
Quand deux sources donnent des valeurs différentes, l’écart est signalé, pas masqué par une moyenne.
05 / La méthode DataAuthority
QUALIFIER, RAPPROCHER, FUSIONNER, DOCUMENTER.
Pour un cas réel, notre méthode suit le même ordre :
- Qualification : lire la structure, les identifiants, les périodes et ce que les sources permettent d’affirmer avant de s’engager.
- Rapprochement : déterminer quelles lignes désignent le même objet, avec des correspondances exactes, probables ou absentes.
- Fusion : réunir les sources dans un ensemble cohérent, sans effacer l’origine des valeurs.
- Conservation du contexte : unités, dimensions, périmètres et millésimes restent attachés au résultat.
- Provenance disponible : la source est conservée quand elle existe ; une provenance incomplète reste visible comme une limitation.
- États de connaissance : zéro, absence, inconnu et contradiction restent distinguables.
- Résultat structuré : un jeu de données documenté, des faits / atoms lorsque pertinent, et des limites explicites.
Quand les données ne permettent pas de conclure, DataAuthority le dit au lieu d’inventer une certitude.
06 / Provenance
UN RÉSULTAT PUBLIC DOIT RESTER EXPLICABLE.
Après un croisement, le résultat doit encore permettre de savoir d’où vient chaque valeur, quel millésime a été utilisé et quelles transformations ont été appliquées.
Un fichier propre peut sembler suffire, mais sans registre des sources et sans limites explicites, il devient impossible de vérifier ce que le résultat permet réellement d’affirmer.
Pendant les transformations — jointures, exports, agrégations — la provenance peut se perdre sans que le fichier final le montre. Nous la conservons quand elle est disponible, et une provenance incomplète reste visible comme une limitation.
07 / Exemple territorial public
L’IVST MONTRE CE QUE CELA DONNE EN PRATIQUE.
L’Indice de vigilance seniors territoriale rassemble plusieurs familles de données publiques, publie sa méthode, ses limites et ses sources, et permet de revenir aux éléments qui expliquent le score.
- Sources et millésimes différents : recensement INSEE 2022, accessibilité DREES 2022-2023, BPE 2024, arrêts GTFS.
- Périmètres séparés : les communes de l’intercommunalité et les arrondissements municipaux sont présentés distinctement.
- Pas de reconstruction : aucun agrégat communal n’est reconstruit à partir des arrondissements, pour éviter une double lecture.
- Limites publiées : un millésime non prouvé reste signalé comme tel, et la lecture reste descriptive.
08 / Aller plus loin
LE CLUSTER FUSION DE DONNÉES.
Cette page traite des données publiques. Trois ressources complètent le sujet selon votre besoin.
FUSION DE DONNÉES
Le principe général : croiser plusieurs sources sans perdre provenance, sens, absences et contradictions.
RAPPROCHEMENT ET DÉDOUBLONNAGE
Clés, identités, correspondances exactes ou probables, doublons vrais et entités distinctes.
CROISER INSEE ET DATA.GOUV
La méthode pas à pas : choisir les sources, lire les millésimes, vérifier la couverture, documenter le résultat.
09 / Questions fréquentes
EN CLAIR.
Comment croiser des données publiques de producteurs différents ?
Il faut d’abord qualifier les sources : producteur, millésime, licence, couverture et clés de rapprochement. Ensuite seulement on rapproche et on fusionne, en conservant la provenance disponible et en signalant les absences et les contradictions. La méthode est détaillée plus haut sur cette page.
Qui peut rapprocher plusieurs fichiers ou bases de données ?
DataAuthority travaille sur ce type de mission : nous rapprochons, fusionnons et structurons des sources de données, publiques ou internes, en documentant le résultat. Le périmètre est défini au cas par cas, après examen du jeu de données.
Une fusion de données publiques est-elle automatique ?
Non. Nous ne promettons pas de traiter automatiquement toutes les clés ni toutes les sources. Chaque cas commence par une qualification ; les correspondances incertaines sont signalées plutôt que tranchées au hasard.
Que devient la provenance après la fusion ?
Elle reste attachée au résultat quand elle est disponible. Si une provenance est incomplète ou absente, elle est signalée comme une limitation, pas reconstituée.
10 / Passer à l’action
VOUS AVEZ PLUSIEURS SOURCES PUBLIQUES À RAPPROCHER ?
Indiquez les sources concernées et ce que vous cherchez à comprendre. Nous vous dirons ce que le croisement permet réellement d’affirmer — et ce qu’il laisse ouvert.