+Tutoriel / Données publiques

CROISER DES DONNÉES INSEE ET DATA.GOUV SANS PERDRE LA PROVENANCE

Croiser des données publiques ne se résume pas à une jointure. Les millésimes, les périmètres et les identifiants doivent être vérifiés avant la fusion, et la provenance conservée après. Voici la méthode que nous appliquons, étape par étape.

01 / Les deux familles de sources

UN PRODUCTEUR ET UNE PLATEFORME NE JOUENT PAS LE MÊME RÔLE.

Avant de croiser quoi que ce soit, il faut distinguer deux choses souvent confondues : qui produit la donnée, et par où elle est diffusée.

01

LE PRODUCTEUR

L’INSEE produit des statistiques publiques : recensement de la population, Base permanente des équipements, référentiels géographiques. C’est la source d’origine à citer.

02

LA PLATEFORME

data.gouv.fr est la plateforme nationale d’ouverture des données publiques françaises. Elle référence et héberge des jeux de données produits par des administrations.

03

CE QU’IL FAUT NOTER

Pour chaque fichier : producteur, intitulé exact, millésime, licence et date de récupération — quand ces éléments sont prouvés.

Règle : une plateforme de diffusion n’est pas la source d’origine. On cite le producteur, pas seulement l’endroit où le fichier a été téléchargé.

02 / Étape 1

CHOISIR LES SOURCES ET NOTER LEUR ORIGINE.

Deux fichiers publiés à la même période peuvent décrire des réalités différentes. La première étape consiste à écrire noir sur blanc ce que l’on croise, avec sa provenance complète.

  • Producteur : l’organisme qui a produit la donnée.
  • Intitulé exact : le nom du jeu de données, pas une reformulation approximative.
  • Millésime : l’année ou la période de référence, pas la date de téléchargement.
  • Licence : ce que la source autorise, lorsqu’elle est indiquée.
  • Date de récupération : quand le fichier a été obtenu.

03 / Étape 2

IDENTIFIER LES MILLÉSIMES.

Deux fichiers peuvent être publiés la même semaine et décrire des années différentes. Croiser un millésime récent avec un millésime ancien produit une comparaison qui n’a pas de sens, même si les intitulés se ressemblent.

Un millésime doit être lu et écrit explicitement. Quand il n’est pas prouvé, il reste signalé comme non prouvé — il ne se déduit pas de la date de publication.

04 / Étape 3

DÉFINIR LA CLÉ DE RAPPROCHEMENT.

Pour croiser deux sources publiques, la clé la plus fréquente est l’identifiant de la commune (code INSEE). Elle est plus fiable que le nom, qui peut être ambigu.

  • Préférer un code : un identifiant officiel se compare exactement.
  • Éviter le nom seul : homonymies, accents et libellés variables provoquent des erreurs.
  • Vérifier le niveau : commune, arrondissement municipal ou intercommunalité ne sont pas interchangeables.

05 / Étape 4

VÉRIFIER LA COUVERTURE.

Avant de fusionner, il faut savoir si les deux sources parlent du même terrain. Une fusion réussie sur la moitié des territoires n’est pas la même chose qu’une fusion complète.

  • Les deux sources couvrent-elles les mêmes territoires ?
  • Sont-elles au même niveau géographique ?
  • Combien d’unités correspondent, et combien restent sans correspondance ?
  • Des fusions de communes ont-elles modifié des identifiants entre les deux millésimes ?
À retenir : une correspondance manquante se traite comme une question ouverte, pas comme une absence certaine. La ligne existe peut-être sous une autre forme dans la seconde source.

06 / Étape 5

EFFECTUER LE RAPPROCHEMENT.

Le rapprochement produit un nouvel ensemble de données. Chaque ligne du résultat doit pouvoir dire d’où elle vient : quelle ligne de chaque source a contribué, par quelle clé, et avec quel niveau de confiance.

Ce n’est pas une étape purement technique. Les décisions prises ici — accepter une correspondance, en écarter une autre, laisser un cas incertain — font partie du résultat et doivent être explicables.

07 / Étape 6

SIGNALER LES ABSENCES ET LES CONTRADICTIONS.

Une fois les sources réunies, ce qui manque et ce qui se contredit fait partie du résultat. L’effacer donne une impression de complétude qui n’existe pas dans les données.

A

ABSENCE

Une source ne fournit pas l’information. La case reste vide, elle ne devient pas 0.

B

CONTRADICTION

Deux sources donnent des valeurs différentes. L’écart est signalé, pas moyenné.

C

HORS PÉRIMÈTRE

La ligne appartient à un territoire qu’une des sources ne couvre pas au même niveau.

08 / Étape 7

PRODUIRE UN RÉSULTAT DOCUMENTÉ.

Le résultat d’un croisement n’est pas seulement un fichier. Pour qu’il reste utilisable et vérifiable, il s’accompagne de ce qui permet de le comprendre, y compris plusieurs mois plus tard.

  • Le jeu de données : CSV, Parquet, NDJSON ou base DuckDB selon l’usage.
  • Le dictionnaire de colonnes : nom, type, unité, famille de source et limites.
  • Le registre des sources : producteur, millésime, licence.
  • Un rapport de contrôle : ce qui manque, ce qui se contredit, ce qui reste incertain.
  • Une page explicative : méthode, choix, limites d’interprétation.

09 / Exemple public

LA MÉTHODE APPLIQUÉE : L’INDICE DE VIGILANCE SENIORS TERRITORIALE.

Notre étude publique sur les seniors territoriaux applique cette méthode à des sources publiques de producteurs et de millésimes différents.

  • INSEE — recensement 2022 : population par âge et modes de cohabitation.
  • DREES : accessibilité aux médecins généralistes, millésimes 2022 et 2023.
  • INSEE BPE 2024 : équipements, commerces et services de proximité.
  • GTFS : arrêts de transport public ; producteur et millésime non prouvés, signalés comme tels.

Ces sources ont des millésimes différents et ne décrivent pas toutes le même périmètre. L’étude les publie séparément, avec son dictionnaire de colonnes, ses sources et ses limites, plutôt que de les fusionner en une lecture unique.

Portée : cette page décrit une méthode et un cas public déjà en ligne. Elle ne remplace pas une expertise locale et ne publie pas de jeu de données interne.

10 / Questions fréquentes

EN CLAIR.

Peut-on croiser n’importe quelles données INSEE et data.gouv ?

Non. Il faut que les deux sources décrivent le même objet au même niveau et partagent une clé utilisable. Deux jeux de données publiés la même année ne couvrent pas forcément le même périmètre.

data.gouv.fr est-il la source des données ?

data.gouv.fr est la plateforme nationale d’ouverture des données publiques françaises. La source d’origine reste l’administration qui a produit le jeu de données : c’est ce producteur qu’il faut citer, avec son millésime et sa licence.

Que faire quand un millésime est inconnu ?

Le signaler comme non prouvé plutôt que de supposer une année. Un millésime supposé peut rendre une comparaison fausse sans que cela se voie.

Faut-il un identifiant officiel pour rapprocher deux sources ?

C’est préférable. Quand aucun identifiant fiable n’est disponible, le rapprochement s’appuie sur des indices comme le nom ou l’adresse, avec un niveau de confiance plus faible et des cas à confirmer.

11 / Passer à l’action

VOUS VOULEZ CROISER DES SOURCES PUBLIQUES ?

Indiquez les jeux de données concernés et la question à laquelle vous voulez répondre. Nous vous dirons ce que le croisement permet réellement d’affirmer, et ce qu’il laisse ouvert.