Fiche de jeu de données IA : provenance, qualité et limites à documenter.
Le volume d’un jeu de données ne prouve ni sa qualité ni son aptitude à un usage. Une fiche exploitable permet de savoir ce qui entre dans le système et ce qu’il serait imprudent d’en déduire.
Une fiche de données décrit l’origine, les droits, la période, la population couverte, les exclusions, les étapes de préparation, les erreurs connues, les tests de qualité, les versions et les usages interdits. Elle est reliée aux décisions et au contexte du système.
Identifier la source et les droits avant l’entraînement ou le test
02
Mesurer la couverture et les absences
03
Documenter la préparation et les corrections
04
Relier les données aux performances par groupe et par situation
01
Commencer par la provenance et le droit d’usage
Une table extraite d’un outil métier peut sembler disponible, sans que son usage pour entraîner ou évaluer un système d’IA ait été prévu. La fiche note la source, le responsable, la période, la méthode de collecte, les licences, les restrictions contractuelles et les finalités autorisées. Elle distingue les données utilisées pour l’entraînement, la validation, le test et l’exploitation. Il faut vérifier séparément les règles applicables aux données personnelles, au secret et à la propriété intellectuelle. Le fait qu’une donnée soit accessible techniquement ne suffit pas à autoriser tous les usages.
Dans un dossier RH, les candidatures passées ne représentent pas nécessairement les candidatures futures. Les pratiques de recrutement ont pu changer, et les données historiques peuvent refléter des exclusions anciennes. Dans un assistant documentaire, un corpus peut mélanger des textes à jour, des versions périmées et des documents auxquels certains utilisateurs n’ont pas droit. La provenance doit permettre de retrouver et de retirer une source lorsque sa qualité ou son droit d’usage est contesté.
La qualité se mesure en fonction de la tâche. Un taux global de champs remplis cache parfois l’absence d’information sur un groupe précis ou une situation rare mais importante. La fiche présente les catégories couvertes, les volumes utiles, les valeurs manquantes, les erreurs d’étiquetage, les doublons et les changements temporels. Elle explique comment les données ont été nettoyées, annotées et séparées pour éviter qu’un même cas apparaisse à la fois dans l’apprentissage et dans le test.
L’article 10 prévoit des exigences particulières pour les systèmes à haut risque qui utilisent des jeux de données d’entraînement, de validation ou de test. Il faut lire ce texte avec le rôle de l’organisation et l’usage étudié. La fiche de données est un instrument pratique pour mettre ces exigences au travail, non un format réglementaire unique. Même lorsqu’un projet ne relève pas du haut risque, documenter les limites évite de présenter une précision moyenne comme une garantie générale.
Une représentation déséquilibrée ne prouve pas à elle seule une discrimination, mais elle indique où tester davantage. Comparez les erreurs selon les situations pertinentes et demandez ce qu’elles produisent dans le processus. Un faux négatif peut être plus grave qu’un faux positif si une candidature disparaît de la pile consultée. Dans un environnement industriel, un défaut rare peut être le cas le plus important pour la sécurité. Les mesures utiles découlent du dommage possible et de la décision influencée.
La fiche distingue ce qui est observé, ce qui reste incertain et les mesures prises. Il peut être nécessaire de compléter le jeu, de limiter la finalité, d’ajouter une revue humaine ciblée ou de changer le seuil de décision. Un résultat agrégé favorable ne doit pas effacer un problème local. Les résultats de tests sont attachés à la version exacte des données, du modèle et du protocole ; sans cette traçabilité, une comparaison après mise à jour devient fragile.
Les données changent : nouvelle source, nouveau formulaire, autre population, correction d’une erreur, changement de politique de conservation. Le journal indique ce qui a changé, pourquoi, qui l’a validé et quels tests ont été répétés. Les jeux retirés ne doivent pas rester disponibles par inadvertance dans un pipeline. Pour un système acheté, le déployeur peut ne pas voir les données d’entraînement du fournisseur ; il doit alors demander les informations utiles à son usage et documenter les données d’entrée sous son contrôle.
Une fiche solide est courte à lire mais précise sur les limites. Elle comporte un résumé exécutif, des références vers les analyses détaillées et un contact capable de répondre. Dans le passeport du système, on peut enregistrer la référence de cette fiche sans copier les données elles-mêmes. Cette séparation protège les informations sensibles tout en gardant la décision de lancement vérifiable.
Dossier remis après formulaire professionnel, avec un lien sécurisé valable sept jours. Les communications restent facultatives. Ces outils se personnalisent à votre contexte et ne constituent pas une certification de conformité.
Questions fréquentes
Questions fréquentes
?Une fiche de données est-elle obligatoire sous ce nom ?
Non. C’est un format de travail qui peut soutenir les obligations de documentation applicables.
?Un jeu public est-il libre de tout usage ?
Non. Vérifiez les licences, droits, restrictions et la compatibilité avec la finalité.
?Que faire sans accès aux données d’entraînement du fournisseur ?
Demandez les informations pertinentes sur leurs limites et documentez les données et contrôles sous votre maîtrise.
?Quand mettre la fiche à jour ?
Lorsqu’une source, une population, un processus, une version ou un résultat de test change.
Partenariat stratégique
De la stratégie IA à la mise en œuvre.
DEMETER FORMATION CONSEIL et JustAI associent leurs expertises pour relier gouvernance, AI Act, compétences et ingénierie. Ensemble, nous couvrons les étapes de votre projet : cadrer, concevoir, déployer, former et piloter.
Précisez les outils, les données et les accès concernés. Nous vous aiderons à définir le périmètre de travail et les compétences ou interlocuteurs à mobiliser.