Surveillance d’un système d’IA : choisir des seuils qui déclenchent une action.
« Nous surveillons le système » n’est pas un plan. Une surveillance utile nomme les signaux à regarder, la personne qui les voit, le seuil qui déclenche une action et la décision possible lorsque ce seuil est atteint.
Un seuil de surveillance IA est utile s’il relie une mesure fiable à un risque précis, à un responsable, à une fréquence et à une action : investigation, limitation, retour à une version précédente, suspension ou signalement selon le cas.
Partir des dommages possibles plutôt que d’une métrique facile
02
Séparer alerte précoce et seuil d’arrêt
03
Tester le circuit d’escalade avant la production
04
Revoir les seuils quand l’usage ou la version change
01
Choisir des signaux reliés au travail réel
Un taux d’utilisation en hausse peut signifier une adoption réussie ou une dépendance croissante à des sorties non vérifiées. Une précision moyenne stable peut masquer une dégradation sur un groupe ou une situation importante. La surveillance commence donc par les risques identifiés au cadrage et par les erreurs observées lors des tests. Quels signaux précoces permettraient de voir qu’un système se trompe davantage, influence trop fortement les utilisateurs ou fonctionne hors de sa destination ? La réponse mélange souvent mesures techniques, revues humaines, incidents et retours des personnes affectées.
Dans un classement de candidatures, suivez les reclassements manuels, les profils systématiquement relégués, les contestations et le temps réellement consacré à la revue. Pour un assistant interne, regardez les corrections de faits, les citations absentes, les tentatives d’accès hors périmètre et les réponses envoyées sans validation. Un indicateur n’est utile que si les données qui l’alimentent sont disponibles et fiables. Précisez la source, la fréquence et les limites de mesure.
Une valeur inhabituelle peut déclencher une simple investigation. Une dérive confirmée peut exiger une limitation temporaire, par exemple une revue humaine renforcée ou la désactivation d’une fonction. Un événement grave peut imposer l’arrêt et la procédure d’incident. Il faut définir ces niveaux avant qu’un problème survienne, tout en gardant la possibilité d’agir face à un signal inédit. Un seuil chiffré qui n’a pas été relié à une conséquence concrète crée un tableau de bord, pas une protection.
Le seuil doit aussi tenir compte du volume. Deux erreurs sur dix cas n’ont pas le même sens que deux erreurs sur un million, mais une seule erreur peut être décisive si elle porte un dommage important. On peut combiner taux, gravité, répétition et délai de correction. Pour les systèmes à haut risque, les dispositions applicables à la surveillance post-commercialisation du fournisseur et à l’exploitation par le déployeur doivent être distinguées. Le plan local précise à qui transmettre un signal et quelle information conserver.
Un seuil ne sert à rien si l’alerte reste dans une boîte de réception que personne ne lit. Avant la production, déclenchez une fausse alerte. Vérifiez qui reçoit le message, sous quel délai, quelle version et quels journaux sont retrouvés, qui peut suspendre le système et comment l’activité continue. L’exercice révèle souvent que la personne désignée n’a pas les droits techniques nécessaires ou que le fournisseur n’a pas de canal d’urgence. Ces écarts se corrigent avant qu’une situation réelle n’en dépende.
Le circuit inclut la protection des personnes et la conservation des éléments utiles : chronologie, données d’entrée pertinentes, sortie, décision humaine, version, paramètres et échanges avec le fournisseur. Il précise les critères de reprise et la personne qui les valide. Les obligations éventuelles de notification d’un incident grave demandent une analyse spécifique du rôle et des faits. Une procédure locale ne doit pas confondre signalement interne, notification contractuelle et obligation réglementaire.
Un nouveau modèle, une population différente, un changement de processus ou une amélioration de la détection peuvent rendre un seuil ancien inadapté. Le journal conserve la valeur précédente, le motif du changement, les résultats de tests et la nouvelle décision. Une baisse d’alerte après modification peut signifier que le système fonctionne mieux ; elle peut aussi révéler que le capteur ne voit plus les erreurs. Comparez les indicateurs avec des revues qualitatives indépendantes.
Le propriétaire du système présente périodiquement les tendances, les incidents, les actions en retard et les décisions de poursuite. Le passeport peut enregistrer les seuils et les références de rapports sans stocker les données sensibles elles-mêmes. La surveillance devient ainsi une partie de la gouvernance, pas un flux de chiffres séparé des arbitrages.
Dossier remis après formulaire professionnel, avec un lien sécurisé valable sept jours. Les communications restent facultatives. Ces outils se personnalisent à votre contexte et ne constituent pas une certification de conformité.
Questions fréquentes
Questions fréquentes
?Existe-t-il un seuil universel de dérive IA ?
Non. Il dépend de la finalité, des dommages possibles, du volume, des populations et des exigences applicables.
?Qui peut suspendre le système ?
L’organisation doit nommer une personne disposant d’une autorité et d’un accès effectifs, puis tester ce pouvoir.
?Le tableau de bord technique suffit-il ?
Non. Les retours métier, les contestations, la supervision et les incidents complètent les métriques.
?Quand revoir les seuils ?
Après un changement de version, de données, de population, de processus ou lorsqu’un signal révèle une limite.
Partenariat stratégique
De la stratégie IA à la mise en œuvre.
DEMETER FORMATION CONSEIL et JustAI associent leurs expertises pour relier gouvernance, AI Act, compétences et ingénierie. Ensemble, nous couvrons les étapes de votre projet : cadrer, concevoir, déployer, former et piloter.
Expliquez votre objectif, vos usages et vos contraintes. Nous pourrons préciser les points à traiter et choisir avec vous entre conseil, accompagnement et formation.