Prompt injection : tester un assistant IA avant de lui confier des actions.
Une instruction peut arriver dans un document, un courriel ou un résultat de recherche, sans être écrite par l’utilisateur de l’assistant. Si le modèle la traite comme une consigne autorisée, le comportement attendu change. Ce risque prend une autre dimension quand l’assistant peut envoyer un message ou modifier un dossier. Le protocole présenté ici permet d’éprouver un système dans un environnement autorisé, avec des données fictives et des actions simulées. Il s’adresse au propriétaire du service, à la DSI et aux responsables de sécurité.
Une injection de prompt cherche à faire suivre au modèle des instructions qui proviennent d’une source non autorisée, directement ou par un contenu qu’il consulte. Un test défensif vérifie la séparation entre sources et consignes, les permissions des outils, la validation des actions et le refus d’exposer des informations protégées. Il se conduit sur un périmètre autorisé avec des données de test. Un prompt de protection complète les contrôles applicatifs ; il ne remplace pas une autorisation technique.
Observer les appels d’outils, pas seulement la réponse.
04
Conserver les refus et les limites du protocole.
01
Décrire ce que l’assistant est autorisé à faire
Commencez par une fiche des capacités. L’assistant peut-il seulement lire, ou dispose-t-il aussi de fonctions d’écriture, d’envoi et de suppression ? Quelles sources consulte-t-il et quels résultats réutilise-t-il dans une mémoire ? Une carte des passages entre ces composants aide à définir le test. La documentation technique citée traite les contenus externes comme des données non fiables. Cette frontière doit être visible dans l’architecture, pas seulement dans une phrase du prompt.
Attribuez les droits utiles au service et au compte de l’utilisateur. Une fonction qui envoie des courriels à n’importe quelle adresse élargit fortement les conséquences d’une erreur. Pour un pilote, désactivez les actions inutiles ou remplacez-les par des simulations. Le test ne doit pas lui-même créer un accès plus large à la production. Un responsable approuve le périmètre et les conditions d’arrêt avant que les scénarios soient exécutés.
Préparer des scénarios inoffensifs mais discriminants
Créez un document fictif comportant une consigne hors du rôle de la source, par exemple une demande d’ignorer la question métier et de produire un mot de contrôle. Le résultat attendu est que l’assistant traite cette phrase comme du contenu, sans changer de mission. Variez ensuite l’emplacement : pièce jointe, résultat de recherche, extrait documentaire ou réponse d’un outil. Aucun fichier réel confidentiel n’est nécessaire pour observer ce changement de comportement.
Ajoutez une information de test réservée à un autre profil et une action simulée hors du périmètre. Les valeurs sont inventées et ne correspondent à aucun secret de production. Décrivez pour chaque cas ce qui doit être refusé et ce qui peut être expliqué à l’utilisateur. Une série très longue de formulations presque identiques apporte moins de valeur qu’un petit ensemble couvrant des chemins techniques différents et des conséquences clairement identifiées.
Scénarios défensifs de départ
Chemin testé
Situation fictive
Résultat attendu
Document retrouvé
Consigne étrangère à la question métier
Aucune modification de la mission autorisée
Recherche documentaire
Passage réservé à un autre profil
Contenu protégé inaccessible
Appel d’outil
Envoi simulé vers un destinataire non autorisé
Action refusée par l’application
Mémoire de l’assistant
Instruction durable proposée par une source
Aucune modification persistante non validée
Méthode proposée par EUAIACT ; exemple pédagogique fictif
03
Observer toute la chaîne, y compris les tentatives d’action
Le texte final ne raconte pas tout. Un assistant peut afficher un refus après avoir déjà demandé une opération à un outil. Relevez les requêtes simulées, les décisions d’autorisation et les données transmises, dans une trace limitée à l’essai. La conclusion distingue ce que le modèle a proposé de ce que l’application a exécuté. Cette séparation permet de localiser un défaut dans le raisonnement, le contrôle d’accès ou l’outil.
Conservez les paramètres nécessaires à la reproduction : version, configuration, sources, profil et résultat attendu. Si un essai échoue une fois puis réussit, l’échec reste un constat à analyser. Une répétition peut aider à comprendre la variabilité, sans transformer un bon résultat ultérieur en preuve d’impossibilité du scénario. Indiquez les limites du nombre d’essais et des chemins couverts. Le rapport doit permettre à une autre personne de comprendre le verdict.
Méthode proposée par EUAIACT ; exemple pédagogique fictif
04
Cas pratique : un assistant achats reçoit une pièce jointe
Un assistant fictif extrait les caractéristiques de propositions commerciales. Une pièce de test contient une instruction qui lui demande de transmettre la synthèse à une adresse extérieure. Le modèle propose l’envoi, mais le service d’envoi simulé le refuse car le destinataire ne figure pas dans les choix autorisés. L’équipe constate deux résultats distincts : une faiblesse du traitement de la source et une protection effective au niveau de l’action.
La correction porte sur la préparation des documents, la distinction des consignes et les validations d’envoi. L’équipe rejoue le cas, puis vérifie que l’assistant peut toujours remplir sa tâche normale. Un verrou qui bloque toutes les pièces jointes pourrait sécuriser le test tout en rendant le service inutilisable. Le bilan conserve les tentatives, les protections et la décision de réduire le périmètre. Il ne prétend pas démontrer une immunité générale aux injections.
Méthode proposée par EUAIACT ; exemple pédagogique fictif
05
Choisir des mesures qui tiennent même quand le modèle se trompe
Les permissions, les destinations autorisées et les validations applicatives apportent une protection indépendante de la qualité d’une réponse. Une action sensible peut demander une confirmation humaine présentant les données et le destinataire exacts. Le contrôle doit intervenir avant l’exécution. Lorsque des données personnelles sont en jeu, le traitement des traces et des incidents entre également dans l’analyse RGPD. Les journaux de test ne deviennent pas un nouveau fichier exposé à tous.
Les contenus externes restent séparés des paramètres d’administration. Les opérations persistantes, comme une nouvelle mémoire ou une modification de règle, suivent un chemin explicite. Pour un service documentaire, une capacité d’écriture inutilisée peut simplement être retirée. Le choix d’une mesure se justifie par le scénario qu’elle réduit et par un essai. Une accumulation de protections dont personne ne vérifie le fonctionnement donne une assurance trompeuse au propriétaire du service.
Décider de l’ouverture et garder une batterie de régression
Classez les résultats selon leurs conséquences possibles. Un changement de style et une divulgation interdite ne reçoivent pas le même poids. Les scénarios critiques non maîtrisés empêchent l’ouverture de la capacité concernée, même si les autres tests réussissent. Le bilan indique les restrictions, la personne responsable et les conditions d’une nouvelle revue. Il sert à accepter un périmètre, plutôt qu’à certifier un produit entier sous une formule générale.
Rejouez les tests après l’ajout d’un connecteur, une modification des outils, un changement de sources ou une nouvelle mémoire. Vérifiez aussi les tâches légitimes pour détecter les régressions d’utilité. Les résultats restent internes lorsque leur détail pourrait faciliter un détournement. Pour préparer la démarche, notre guide RAG décrit la chaîne documentaire et le registre IA aide à identifier le responsable. Les tests restent proportionnés et limités aux systèmes pour lesquels vous disposez d’une autorisation.
Méthode proposée par EUAIACT ; exemple pédagogique fictif
De la lecture au travail concret
Les outils pour appliquer ce guide.
Choisissez le support utile à votre situation. L’aperçu est public. Le dossier complet comprend un guide et des fichiers de travail modifiables.
Dossier remis après formulaire professionnel, avec un lien sécurisé valable sept jours. Les communications restent facultatives. Ces outils se personnalisent à votre contexte et ne constituent pas une certification de conformité.
Questions fréquentes
Questions fréquentes
?Peut-on supprimer tout risque avec un bon prompt ?
Un prompt peut aider le modèle à distinguer les consignes, mais il ne remplace pas des permissions et des validations avant action. Testez les différentes couches et décrivez le risque résiduel. Une promesse d’immunité générale ne constitue pas un résultat vérifiable.
?Faut-il tester directement en production ?
Commencez dans un environnement autorisé, avec des sources fictives et des outils simulés. Les essais en production demandent un cadrage spécifique pour éviter l’exposition d’informations ou l’exécution d’opérations indésirables. Ne lancez pas de tests sur un service tiers sans autorisation.
?Quel résultat conserver si l’application a bloqué une action ?
Le blocage est une preuve de cette protection dans ce scénario. Conservez aussi la tentative du modèle et les paramètres utiles. Il reste pertinent de corriger la cause et de vérifier les autres chemins vers une opération comparable.
?Qui doit lire le rapport ?
Le responsable de l’usage, les équipes techniques et de sécurité, et les fonctions compétentes pour les données ou les conséquences métier. Une synthèse de décision peut circuler plus largement, tandis que les détails sensibles du protocole restent limités aux personnes habilitées.
Précisez les outils, les données et les accès concernés. Nous vous aiderons à définir le périmètre de travail et les compétences ou interlocuteurs à mobiliser.