MOC / DÉCRYPTAGE
Quand l’IA se trompe et qu’un objet agit : le risque des hallucinations physiques
Un assistant qui se trompe dans une réponse, c’est gênant. Une IA reliée à une serrure, une voiture ou un robot, c’est autre chose : l’erreur peut devenir une action réelle.
SCHÉMA MOC
Quand une hallucination devient physique
L’IA comprend mal une situation.
Elle choisit une action inadaptée.
L’objet agit dans le monde réel.
Confirmation, permissions et journalisation.
C’est là que commence un nouveau risque pour les objets connectés : ce que MOC appellera ici une « hallucination physique ». Ce n’est pas un terme réglementaire officiel, mais une façon simple de décrire une erreur de raisonnement ou d’interprétation qui ne reste plus enfermée dans un écran et se traduit par une action sur le monde réel.
Quand l’IA ne se contente plus de répondre
Les agents IA modernes savent planifier, utiliser des outils, appeler des services et exécuter des actions. Le NIST rappelle que les systèmes d’agents IA peuvent prendre des décisions autonomes qui ont un impact sur des systèmes ou environnements réels. Cette capacité ouvre des usages puissants, mais elle augmente aussi l’importance des contrôles de sécurité.
Dans un objet connecté, cela peut signifier :
- déverrouiller une porte ;
- modifier un thermostat ;
- lancer une recharge ;
- activer ou désactiver une caméra ;
- envoyer une commande à un robot ;
- déclencher un paiement, une réservation ou une action dans une voiture connectée.
À partir de ce moment, une mauvaise interprétation n’est plus seulement une mauvaise phrase.
Le vrai problème : l’excès d’autonomie
L’OWASP identifie aujourd’hui l’excessive agency comme un risque majeur des systèmes agentiques : trop de fonctions, trop de permissions ou trop d’autonomie peuvent conduire à des actions dommageables lorsque le modèle hallucine, comprend mal une instruction ou subit une manipulation.
Autrement dit, la question n’est pas seulement : « Est-ce que l’IA peut se tromper ? » La vraie question devient : « Que peut-elle faire lorsqu’elle se trompe ? »
Exemple 1 : une serrure connectée
Imaginez un assistant domestique capable d’ouvrir une porte pour un livreur autorisé. Si l’agent interprète mal une demande, confond une identité ou reçoit une instruction détournée, la conséquence n’est plus abstraite.
Le bon design ne consiste donc pas à interdire toute intelligence, mais à imposer une règle simple : une action sensible doit nécessiter une validation supplémentaire.
Exemple 2 : une voiture connectée
Un agent embarqué peut déjà aider à trouver une borne, préparer un itinéraire ou réserver un service. Demain, il pourra déclencher davantage d’actions. Là encore, il faut séparer les étapes :
- informer ;
- proposer ;
- préparer ;
- exécuter.
Plus on avance dans cette chaîne, plus le besoin de contrôle humain augmente.
Exemple 3 : un robot domestique
Avec un robot mobile, une erreur peut devenir un mouvement. Mauvaise détection d’un obstacle, mauvaise interprétation d’un ordre, contexte incomplet : la notion de sécurité doit alors inclure l’environnement physique, pas seulement les données.
Les 3 garde-fous MOC
1. Confirmer
Toute action sensible ou irréversible devrait demander une validation explicite. Ouvrir, payer, supprimer, envoyer, désactiver une sécurité ou modifier un accès ne devraient pas être exécutés silencieusement.
2. Simuler
Avant certaines actions, l’agent devrait pouvoir afficher ce qu’il s’apprête à faire : « Je vais ouvrir la porte pendant 30 secondes », « Je vais lancer une recharge à 18,40 € », « Je vais couper cette caméra ».
La simulation transforme une décision opaque en action compréhensible.
3. Journaliser
Chaque action d’un agent devrait laisser une trace exploitable : heure, appareil concerné, instruction reçue, outil utilisé et résultat obtenu.
L’OWASP recommande justement de rendre les agents inspectables, traçables et contrôlables, notamment lorsqu’ils disposent de permissions importantes.
Le principe du moindre privilège
Un agent n’a pas besoin d’avoir accès à tout. L’OWASP recommande de lui donner uniquement les outils et droits nécessaires à sa tâche.
Exemple : un assistant qui doit vérifier si une porte est fermée n’a pas forcément besoin du droit de la déverrouiller.
Ce détail de conception peut faire une énorme différence.
Pourquoi ce sujet va devenir central
Le NIST a lancé en 2026 une initiative dédiée aux standards des agents IA sécurisés et interopérables. Cela montre que la question du contrôle des actions autonomes n’est plus théorique.
À mesure que les agents arrivent dans les voitures, lunettes, maisons, objets de santé, robots et équipements professionnels, la sécurité ne dépendra plus seulement de la qualité de la réponse du modèle.
Elle dépendra aussi de la manière dont cette réponse est transformée — ou non — en action.
La grille MOC à retenir
Avant d’acheter un objet connecté piloté par IA, posez quatre questions :
- Quelles actions l’IA peut-elle exécuter seule ?
- Quelles actions nécessitent une confirmation ?
- Peut-on limiter ses permissions ?
- Peut-on consulter l’historique de ses actions ?
Plus l’IA agit dans le monde réel, plus le contrôle doit être visible, simple et immédiat.
Sources
- NIST — Securing AI Agent Systems
- NIST — Security Considerations for AI Agents, 2026
- OWASP — AI Agent Security Cheat Sheet
- OWASP — Excessive Agency
À lire aussi sur MOC
Pour poursuivre votre lecture
Comprendre avant de choisir.
Recevez les prochains décryptages MOC.