Magazine LLM Opensource · 18 September 2026

Agents IA Android : le texte invisible qui prend le contrôle de votre PC — et l’écosystème open source qui ne corrige rien

Ils sont censés automatiser vos tâches, gérer vos fichiers, contrôler votre domotique. Mais une étude publiée en juillet 2026 révèle que cinq frameworks d’agents IA open source pour Android peuvent être détournés par du texte quasi invisible à l’écran – et que ce simple artifice suffit à exécuter du code arbitraire sur le PC connecté. La menace ne vient pas d’un malware complexe, mais de la confiance aveugle d’un modèle de vision dans ce qu’il « lit ». Pire : des semaines après la divulgation, le code vulnérable est toujours en ligne, et aucun correctif n’existe. Pendant ce temps, l’écosystème des LLM open source s’emballe, avec des modèles toujours plus puissants – mais la sécurité des agents reste le parent pauvre de cette effervescence.

L’attaque venue de l’écran : quand un texte invisible prend le contrôle de votre PC

Le 1er juillet 2026, une équipe de chercheurs issus de l’université Simon Fraser (Canada), de l’université chinoise de Hong Kong, de l’université du Shandong et du laboratoire Xingtu de QAX (Chine) a déposé sur arXiv une étude qui a immédiatement fait réagir la communauté sécurité. Révisée le 14 juillet, elle détaille une méthode d’attaque aussi simple que redoutable : afficher du texte à 2 % d’opacité par-dessus une application légitime, et laisser l’agent IA Android le lire comme s’il s’agissait d’une instruction normale. Le papier est disponible sur arXiv sous la référence 2607.00333.

Cinq frameworks open source ont été passés au crible : AppAgent, AppAgentX, Mobile-Agent-v3, Open-AutoGLM et MobA. Tous ont succombé à au moins six des sept attaques testées. Plus inquiétant encore : dans 20 essais sur 20, les chercheurs ont réussi à faire exécuter une commande ADB (Android Debug Bridge) depuis le téléphone vers le PC hôte, lançant une application sur la machine de l’opérateur sans aucune interaction humaine.

Le paradoxe est cruel : un agent conçu pour assister l’utilisateur devient, par sa propre capacité à lire et interpréter le contenu de l’écran, le vecteur d’une compromission silencieuse. Et comme le souligne l’étude, aucun correctif officiel ni canal de signalement n’a été identifié chez les éditeurs des frameworks à la date de publication. Le premier auteur, Zidong Zhang, a confirmé à The Hacker News que l’équipe a contacté les mainteneurs par courriel avant la publication du preprint — sans recevoir la moindre réponse à ce jour. Aucun CVE n’a été attribué, et les chercheurs n’ont pas de preuve que ces techniques aient été utilisées en dehors d’un cadre contrôlé.

2 % d’opacité, 100 % de danger : le mécanisme technique décortiqué

Pour comprendre l’attaque, il faut suivre la chaîne de traitement d’un agent Android typique. Prenons AppAgent, l’un des plus connus : il capture l’écran du téléphone, transmet l’image à un modèle de vision (GPT-4o, Claude Opus 4.5, Gemini 3 Pro, etc.), qui extrait le texte visible, puis un contrôleur décide de l’action à effectuer (taper, glisser, lancer une commande système).

Les chercheurs ont exploité une faiblesse à chaque maillon :

1. Camouflage visuel : une application malveillante affiche une fenêtre overlay contenant du texte à 2 % d’opacité. L’utilisateur ne voit rien, mais le modèle de vision, lui, le lit parfaitement. Sur six modèles testés, tous ont détecté le texte dans au moins 18 cas sur 20 ; certains ont obtenu un score parfait de 20/20. GPT-4o, Claude Opus 4.5 et Gemini 3 Pro sont nommément cités.

2. Injection dans la chaîne de commande : le texte invisible contient des caractères spéciaux – par exemple adb shell am start -n com.malware/.MainActivity. Or, le contrôleur d’AppAgent exécute les commandes système sans filtrage de ces caractères. Le code réel est encore plus parlant que le papier : la fonction de contrôle d’AppAgent utilise subprocess.run(adb_command, shell=True) et construit l’entrée texte en injectant directement la sortie du modèle dans adb shell input text {input_str}. La version en ligne fait un peu mieux que le papier ne le laisse croire — elle supprime les espaces et les guillemets simples avant interpolation — mais laisse tous les autres métacaractères shell intacts : pas de filtrage des ;, &, >, etc. Une chaîne lue à l’écran par le modèle, puis retranscrite telle quelle, est donc découpée par le shell de l’ordinateur hôte, et la seconde moitié s’exécute sur la machine Windows de l’opérateur.

3. Propagation au PC : via ADB, cette commande est transmise au PC hôte. Dans 20 essais sur 20, les chercheurs ont déclenché le lancement d’une application (par exemple calc.exe) sur le poste de l’opérateur. Un test de bout en bout contre AppAgent a utilisé la charge utile test;pwd>rce_success, qui a écrit le répertoire de travail de l’hôte dans un fichier — preuve de l’exécution de commandes arbitraires.

Les chercheurs ont également identifié des techniques auxiliaires : substitution de fenêtre en 50 à 500 ms (pour remplacer une capture d’écran légitime par une piégée), exploitation des zones cachées de l’écran (bords arrondis, encoche de la caméra), et une attente de 3 secondes prétextant une synchronisation réseau pour élargir la fenêtre d’attaque. La course à la capture d’écran est un élément clé : Open-AutoGLM, par exemple, exécute screencap -p /sdcard/tmp.png puis un adb pull séparé, laissant une fenêtre de vulnérabilité exploitable.

Cinq frameworks, une seule faille : anatomie d’un écosystème exposé

Les cinq frameworks testés couvrent un large spectre d’usages :

The Hacker News a vérifié les cinq frameworks après la publication : les chemins de capture d’écran, l’appel shell et le fallback par broadcast décrits dans le papier sont toujours présents sur les branches principales au 17 juillet 2026. Aucun correctif n’a été poussé, aucune issue de sécurité ouverte.

Les cas d’usage concrets sont nombreux : un agent de domotique qui allume les lumières ou ouvre une serrure connectée ; un assistant professionnel qui trie des documents sur le PC ; un outil de gestion de fichiers qui copie des données entre téléphone et ordinateur. Dans tous ces scénarios, l’agent a besoin d’un accès à l’écran et, souvent, aux commandes système.

L’open source aggrave le risque de deux manières. D’une part, le code est accessible à tous, y compris aux attaquants qui peuvent l’étudier pour trouver des failles. D’autre part, aucun des frameworks testés n’intègre de mécanismes de sécurité comme le sandboxing des commandes ADB, la validation de l’origine visuelle du texte, ou une confirmation utilisateur avant exécution système. La transparence du code ne garantit pas la sécurité des intégrations.

Scénarios rouges : ce que les chercheurs ont réellement déclenché

L’étude ne s’est pas contentée de prouver le concept. Les chercheurs ont simulé des attaques complètes :

• Lancement d’application sur le PC : dans 20 essais sur 20, une commande ADB piégée a ouvert une application (par exemple une calculette) sur le poste de l’opérateur. Preuve que l’exécution de code arbitraire est possible.
• Écriture de fichiers arbitraires : le test test;pwd>rce_success a démontré qu’une commande shell pouvait écrire la sortie d’une commande dans un fichier sur la machine hôte.
• Vol de fichiers : bien que non testé directement, le mécanisme permet d’envoyer des commandes adb pull pour exfiltrer des documents vers le téléphone, puis vers un serveur distant.
• Installation de malware : adb install peut charger un APK malveillant sur le PC (si ADB est configuré pour accepter les installations).
• Attaque sur la domotique : un agent contrôlant une serrure connectée pourrait recevoir l’ordre invisible « ouvrir la porte » et l’exécuter sans que l’utilisateur ne voie rien.

Ces attaques s’inscrivent dans la continuité des « overlay attacks » connues sur Android (où une application malveillante affiche une fausse fenêtre de connexion), mais l’IA agentive les amplifie considérablement. Là où un overlay classique vole un mot de passe, l’agent peut exécuter des commandes système complexes sur plusieurs appareils.

Des commandes audio inaudibles au texte invisible : une génération d’attaques qui monte en gamme

Ce n’est pas la première fois que des chercheurs exploitent les canaux de communication « invisibles » des IA. En 2017-2018, des attaques par ultrasons ont montré qu’on pouvait activer Siri ou Alexa avec des fréquences inaudibles pour l’humain. Plus récemment, l’injection de prompts sur les chatbots web a permis de détourner des modèles de langage.

Mais le texte invisible présente plusieurs avantages pour l’attaquant :

• Discrétion : aucune onde sonore, aucun fichier suspect. Le texte est affiché par une application banale.
• Pas de matériel spécifique : un simple téléphone Android suffit.
• Exploitation de la confiance visuelle : les modèles de vision sont entraînés à lire tout ce qui est à l’écran, sans notion de « légitimité » du contenu.
• Propagation multi-appareils : via ADB, l’attaque saute du mobile au PC, ce qui était absent des précédents vecteurs.

La nouveauté réside aussi dans la chaîne complète : camouflage visuel + injection de commande + exécution distante. Les attaques audio ne pouvaient pas, par exemple, lancer une commande shell sur un ordinateur connecté.

En août 2026, la menace s’est encore élargie. Des chercheurs ont montré que des instructions chiffrées peuvent tromper des assistants IA comme Grok et Gemini, rendant la détection encore plus difficile. Parallèlement, des outils comme Panda (présenté par Korben) démontrent qu’une IA peut prendre le contrôle total d’un Android, et une IA a même débusqué deux failles critiques dans Android 17 permettant de prendre le contrôle complet d’un smartphone. La surface d’attaque ne cesse de croître.

Plus récemment encore, fin août 2026, une faille dans l’API d’Ollama a été mise en lumière : NemoClaw et OpenClaw, deux frameworks d’agents IA, seraient vulnérables à un empoisonnement persistant des modèles via une erreur de conception dans la communication réseau. Si les détails restent à confirmer officiellement (le CVE-2026-65105 circule sur LinkedIn sans validation NVD/MITRE/NVIDIA), le schéma est identique : l’architecture des agents ouvre des portes que les développeurs n’avaient pas anticipées.

Benchmarks aveugles : pourquoi les tests de sécurité actuels ne voient pas la menace

Les benchmarks standards de sécurité pour les modèles de langage – AdvBench, SafetyBench – ne couvrent pas les agents mobiles ni les attaques adversariales visuelles. Ils testent la résistance à des prompts malveillants textuels, pas à des images contenant du texte invisible. De même, les frameworks d’agents Android n’ont pas de score de robustesse public.

Conséquence : cette vulnérabilité est passée inaperçue jusqu’à l’étude de juillet 2026. Aucun des cinq frameworks n’avait été audité sous cet angle. Les modèles de vision, eux, sont évalués sur des tâches de compréhension d’image (répondre à des questions, décrire une scène), mais jamais sur leur capacité à ignorer un texte anormalement peu contrasté.

Les chercheurs appellent à la création de benchmarks spécifiques « agent adversarial » qui testeraient la résistance des agents à des manipulations visuelles, des overlays, et des injections de commandes via des canaux non prévus. Sans cela, les correctifs resteront réactifs.

Le contexte 2026 est d’autant plus préoccupant que les modèles open source deviennent la norme pour les agents. L’écosystème a connu une effervescence sans précédent cet été : DeepSeek V4-Pro est passé en production le 12 août 2026 avec des capacités agentiques renforcées (1,6 billion de paramètres, 49 milliards actifs, contexte 1 million de tokens), Solar Open 2 d’Upstage (250B MoE, contexte 1M) est sorti le 23 juillet, GLM-5.3 de Z.ai a été dévoilé le 14 août avec zéro nouveau paramètre mais un post-entraînement qui le place en tête des benchmarks de codage agentique, et Hy4 de Tencent (770B, 49B actifs, contexte 1M+) a été open-sourcé en preview début septembre. Sans oublier Muse Glimmer de Meta (30B, Apache 2.0), pensé pour l’exécution locale. Autant de modèles qui alimentent des agents toujours plus autonomes – et toujours aussi peu sécurisés.

L’écosystème open source en septembre 2026 : une course à la puissance qui ignore la sécurité

La sortie de GLM-5.3 le 14 août 2026 illustre parfaitement cette dynamique. Z.ai a réutilisé la base Mixture-of-Experts de 743 milliards de paramètres de GLM-5.2, sans aucun nouveau paramètre, et a tout gagné par le post-entraînement : Terminal-Bench 3.0 passe de 4,6 % à 28,3 %, et le benchmark cybersécurité CyberGym est dominé avec 84,5 %, devant Claude Sonnet 5 et GPT-5.6 Sol. Un signal fort : la sécurité devient un argument marketing, mais les poids ne sont pas encore publics – Z.ai promet une publication ultérieure. Pendant ce temps, les frameworks d’agents Android, eux, restent vulnérables sans correctif.

Hy4 de Tencent, dont la preview a été open-sourcée le 8 septembre 2026, pousse le curseur encore plus loin : 770 milliards de paramètres, 49 milliards actifs, contexte d’un million de tokens, orienté codage, productivité bureautique et recherche scientifique. Là encore, l’accent est mis sur les capacités, pas sur la robustesse face aux manipulations visuelles.

Muse Glimmer de Meta, publié le 14 août sous licence Apache 2.0, est un modèle agentique multimodal de 30 milliards de paramètres conçu pour fonctionner sur appareil. C’est exactement le type de modèle qui équipera demain les agents Android – et qui héritera des mêmes failles de confiance visuelle.

Cette course à la puissance a un coût : l’observabilité et la sécurité des agents restent des angles morts. Comme le souligne un article récent sur Langfuse, les outils d’APM classiques (Grafana, Datadog) ne suffisent plus à surveiller un agent qui « répond en 800 ms, ne lève aucune erreur, mais hallucine ou choisit le mauvais outil ». Les plateformes d’observabilité LLM comme Langfuse comblent ce vide, mais elles ne corrigent pas les failles de conception.

Que faire en attendant ? Mesures pratiques pour les utilisateurs d’agents Android

En l’absence de correctifs, les utilisateurs de ces frameworks peuvent limiter les risques :

1. Restreindre les permissions ADB : n’autoriser la connexion ADB que sur des PC de confiance, et désactiver le débogage USB quand il n’est pas utilisé.
2. Surveiller les overlays : Android permet de détecter les applications qui affichent des fenêtres par-dessus d’autres (paramètre « affichage par-dessus d’autres applications »). Vérifier régulièrement cette liste.
3. Utiliser des agents avec confirmation explicite : certains frameworks (pas ceux testés) demandent une validation humaine avant toute commande système. C’est la seule parade fiable.
4. Mettre à jour : même si aucun correctif n’existe pour les cinq frameworks testés, les modèles de vision sous-jacents (GPT-4o, Claude, Gemini) peuvent être mis à jour pour mieux ignorer les textes à faible opacité. Les utilisateurs doivent vérifier la version du modèle utilisé.

Les chercheurs recommandent aussi aux éditeurs de frameworks d’implémenter un filtrage strict des métacaractères shell, de sandboxer les commandes ADB, et de valider l’origine visuelle du texte avant exécution. Des recommandations simples, mais qui n’ont toujours pas été suivies d’effets en septembre 2026.

Sources

• Étude arXiv 2607.00333
• The Hacker News – couverture de l’étude (vérification des frameworks, 17 juillet 2026)
• Z.ai releases GLM-5.3 for coding and cyber work – DataNorth (17 août 2026)
• GLM-5.3 : Z.ai domine l’open coding par le seul post-entraînement – The Agent Report (14 août 2026)
• Tencent Releases Open-Source Hy4 LLM Preview – Gadget Pilipinas (8 septembre 2026)
• Hy4 preview: 770B Remarkable Open Model Launch – Techgenyz (28 août 2026)
• Muse Glimmer : le modèle agentique ouvert de 30B de Meta – Context Studios (14 août 2026)
• NemoClaw i OpenClaw : błąd sieciowy w API Ollama – Security Bez Tabu (26 août 2026)
• DeepSeek V4-Pro Shows China’s AI Price War Is Not Slowing – Techbooky (13 août 2026)
• Langfuse : combler l’angle mort de l’observabilité des agents IA – dev.to

Article recherché et rédigé automatiquement · Magazine Electrosens