LONDON (IT BOLTWISE) – Forschende zeigen, wie offene Android-Agenten mit visueller Texteingabe weit mehr als nur Befehle im Handy ausführen können. In mehreren Angriffsketten reicht es, Text in Screenshots zu verstecken, damit die KI ihn ausliest und über ADB Eingaben auf einem Host-PC ausführt. Besonders kritisch: Die Lücke entsteht nicht im Modell selbst, sondern in den Integrationen rund um Screenshots, Dateizugriff und Shell-Aufrufe. Damit verschiebt sich der Fokus für Security-Verantwortliche vom reinen Prompt-Injection-Problem hin zu Host-Command-Risiken.
Offene Android-„Agent“-Frameworks wirken auf den ersten Blick wie ein pragmatischer Weg, Künstliche Intelligenz in Alltagsabläufe zu bringen: Der Agent sieht Inhalte auf dem Bildschirm, entscheidet über den nächsten Schritt und triggert Aktionen über Debug-Schnittstellen wie ADB. Genau an dieser Stelle entsteht jedoch eine neue Klasse von Angriffen. Forschende demonstrieren, dass ein „unsichtbarer“ Text in einem Screenshot so verarbeitet werden kann, dass der Agent ihn als Anweisung interpretiert und als Eingabetext an Shell-Kommandos weiterreicht. Zwei weitere Schritte reichen dann aus, um die gleiche Kette vom Mobilgerät auf den PC zu verlängern, der die Interaktion für den Agenten steuert.
Die Untersuchung zielt dabei nicht auf proprietäre Assistenten, sondern auf fünf open-source mobile Agent Frameworks: AppAgent, AppAgentX, Mobile-Agent-v3, Open-AutoGLM und MobA. In den Tests fiel jedes der Projekte mindestens sechsmal von sieben beschriebenen Angriffsmustern durch. Zeitlich ist das Ganze gut nachvollziehbar: Das Paper ging am 1. Juli auf arXiv online und wurde am 14. Juli revidiert. Die Autoren sind an mehreren Institutionen verankert, darunter Simon Fraser University sowie die Chinese University of Hong Kong und Shandong University; zusätzlich ist Xingtu Lab bei der Security-Firma QAX beteiligt. Wichtig für die Einordnung: Es wird im Bericht kein CVE benannt, und die Forschenden sehen nach eigener Aussage keine Hinweise auf aktive Nutzung außerhalb eines kontrollierten Labors.
Technisch beginnt das Problem fast immer bei der „Übersetzung“ von KI-Ausgaben in maschinenlesbare Eingaben. Bei AppAgent läuft der Controller im Kern über subprocess.run(adb_command, shell=True) und baut Text, indem Modelloutput direkt in einen ADB-Shell-Aufruf vom Typ adb shell input text {input_str} interpoliert wird. In der Paper-Beschreibung fehlt dabei jede Sanitization. Die Implementierung in „live“ Varianten ist nur marginal sicherer: Es werden lediglich Leerzeichen und einfache Anführungszeichen entfernt, alle übrigen Shell-Metazeichen bleiben erhalten. Der Effekt ist anschaulich: Ein Payload, den die KI aus einem Screen liest, wird nicht nur als Text „getippt“, sondern durch die Host-Shell weiter zerlegt; der zweite Teil kann dann als Befehl auf dem Windows-Rechner laufen, der die Host-Komponente bedient. In den Experimenten führte ein Kommando zum Start von calc.exe in 20 von 20 Versuchen – jeweils gegen AppAgent, AppAgentX, Mobile-Agent-v3 und MobA. Ein weiterer End-to-End-Test gegen AppAgent nutzte eine Zeichenfolge der Art test; pwd>rce_success, wodurch das Arbeitsverzeichnis des Hosts in eine Datei geschrieben wurde.
Doch selbst wenn Shell-Injection vermieden wird, bleibt das Kernproblem: „Screenshot → visuelle Erkennung → Textausgabe → Eingabe-Mechanismus“. Mehrere Frameworks bauen dafür temporäre Dateien oder nutzen implizite Timing-Fenster. Open-AutoGLM erzeugt etwa einen Screenshot über screencap -p /sdcard/tmp.png und lädt ihn anschließend per separatem adb pull. Mobile-Agent-v3 schreibt dagegen in eine fixe Datei /sdcard/screenshot.png und wartet nur etwa 0,5 Sekunden zwischen „Write“ und „Collect“. AppAgentX wiederum verwendet timestampbasierte Dateien, die ein Angreifer beobachten und zeitlich flankieren kann. In der Kombination mit einem Polling-Mechanismus, der in kurzen Intervallen (5 bis 10 ms) den Zustand abfragt, entsteht ein typisches TOCTOU-Fenster: Forschende geben hier Größenordnungen von 50 bis 500 ms an, im Mittel rund 210 ms über 100 Läufe. In 19 von 20 bis 20 von 20 Fällen gelang das gezielte Tampering gegen vier der fünf untersuchten Frameworks – und zwar ohne dass das KI-Modell selbst verändert werden musste.
Zusätzlich zeigen die Forschenden, dass das Verstecken von Text nicht nur über Timing funktioniert, sondern auch über Sichtbarkeitsgrenzen. Sie projizieren eine Overlay-Ebene mit Text bei 2%-Opazität und koppeln die Situation an eine scheinbare „Netzwerksynchronisierung“, die den Agenten veranlasst, drei Sekunden zu warten. Das Modell „glaubt“ diese UI-Behauptung und liest den Text aus. In den Labortests erkennen vision-basierte KI-Modelle den Hinweistext in mindestens 18 von 20 Versuchen; bei mehreren Top-Modellen werden sogar 20 von 20 erreicht. Das ist eine wichtige Verschiebung: Menschen haben offenbar einen Wahrnehmungsschwellenwert, während der Screenshot selbst „pixelgenau“ bleibt. Für Verantwortliche bedeutet das: Selbst wenn ein UI-Layer für das Auge unsichtbar wirkt, kann die gesamte Pipeline aus Screenshot-Extraktion und OCR/Visionsmodell den Payload zuverlässig rekonstruieren.
Daneben liefert die Arbeit gleich mehrere „Abkürzungen“, die keine elegante Stealth-Technik erfordern. Ein Hardware-Aspekt hilft ebenfalls: Bei Smartphones liegen Ecken und Kamerasaussparungen außerhalb des sichtbaren Rahmens, aber der Framebuffer bleibt rechteckig. Pixel, die in diese Bereiche gerendert werden, landen dennoch in jedem Screenshot. Auf einem Pixel 4 identifizieren die Forschenden so etwa 78 „versteckte“ Pixelbreite an einer Ecke, genug für einen kurzen Befehl – und alle fünf Agenten lesen entsprechende Payloads aus. In einer anderen Variante nutzt der Angriff Accessibility-Dienste: Ein simuliertes Login-Element wird über der echten App platziert, und der Agent tippt Benutzerdaten direkt in Felder. Die Experimente berichten, dass dies in 100 Versuchen über alle fünf Frameworks hinweg funktionierte, weil die KI nicht zögert, selbst wenn ein Unerwartungszustand optisch plausibel wäre. Außerdem wird beschrieben, dass Angreifer bei fehlender Absicherung Broadcast-Aktionen verwenden können, um Eingabetext in Test- oder Keyboard-Automation einzuspeisen.
Die Reihe der Schwachstellen endet jedoch nicht bei „Prompt Injection“ im engeren Sinn, sondern führt zu klaren Empfehlungen für harte Sicherheitsmaßnahmen in der Integrationsschicht. Der Bericht ist dabei zugleich unmissverständlich: die wichtigste Abwehr beginnt vor dem Modell, also bei der Übersetzung zwischen Modelloutput und Host-Kommandos. Genannt werden konkrete Punkte wie shell=False beziehungsweise das Weglassen von shell=True, das Weiterreichen von Argumenten als argv-Listen statt als String-Interpolationen, das Streamen von Screenshots ohne persistente Gerätedateien (damit es kein File-Race-Fenster gibt), sowie eine Signatur-/Berechtigungslogik auf Broadcast-Ebene oder die Nutzung expliziter Intents. Zusätzlich schlagen die Forschenden vor, die auslösende UI-Komponente zwischen Vorher/Nachher zu vergleichen und pro Task eine Paket-Allowlist zu führen. Was der Bericht als unzureichend einstuft: alleinige Bestätigungsprompts auf „sensitive“ Aktionen, weil ein falsches Overlay oder manipulierte Screenshots bereits die Entscheidungslogik der KI umlenken können.
Bemerkenswert ist auch die Beobachtung zur Melde- und Abdeckungsstruktur. Zidong Zhang berichtet, dass das Team wegen fehlender dedizierter Reporting-Kanäle zunächst per E-Mail Kontakt zu den Maintainern suchte und „not received a response to date“ erhalten habe. Die Arbeit beschreibt zudem, dass zuerst große Anbieter im Sinne einer Vorab-Kontaktaufnahme angesprochen wurden; gleichzeitig wird betont, dass open-source Forschungsprojekte außerhalb des üblichen Security-Response-Prozesses häufig schwerer in eine reguläre Schwachstellenbearbeitung einsortierbar sind. Für Unternehmen folgt daraus eine handfeste Priorisierung: Wer mobile KI-Agenten nutzt oder selbst integriert, muss nicht nur die KI-Entscheidung prüfen, sondern auch die gesamte Host-Brücke – von Screenshot-Pipelines über ADB-Kommandos bis zu Accessibility- und Broadcast-Eingängen. In vielen Setups ist genau diese Integrationsschicht der Bereich, in dem aus einem unscheinbaren „Text auf dem Screen“ ein Systemeingriff auf dem Host wird.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Open-Source-Android-Agenten: Unsichtbarer Text kann KI-Befehle auf PCs auslösen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Open-Source-Android-Agenten: Unsichtbarer Text kann KI-Befehle auf PCs auslösen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Open-Source-Android-Agenten: Unsichtbarer Text kann KI-Befehle auf PCs auslösen« bei Google Deutschland suchen, bei Bing oder Google News!