Neue Angriffsform auf KI-Systeme: Datenklau durch Bildmanipulation

LONDON (IT BOLTWISE) – Forscher haben eine neue Angriffsmethode entwickelt, die es ermöglicht, Nutzerdaten durch manipulierte Bilder zu stehlen. Diese Bilder enthalten unsichtbare Anweisungen, die beim Herunterskalieren sichtbar werden und von KI-Systemen als legitime Eingaben interpretiert werden.

In einer bemerkenswerten Entwicklung haben Forscher eine neue Angriffsmethode auf KI-Systeme vorgestellt, die es ermöglicht, Nutzerdaten durch manipulierte Bilder zu stehlen. Diese Bilder enthalten unsichtbare Anweisungen, die erst sichtbar werden, wenn die Bildqualität durch Resampling-Algorithmen herabgesetzt wird. Diese Methode, entwickelt von den Trail of Bits-Forschern Kikimora Morozova und Suha Sabi Hussain, baut auf einer Theorie auf, die 2020 in einem USENIX-Papier der Technischen Universität Braunschweig vorgestellt wurde.

Der Angriff nutzt die Tatsache aus, dass Bilder, die auf KI-Systeme hochgeladen werden, automatisch auf eine niedrigere Qualität herunterskaliert werden, um die Leistung und Kosteneffizienz zu verbessern. Je nach System kann die Bildverkleinerung durch Algorithmen wie Nearest Neighbor, Bilinear oder Bicubic Interpolation erfolgen. Diese Methoden führen zu Aliasing-Artefakten, die es ermöglichen, versteckte Muster auf dem herunterskalierten Bild sichtbar zu machen, wenn die Quelle speziell für diesen Zweck erstellt wurde.

Ein Beispiel von Trail of Bits zeigt, dass bestimmte dunkle Bereiche eines bösartigen Bildes rot werden, wodurch versteckter Text in Schwarz erscheint, wenn die Bicubic-Verkleinerung verwendet wird. Das KI-Modell interpretiert diesen Text als Teil der Benutzeranweisungen und kombiniert ihn automatisch mit der legitimen Eingabe. Aus Sicht des Benutzers scheint alles normal zu sein, aber in der Praxis führt das Modell versteckte Anweisungen aus, die zu Datenlecks oder anderen riskanten Aktionen führen können.

Die Forscher von Trail of Bits empfehlen als Abwehrmaßnahme, dass KI-Systeme Dimensionseinschränkungen implementieren, wenn Benutzer ein Bild hochladen. Wenn eine Herunterskalierung notwendig ist, sollten Benutzer eine Vorschau des Ergebnisses erhalten, das dem großen Sprachmodell (LLM) geliefert wird. Zudem sollte die explizite Bestätigung der Benutzer für sensible Werkzeugaufrufe eingeholt werden, insbesondere wenn Text in einem Bild erkannt wird. Die stärkste Verteidigung besteht jedoch darin, sichere Designmuster und systematische Abwehrmaßnahmen zu implementieren, die über multimodale Prompt-Injection hinausgehen.

Bestseller Nr. 1 - «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

29,99 EUR

Bestseller Nr. 2 - «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 - «KI Gadgets»

PLAUD Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 - «KI Gadgets»

KI-Sprachrekorder, PLAUD NotePin Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 - «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

64,59 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!