LONDON (IT BOLTWISE) – Eine neue Angriffsmethode auf KI-Systeme kombiniert Bildskalierungsangriffe mit Prompt Injection, um Daten unbemerkt zu exfiltrieren. Forscher von Trail of Bits haben gezeigt, wie diese Technik genutzt werden kann, um KI-Modelle zu manipulieren und sensible Informationen zu stehlen.

Die zunehmende Verbreitung von KI-gestützten Bildverarbeitungswerkzeugen bringt neue Sicherheitsherausforderungen mit sich. Forscher haben eine innovative Angriffsmethode entwickelt, die Bildskalierungsangriffe mit Prompt Injection kombiniert, um Daten unbemerkt aus KI-Systemen zu exfiltrieren. Diese Technik nutzt die Schwächen in der Bildverarbeitung von KI-Modellen aus, um schädliche Anweisungen einzuschleusen.
Bildskalierungsangriffe wurden erstmals 2020 von Forschern der Technischen Universität Braunschweig demonstriert. Dabei wird die Bildskalierung in KI-Systemen ausgenutzt, um die Verarbeitung der Bilder zu manipulieren. Die Forscher von Trail of Bits haben diese Methode weiterentwickelt, indem sie schädliche Prompts in Bilder einbetten, die beim Skalieren sichtbar werden und das KI-Modell täuschen.
In einem Experiment zeigten die Forscher, wie sie mit dieser Technik Daten aus Google Calendar exfiltrieren konnten, indem sie ein Bild mit einem versteckten Prompt hochluden. Diese Methode funktioniert bei den meisten KI-Systemen, da sie die grundlegenden Prozesse der Bildverarbeitung ausnutzt. Die Forscher haben ein Open-Source-Tool namens “Anamorpher” veröffentlicht, das diese Angriffe visualisiert.
Um solche Angriffe zu verhindern, empfehlen die Forscher, die Bildskalierung zu vermeiden und die Bildvorschau zu überprüfen, bevor sie an das Modell weitergeleitet wird. Zudem sollten Sicherheitsmaßnahmen wie die Bestätigung durch den Nutzer vor der Ausführung von Anweisungen in Bildern implementiert werden. Diese Maßnahmen könnten helfen, die Sicherheit von KI-Systemen zu erhöhen und die Gefahr von Datenverlusten zu verringern.

- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
Stellenangebote

Duales Studium BWL - Spezialisierung Artificial Intelligence (B.A.) am Campus oder virtuell

AI Solutions Engineer (w/m/d)

Duales Studium BWL - Spezialisierung Artificial Intelligence (B.A.) am Campus oder virtuell

Experte (m/w/d) für KI-Governance

- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Neue Angriffe auf KI-Systeme durch Bildskalierung und Prompt Injection" für unsere Leser?
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Neue Angriffe auf KI-Systeme durch Bildskalierung und Prompt Injection" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Neue Angriffe auf KI-Systeme durch Bildskalierung und Prompt Injection« bei Google Deutschland suchen, bei Bing oder Google News!