Gefährliche KI-Angriffe: Promptware überlistet Google Gemini

TEL AVIV / LONDON (IT BOLTWISE) – Die jüngsten Entwicklungen im Bereich der Künstlichen Intelligenz haben nicht nur positive Auswirkungen auf die Technologiebranche, sondern auch neue Bedrohungen hervorgebracht. Forscher der Universität Tel Aviv haben eine Schwachstelle in Googles KI-System Gemini entdeckt, die es ermöglicht, über scheinbar harmlose Kalendertermine gefährliche Angriffe auf Smart-Home-Geräte durchzuführen.

Die Forscher der Universität Tel Aviv haben eine innovative Angriffsmethode entwickelt, die sie als „Promptware“ bezeichnen. Diese Methode nutzt die weitreichenden Fähigkeiten von Googles KI-System Gemini aus, um über manipulierte Kalendertermine Smart-Home-Geräte zu kontrollieren. Diese Art von Angriff, bekannt als indirekte Prompt-Injection, zeigt, wie KI-Systeme durch Dritte zu schädlichen Zwecken missbraucht werden können.

Der Angriff beginnt mit einem Kalendertermin, dessen Beschreibung in Wirklichkeit eine Reihe von schädlichen Anweisungen enthält. Wenn der Nutzer Gemini bittet, seinen Zeitplan zusammenzufassen, verarbeitet die KI die manipulierten Informationen und führt die schädlichen Aktionen aus. Diese Methode umgeht geschickt bestehende Sicherheitsmaßnahmen von Google, indem sie die schädlichen Aktionen an spätere, scheinbar harmlose Interaktionen mit Gemini knüpft.

Die Forscher demonstrierten, dass es möglich ist, über diese Methode jedes mit Google verbundene Smart-Home-Gerät zu kontrollieren, einschließlich Beleuchtung, Thermostate und Jalousien. Dies stellt das erste bekannte Beispiel eines Prompt-Injection-Angriffs dar, der von der digitalen in die reale Welt übergeht. Die Auswirkungen solcher Angriffe könnten erheblich sein, da sie nicht nur die Privatsphäre der Nutzer gefährden, sondern auch physische Schäden verursachen könnten.

In ihrem Forschungsbericht, der auf der Black Hat Sicherheitskonferenz vorgestellt wurde, beschreiben die Forscher, wie diese Technik auch dazu verwendet werden kann, beleidigende Inhalte zu generieren, Spam zu versenden oder Kalendertermine zu löschen. Die Angriffe können auch dazu führen, dass schädliche Websites geöffnet werden, die Malware installieren und Daten stehlen.

Google hat bereits Maßnahmen ergriffen, um diese Schwachstelle zu beheben. Seit Februar arbeitet das Unternehmen mit den Forschern zusammen, um den Angriff zu entschärfen. Im Juni wurden neue Sicherheitsmaßnahmen eingeführt, die unsichere Anweisungen in Kalenderterminen, Dokumenten und E-Mails erkennen sollen. Zudem wurden zusätzliche Nutzerbestätigungen für bestimmte Aktionen eingeführt, wie das Löschen von Kalendereinträgen.

Diese Entwicklungen verdeutlichen die Notwendigkeit, die Sicherheitsmaßnahmen für KI-Systeme kontinuierlich zu verbessern. Während Unternehmen daran arbeiten, KI-Systeme leistungsfähiger zu machen, wird es immer wichtiger, diese Systeme vor potenziellen Angriffen zu schützen. Die Herausforderung besteht darin, die Balance zwischen Funktionalität und Sicherheit zu finden, um die Nutzer vor den wachsenden Bedrohungen zu schützen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!