Sicherheitslücke: Wie KI-Systeme durch Kalender-Einladungen manipuliert werden können

LONDON (IT BOLTWISE) – In einer alarmierenden Demonstration haben Forscher gezeigt, wie Künstliche Intelligenz durch scheinbar harmlose Kalender-Einladungen manipuliert werden kann, um ungewollte Aktionen in Smart Homes auszulösen.

In einer kürzlich veröffentlichten Studie haben Forscher eine neue Methode aufgezeigt, wie Künstliche Intelligenz (KI) durch sogenannte ‘Prompt-Injections’ manipuliert werden kann. Diese Technik nutzt einfache Kalender-Einladungen, um KI-Systeme wie Googles Gemini dazu zu bringen, ungewollte Aktionen in Smart Homes auszuführen. Die Forscher zeigten, dass es möglich ist, durch geschickt formulierte Einladungen die Kontrolle über vernetzte Geräte zu erlangen.

Die Manipulation erfolgt durch das Einfügen von Anweisungen in den Betreff von Kalender-Einladungen oder E-Mail-Betreffzeilen. Diese Anweisungen werden von der KI als legitime Befehle interpretiert, sobald ein Benutzer die KI auffordert, den Kalenderinhalt zusammenzufassen. Ein Beispiel zeigt, wie durch das einfache Aussprechen eines Dankes die Fenster eines Smart Homes geöffnet werden können, ohne dass der Benutzer dies beabsichtigt.

Diese Art der Manipulation, bekannt als ‘verzögerte automatische Werkzeugausführung’, umgeht bestehende Sicherheitsmaßnahmen von Google. Der unabhängige Sicherheitsforscher Johann Rehberger hatte bereits im Februar 2024 auf diese Schwachstelle hingewiesen. Die aktuelle Forschung verdeutlicht das Potenzial solcher Angriffe und die realen Gefahren, die sie für die physische Sicherheit darstellen können.

Die Forscher betonen, dass diese Angriffe keine tiefgehenden technischen Kenntnisse erfordern und von nahezu jedem durchgeführt werden können. Dies erhöht die Dringlichkeit, Sicherheitsmaßnahmen zu verbessern, um solche Manipulationen zu verhindern. Die Auswirkungen solcher Angriffe könnten weitreichend sein, insbesondere wenn sie auf kritische Infrastrukturen oder persönliche Sicherheitsgeräte abzielen.

Während die Manipulation von Smart-Home-Geräten besonders besorgniserregend ist, haben die Forscher auch andere Angriffe entwickelt, die keine physischen Geräte betreffen. Diese ‘Promptware’-Angriffe können beispielsweise dazu führen, dass die KI falsche Informationen an den Benutzer weitergibt oder unerwünschte Aktionen auf dem Gerät des Benutzers ausführt, wie das Starten eines Videoanrufs ohne Zustimmung.

Die Forschung zeigt, dass die Sicherheit von KI-Systemen dringend verbessert werden muss, um solche Angriffe zu verhindern. Experten fordern strengere Sicherheitsprotokolle und eine verstärkte Überwachung der Interaktionen zwischen KI und vernetzten Geräten. Die Industrie muss schnell handeln, um die Integrität und Sicherheit von KI-Systemen zu gewährleisten, bevor solche Angriffe in größerem Umfang ausgenutzt werden können.

Die Zukunft der KI-Sicherheit hängt von der Fähigkeit ab, solche Schwachstellen zu identifizieren und zu beheben. Unternehmen müssen proaktiv handeln, um ihre Systeme zu schützen und das Vertrauen der Nutzer in KI-Technologien zu erhalten. Die Forschungsergebnisse dienen als Weckruf für die Branche, die Sicherheitsstandards zu überdenken und zu verbessern.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!