Google DeepMind entwickelt neue Sicherheitsarchitektur gegen KI-Schwachstellen

MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz stellt die sogenannte ‘Prompt Injection’ eine erhebliche Sicherheitslücke dar, die Entwickler seit dem Aufkommen von Chatbots im Jahr 2022 beschäftigt. Google DeepMind hat nun mit der Einführung von CaMeL einen neuen Ansatz präsentiert, der diese Schwachstelle adressiert.

Prompt-Injection-Angriffe sind seit der Einführung von Chatbots im Jahr 2022 eine der größten Herausforderungen für Entwickler von KI-Systemen. Diese Angriffe nutzen die Schwäche von Sprachmodellen aus, die legitime Benutzerbefehle nicht von bösartigen Anweisungen unterscheiden können. Google DeepMind hat mit CaMeL (CApabilities for MachinE Learning) einen innovativen Ansatz vorgestellt, der auf bewährten Sicherheitsprinzipien basiert und Sprachmodelle als unzuverlässige Komponenten innerhalb eines sicheren Software-Frameworks behandelt.

Im Gegensatz zu bisherigen Ansätzen, die versuchten, KI-Modelle selbst die Angriffe erkennen zu lassen, setzt CaMeL auf eine Architektur, die klare Grenzen zwischen Benutzerbefehlen und potenziell schädlichen Inhalten zieht. Diese Methode basiert auf etablierten Sicherheitskonzepten wie der Kontrollflussintegrität und der Zugriffskontrolle, die auf die Herausforderungen von Sprachmodellen angepasst wurden.

Ein wesentlicher Bestandteil von CaMeL ist die duale LLM-Architektur, die auf einem theoretischen Modell basiert, das von Simon Willison vorgeschlagen wurde. Diese Architektur teilt die Aufgaben zwischen zwei Sprachmodellen auf: Ein ‘privilegiertes LLM’ (P-LLM) generiert den Code, der die auszuführenden Schritte definiert, während ein ‘quarantänisiertes LLM’ (Q-LLM) unstrukturierte Daten in strukturierte Ausgaben umwandelt, ohne Zugriff auf Werkzeuge oder Speicher zu haben.

Durch diese Trennung wird sichergestellt, dass bösartige Texte keinen Einfluss auf die Entscheidungen des KI-Systems haben. Das P-LLM sieht nur, dass ein Wert existiert, und schreibt den Code, der darauf basiert. Diese Trennung verhindert, dass das KI-System auf unzuverlässige Daten zugreift, es sei denn, es ist ausdrücklich erlaubt.

CaMeL geht über die duale LLM-Architektur hinaus, indem es die Benutzereingaben in eine Abfolge von Schritten umwandelt, die in einem speziellen, sicheren Interpreter ausgeführt werden. Dieser überwacht den Datenfluss und stellt sicher, dass keine unzuverlässigen Daten in sicherheitskritische Aktionen einfließen. Diese Methode erinnert an das Prinzip der minimalen Rechtevergabe, das seit den 1970er Jahren ein Eckpfeiler der Computersicherheit ist.

Die Forscher haben CaMeL gegen den AgentDojo-Benchmark getestet, der reale Aufgaben und Angriffe simuliert. Das System zeigte eine hohe Nützlichkeit und Widerstandsfähigkeit gegen bisher unlösbare Prompt-Injection-Angriffe. Die Architektur könnte auch Insider-Bedrohungen und bösartige Werkzeuge zur Datenexfiltration abwehren, indem sie verhindert, dass private Daten unbefugte Ziele erreichen.

Obwohl CaMeL vielversprechend ist, ist die Herausforderung der Prompt-Injection-Angriffe noch nicht vollständig gelöst. Die Benutzer müssen Sicherheitsrichtlinien kodifizieren und pflegen, was eine zusätzliche Belastung darstellt. Dennoch bietet CaMeL einen vielversprechenden Ansatz, um die Träume von sicheren, allgemeinen digitalen Assistenten zu verwirklichen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!