GitLab Duo: Sicherheitslücke ermöglichte Code-Diebstahl durch KI-Manipulation

MÜNCHEN (IT BOLTWISE) – Eine kürzlich entdeckte Sicherheitslücke in GitLabs KI-gestütztem Assistenten Duo hat die Tech-Welt aufgerüttelt. Diese Schwachstelle ermöglichte es Angreifern, versteckte Befehle in den Kontext von Projekten einzuschleusen, um vertrauliche Informationen zu stehlen und schädlichen Code zu injizieren.

Die Entdeckung einer indirekten Prompt-Injection-Schwachstelle in GitLabs KI-Assistenten Duo hat erhebliche Sicherheitsbedenken ausgelöst. Diese Schwachstelle erlaubte es Angreifern, versteckte Anweisungen in den Kontext von Projekten einzubetten, um vertrauliche Informationen zu exfiltrieren und schädlichen HTML-Code in die Antworten der KI zu injizieren. GitLab Duo, das auf den Claude-Modellen von Anthropic basiert, wurde im Juni 2023 eingeführt und bietet Entwicklern Unterstützung beim Schreiben, Überprüfen und Bearbeiten von Code.

Die Sicherheitslücke, die von Legit Security aufgedeckt wurde, ermöglichte es Angreifern, Quellcode aus privaten Projekten zu stehlen, Codevorschläge zu manipulieren und sogar vertrauliche Zero-Day-Schwachstellen zu exfiltrieren. Solche indirekten Prompt-Injections sind besonders tückisch, da sie nicht direkt in die KI eingegeben werden, sondern in einem anderen Kontext wie einem Dokument oder einer Webseite versteckt sind, die das Modell verarbeitet.

Studien haben gezeigt, dass große Sprachmodelle (LLMs) auch anfällig für sogenannte Jailbreak-Angriffe sind, bei denen es möglich ist, KI-gesteuerte Chatbots dazu zu bringen, schädliche und illegale Informationen zu generieren, die ihre ethischen und sicherheitsrelevanten Leitplanken umgehen. Darüber hinaus könnten Prompt-Leakage-Methoden (PLeak) dazu führen, dass voreingestellte Systemanweisungen oder -prompts unbeabsichtigt offengelegt werden.

Die neuesten Erkenntnisse der israelischen Software-Supply-Chain-Sicherheitsfirma zeigen, dass ein versteckter Kommentar in Merge-Requests, Commit-Nachrichten, Problembeschreibungen oder Kommentaren ausreichte, um sensible Daten zu leaken oder HTML in die Antworten von GitLab Duo zu injizieren. Diese Prompts könnten weiter verschleiert werden, indem sie mit Techniken wie Base16-Codierung, Unicode-Schmuggel und KaTeX-Darstellung in weißem Text kodiert werden.

Omer Mayraz, ein Sicherheitsforscher, erklärte, dass Duo den gesamten Kontext der Seite analysiert, einschließlich Kommentaren, Beschreibungen und Quellcode, was es anfällig für versteckte Anweisungen macht. Ein Angreifer könnte das System dazu bringen, ein bösartiges JavaScript-Paket in einen synthetisierten Code einzufügen oder eine bösartige URL als sicher darzustellen, was das Opfer auf eine gefälschte Anmeldeseite umleitet, die seine Anmeldedaten abfängt.

Nach einer verantwortungsvollen Offenlegung am 12. Februar 2025 wurden die Probleme von GitLab behoben. Diese Sicherheitslücke verdeutlicht die zweischneidige Natur von KI-Assistenten wie GitLab Duo: Wenn sie tief in Entwicklungs-Workflows integriert sind, übernehmen sie nicht nur den Kontext, sondern auch das Risiko.

Die Enthüllung dieser Schwachstelle fällt mit Berichten über ähnliche Sicherheitsprobleme bei Microsoft Copilot für SharePoint zusammen, die von lokalen Angreifern ausgenutzt werden könnten, um auf sensible Daten zuzugreifen. Diese Entwicklungen unterstreichen die Notwendigkeit, KI-Systeme kontinuierlich auf Sicherheitslücken zu überprüfen und zu verbessern, um die Integrität und Vertraulichkeit von Daten zu gewährleisten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!