LONDON (IT BOLTWISE) – Eine kürzlich entdeckte Sicherheitslücke in GitLabs KI-gestütztem Assistenten Duo hat die Technologiebranche in Aufruhr versetzt. Diese Schwachstelle hätte es Angreifern ermöglicht, durch versteckte Eingaben die Antworten der KI zu manipulieren und sensible Daten zu exfiltrieren.
GitLab Duo, ein KI-gestützter Assistent für die Softwareentwicklung, wurde im Juni 2023 eingeführt und basiert auf den Claude-Modellen von Anthropic. Doch wie Sicherheitsforscher herausfanden, war das System anfällig für indirekte Eingabeinjektionen, die es Angreifern ermöglichten, versteckte Befehle in scheinbar harmlosen Kontexten wie Dokumenten oder Webseiten zu platzieren. Diese Schwachstelle hätte es ermöglicht, Quellcode zu stehlen oder schädlichen HTML-Code in die Antworten der KI einzuschleusen.
Indirekte Eingabeinjektionen sind besonders tückisch, da sie nicht durch direkte Eingaben, sondern durch eingebettete Anweisungen in anderen Kontexten erfolgen. Diese Art von Angriffen nutzt die Fähigkeit von großen Sprachmodellen, den gesamten Kontext einer Seite zu analysieren, was sie anfällig für versteckte Anweisungen macht. Dies könnte dazu führen, dass die KI schädliche JavaScript-Pakete in generierten Codes vorschlägt oder Benutzer auf gefälschte Anmeldeseiten umleitet.
Die Sicherheitslücke wurde von der israelischen Firma Legit Security entdeckt, die auf Software-Lieferketten spezialisiert ist. Sie fanden heraus, dass versteckte Kommentare in Merge-Requests, Commit-Nachrichten oder Quellcode ausreichten, um sensible Daten zu leaken oder HTML in die Antworten von GitLab Duo zu injizieren. Diese versteckten Eingaben könnten durch Techniken wie Base16-Codierung oder Unicode-Schmuggel weiter verschleiert werden.
Nach der verantwortungsvollen Offenlegung am 12. Februar 2025 hat GitLab die Probleme behoben. Diese Schwachstelle verdeutlicht die zweischneidige Natur von KI-Assistenten wie GitLab Duo: Sie integrieren sich tief in Entwicklungsabläufe und übernehmen nicht nur den Kontext, sondern auch die damit verbundenen Risiken. Durch das Einbetten versteckter Anweisungen in scheinbar harmlose Projektinhalte konnten Forscher das Verhalten von Duo manipulieren und private Quellcodes exfiltrieren.
Diese Entdeckung fällt mit Berichten über ähnliche Schwachstellen in anderen KI-Systemen zusammen. So wurde bekannt, dass Microsofts Copilot für SharePoint von lokalen Angreifern genutzt werden könnte, um auf sensible Daten zuzugreifen. Diese Entwicklungen zeigen, dass KI-Systeme, trotz ihrer Vorteile, auch neue Sicherheitsherausforderungen mit sich bringen.
Die Sicherheitslücke in GitLab Duo ist ein weiteres Beispiel dafür, wie wichtig es ist, KI-Systeme kontinuierlich auf Schwachstellen zu überprüfen und zu verbessern. Unternehmen müssen sicherstellen, dass ihre KI-gestützten Tools nicht nur effizient, sondern auch sicher sind, um das Vertrauen der Nutzer zu gewährleisten und potenzielle Datenverluste zu verhindern.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- Service Directory für AI Adult Services erkunden!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
Stellenangebote
Gruppenleiter*in Künstliche Intelligenz
Bauprojektmanager / Projektleiter als Bauherrenvertretung für den KI-Campus (m/w/d)
Fachinformatiker (m/w/d) für KI Deployment und Anwendung
Duales Studium BWL - Spezialisierung Artificial Intelligence (B.A.) am Campus oder virtuell
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Sicherheitslücke in GitLab Duo: Angreifer könnten KI-Antworten manipulieren" für unsere Leser?
#Sophos
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Sicherheitslücke in GitLab Duo: Angreifer könnten KI-Antworten manipulieren" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Sicherheitslücke in GitLab Duo: Angreifer könnten KI-Antworten manipulieren« bei Google Deutschland suchen, bei Bing oder Google News!