Sicherheitslücke in LangSmith: Gefahr für OpenAI-Schlüssel und Nutzerdaten

LONDON (IT BOLTWISE) – Eine kürzlich entdeckte Sicherheitslücke in der LangSmith-Plattform von LangChain hat die Aufmerksamkeit der Cybersicherheitsgemeinschaft auf sich gezogen. Die Schwachstelle, die mittlerweile behoben wurde, hätte es Angreifern ermöglichen können, sensible Daten wie API-Schlüssel und Benutzeranfragen abzufangen.

Die Sicherheitslücke, die von Noma Security als AgentSmith bezeichnet wurde, erhielt einen CVSS-Score von 8,8 von maximal 10 Punkten. LangSmith ist eine Plattform zur Beobachtung und Bewertung von Anwendungen, die auf großen Sprachmodellen (LLM) basieren, einschließlich solcher, die mit LangChain entwickelt wurden. Die Plattform bietet auch einen sogenannten LangChain Hub, der als Repository für alle öffentlich gelisteten Prompts, Agenten und Modelle fungiert.

Forscher von Noma Security, Sasi Levi und Gal Moyal, berichteten, dass die Schwachstelle ausgenutzt werden konnte, indem ein bösartiger Proxy-Server in einen Agenten integriert wurde, der dann im Prompt Hub hochgeladen wurde. Sobald ein Benutzer diesen Agenten übernahm, konnte der Proxy unbemerkt alle Benutzerkommunikationen abfangen, einschließlich sensibler Daten wie OpenAI API-Schlüssel, Benutzeranfragen und hochgeladener Dokumente.

Der Angriff begann damit, dass ein Angreifer einen KI-Agenten erstellte und ihn mit einem Modellserver unter seiner Kontrolle über die Proxy-Provider-Funktion konfigurierte. Dieser Agent wurde dann im LangChain Hub geteilt. Wenn ein Benutzer diesen Agenten ausprobierte, wurden alle seine Kommunikationen heimlich über den Proxy-Server des Angreifers geleitet, was zur unbemerkten Exfiltration der Daten führte.

Die erbeuteten Daten könnten OpenAI API-Schlüssel, Anfragedaten und hochgeladene Anhänge umfassen. Der Angreifer könnte den OpenAI API-Schlüssel nutzen, um unbefugten Zugang zur OpenAI-Umgebung des Opfers zu erlangen, was zu schwerwiegenderen Konsequenzen wie Modell-Diebstahl und System-Prompt-Lecks führen könnte. Darüber hinaus könnte der Angreifer das gesamte API-Kontingent der Organisation aufbrauchen, was zu erhöhten Kosten oder einer vorübergehenden Einschränkung des Zugangs zu OpenAI-Diensten führen könnte.

Falls das Opfer den Agenten in seine Unternehmensumgebung klonte, bestand das Risiko, dass wertvolle Daten kontinuierlich an die Angreifer geleakt wurden, ohne dass das Opfer davon Kenntnis hatte. Nach einer verantwortungsvollen Offenlegung am 29. Oktober 2024 wurde die Schwachstelle im Backend von LangChain als Teil eines am 6. November bereitgestellten Fixes behoben. Der Patch implementiert auch eine Warnmeldung über die Datenexposition, wenn Benutzer versuchen, einen Agenten mit einer benutzerdefinierten Proxy-Konfiguration zu klonen.

Die Offenlegung dieser Sicherheitslücke fällt mit der Enthüllung neuer WormGPT-Varianten durch Cato Networks zusammen. Diese Varianten, die von xAI Grok und Mistral AI Mixtral betrieben werden, sind darauf ausgelegt, bösartige Aktivitäten zu erleichtern, wie das Erstellen maßgeschneiderter Phishing-E-Mails und das Schreiben von Malware-Snippets. Die neuen Iterationen von WormGPT sind keine maßgeschneiderten Modelle, sondern das Ergebnis der geschickten Anpassung bestehender LLMs durch Bedrohungsakteure.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!