Sicherheitslücke bei Amazon: Hacker manipuliert KI-Assistenten

SEATTLE / LONDON (IT BOLTWISE) – Eine kürzlich entdeckte Sicherheitslücke bei Amazons KI-Coding-Assistent ‘Q’ hat die Tech-Welt erschüttert. Ein Hacker nutzte eine Schwachstelle in den Sicherheitsprotokollen von Amazon aus, um bösartige Befehle in ein öffentlich veröffentlichtes Update einzuschleusen.

Die Sicherheitslücke, die von 404 Media aufgedeckt wurde, zeigt, wie ein Hacker über ein temporäres GitHub-Konto eine Pull-Anfrage einreichte, die ihm administrative Zugriffsrechte gewährte. In diesem unautorisierten Update wurden zerstörerische Anweisungen eingebettet, die den KI-Assistenten dazu veranlassten, potenziell Benutzerdateien zu löschen und Amazon Web Services (AWS)-Umgebungen zu säubern.

Obwohl die Schwere dieser Befehle offensichtlich war, wurde die kompromittierte Version von Amazon ohne Erkennung zusammengeführt und veröffentlicht. Die Anweisungen sollten auch die Aktionen in einer Datei namens /tmp/CLEANER.LOG protokollieren. Später entfernte das Unternehmen das fehlerhafte Update aus seinen Aufzeichnungen, ohne eine öffentliche Ankündigung zu machen, was Fragen zur Transparenz aufwirft.

Corey Quinn, Chief Cloud Economist bei The Duckbill Group, äußerte Skepsis gegenüber Amazons Aussage, dass „Sicherheit unsere oberste Priorität ist“, angesichts dieses Vorfalls. „Wenn das so aussieht, wenn Sicherheit die oberste Priorität ist, kann ich kaum erwarten, was passiert, wenn sie an zweiter Stelle steht“, schrieb Quinn in einem Beitrag auf LinkedIn.

Der Kern des Problems liegt darin, wie der Hacker eine Open-Source-Pull-Anfrage manipulierte. Dadurch konnte er Befehle in Amazons Q-Coding-Assistenten injizieren. Während diese Anweisungen ohne direkte Benutzerinteraktion wahrscheinlich nicht automatisch ausgeführt wurden, zeigte der Vorfall kritisch auf, wie KI-Agenten zu stillen Trägern für Angriffe auf Systemebene werden können.

In Reaktion auf solche Schwachstellen hat Jozu ein neues Tool namens „PromptKit“ veröffentlicht. Dieses System, das über einen einzigen Befehl zugänglich ist, bietet einen lokalen Reverse-Proxy, um OpenAI-kompatiblen Datenverkehr aufzuzeichnen und eine Befehlszeilenschnittstelle (CLI) sowie eine textbasierte Benutzeroberfläche (TUI) zum Erkunden, Taggen, Vergleichen und Veröffentlichen von Prompts bereitzustellen.

Jozu kündigte auf X.com an, dass PromptKit ein lokal-zuerst, Open-Source-Tool ist, das eine auditierbare und produktsichere Prompt-Verwaltung bietet und ein systemisches Risiko adressiert, da die Abhängigkeit von generativer KI wächst. Görkem Ercan, CTO von Jozu, erklärte gegenüber Hackread.com, dass PromptKit entwickelt wurde, um die Lücke zwischen Prompt-Experimenten und -Bereitstellung zu schließen. Es etabliert einen richtliniengesteuerten Workflow, der sicherstellt, dass nur verifizierte und auditierte Prompt-Artefakte, im Gegensatz zu dem rohen, nicht verifizierten Text, der AWS beeinträchtigte, in die Produktion gelangen.

Ercan betonte weiter, dass dieses Tool den fehlgeschlagenen menschlichen Verifizierungsprozess durch einen strengen, richtlinien- und signaturbasierten Workflow ersetzt hätte, der die böswillige Absicht effektiv abgefangen hätte, bevor sie live ging.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!