Warum Große Sprachmodelle für den ‚Schmetterlingseffekt‘ anfällig sind

LOS ANGELES / MÜNCHEN (IT BOLTWISE) – Wie fein abgestimmt sind Großsprachmodelle (LLMs) der Künstlichen Intelligenz auf unsere Eingaben? Eine Studie enthüllt, dass selbst geringfügige Änderungen in den Anweisungen zu erheblichen Abweichungen in den Ergebnissen führen können.

Die Kunst des Promptings, der Eingabe von Anweisungen an generative KI-Systeme und Großsprachmodelle (LLMs), ist entscheidend für die Qualität der Antworten, die wir von ihnen erhalten. Eine neue Studie des Information Sciences Institute der University of Southern California zeigt auf, wie anfällig diese Modelle für Variationen in den Eingaben sind.

Schon kleinste Änderungen oder scheinbar harmlose Anpassungen – wie das Hinzufügen eines Leerzeichens am Anfang eines Prompts oder die Verwendung einer Anweisung anstelle einer Frage – können dazu führen, dass ein LLM seine Antwort ändert. Besorgniserregender ist, dass das Anfordern von Antworten im XML-Format oder die Anwendung gängiger Jailbreak-Methoden „katastrophale Auswirkungen“ auf von Modellen klassifizierte Daten haben kann.

Die Forscher vergleichen dieses Phänomen mit dem Schmetterlingseffekt in der Chaostheorie. Demnach können kleinste Störungen, verursacht durch den Flügelschlag eines Schmetterlings, Wochen später einen Tornado in weit entfernten Landstrichen auslösen.

Bei der Formulierung von Prompts sind eine Reihe von Entscheidungen des Benutzers gefragt. Die Forscher stellen fest, dass bisher wenig Aufmerksamkeit darauf gerichtet wurde, wie empfindlich LLMs auf Variationen in diesen Entscheidungen reagieren.

Zur Untersuchung wählten die von der Defense Advanced Research Projects Agency (DARPA) geförderten Forscher ChatGPT als Testobjekt und wandten vier verschiedene Methoden der Prompt-Variation an.

Die erste Methode forderte das LLM auf, Antworten in häufig verwendeten Formaten wie Python-Liste, ChatGPTs JSON-Checkbox, CSV, XML oder YAML zu liefern. Die zweite Methode bestand darin, geringfügige Änderungen an Prompts vorzunehmen, wie das Hinzufügen eines Leerzeichens am Anfang oder Ende oder das Verwenden einer Begrüßung wie „Hello“.

Die dritte Methode umfasste die Anwendung von Jailbreak-Techniken, die dazu führten, dass das Modell unmoralische, illegale oder schädliche Antworten lieferte. Die vierte Methode bestand darin, das Modell mit einem „Trinkgeld“ zu versehen, eine Idee, die aus der viralen Annahme stammt, dass Modelle auf Geldangebote reagieren würden.

Die Forscher fanden heraus, dass jede Variation zu einer Veränderung in den Vorhersagen des LLMs und damit zu einer Beeinträchtigung seiner Genauigkeit führte. Interessanterweise verursachte schon das Hinzufügen eines bestimmten Ausgabeformats eine Veränderung der Vorhersagen um mindestens 10%.

Die Studie zeigt deutlich, dass es noch viel zu tun gibt, um LLMs zu entwickeln, die gegenüber kleinen Änderungen widerstandsfähig sind und konsistente Antworten liefern. Dies erfordert ein tieferes Verständnis dafür, warum Antworten auf geringfügige Anpassungen hin variieren, und die Entwicklung von Methoden, um diese besser vorherzusehen.

Hinweis: Teile dieses Textes könnten mithilfe einer Künstlichen Intelligenz generiert worden sein.