LOS ANGELES / MÜNCHEN (IT BOLTWISE) – Wie fein abgestimmt sind Großsprachmodelle (LLMs) der Künstlichen Intelligenz auf unsere Eingaben? Eine Studie enthüllt, dass selbst geringfügige Änderungen in den Anweisungen zu erheblichen Abweichungen in den Ergebnissen führen können.

Die Kunst des Promptings, der Eingabe von Anweisungen an generative KI-Systeme und Großsprachmodelle (LLMs), ist entscheidend für die Qualität der Antworten, die wir von ihnen erhalten. Eine neue Studie des Information Sciences Institute der University of Southern California zeigt auf, wie anfällig diese Modelle für Variationen in den Eingaben sind.

Schon kleinste Änderungen oder scheinbar harmlose Anpassungen – wie das Hinzufügen eines Leerzeichens am Anfang eines Prompts oder die Verwendung einer Anweisung anstelle einer Frage – können dazu führen, dass ein LLM seine Antwort ändert. Besorgniserregender ist, dass das Anfordern von Antworten im XML-Format oder die Anwendung gängiger Jailbreak-Methoden “katastrophale Auswirkungen” auf von Modellen klassifizierte Daten haben kann.

Die Forscher vergleichen dieses Phänomen mit dem Schmetterlingseffekt in der Chaostheorie. Demnach können kleinste Störungen, verursacht durch den Flügelschlag eines Schmetterlings, Wochen später einen Tornado in weit entfernten Landstrichen auslösen.

Bei der Formulierung von Prompts sind eine Reihe von Entscheidungen des Benutzers gefragt. Die Forscher stellen fest, dass bisher wenig Aufmerksamkeit darauf gerichtet wurde, wie empfindlich LLMs auf Variationen in diesen Entscheidungen reagieren.

Zur Untersuchung wählten die von der Defense Advanced Research Projects Agency (DARPA) geförderten Forscher ChatGPT als Testobjekt und wandten vier verschiedene Methoden der Prompt-Variation an.

Die erste Methode forderte das LLM auf, Antworten in häufig verwendeten Formaten wie Python-Liste, ChatGPTs JSON-Checkbox, CSV, XML oder YAML zu liefern. Die zweite Methode bestand darin, geringfügige Änderungen an Prompts vorzunehmen, wie das Hinzufügen eines Leerzeichens am Anfang oder Ende oder das Verwenden einer Begrüßung wie „Hello“.

Die dritte Methode umfasste die Anwendung von Jailbreak-Techniken, die dazu führten, dass das Modell unmoralische, illegale oder schädliche Antworten lieferte. Die vierte Methode bestand darin, das Modell mit einem „Trinkgeld“ zu versehen, eine Idee, die aus der viralen Annahme stammt, dass Modelle auf Geldangebote reagieren würden.

Die Forscher fanden heraus, dass jede Variation zu einer Veränderung in den Vorhersagen des LLMs und damit zu einer Beeinträchtigung seiner Genauigkeit führte. Interessanterweise verursachte schon das Hinzufügen eines bestimmten Ausgabeformats eine Veränderung der Vorhersagen um mindestens 10%.

Die Studie zeigt deutlich, dass es noch viel zu tun gibt, um LLMs zu entwickeln, die gegenüber kleinen Änderungen widerstandsfähig sind und konsistente Antworten liefern. Dies erfordert ein tieferes Verständnis dafür, warum Antworten auf geringfügige Anpassungen hin variieren, und die Entwicklung von Methoden, um diese besser vorherzusehen.

Warum Großsprachmodelle der Künstlichen Intelligenz anfällig für den „Schmetterlingseffekt“ sind
Warum Großsprachmodelle der Künstlichen Intelligenz anfällig für den „Schmetterlingseffekt“ sind (Foto:DALL-E, IT BOLTWISE)

Hinweis: Teile dieses Textes könnten mithilfe einer Künstlichen Intelligenz generiert worden sein.









Die nächste Stufe der Evolution: Wenn Mensch und Maschine eins werden | Wie Futurist, Tech-Visionär und Google-Chef-Ingenieur Ray Kurzweil die Zukunft der Künstlichen Intelligenz sieht
44 Bewertungen
Die nächste Stufe der Evolution: Wenn Mensch und Maschine eins werden | Wie Futurist, Tech-Visionär und Google-Chef-Ingenieur Ray Kurzweil die Zukunft der Künstlichen Intelligenz sieht
  • Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
123 Bewertungen
Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
  • Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
KI Exzellenz: Erfolgsfaktoren im Management jenseits des Hypes. Zukunftstechnologien verstehen und künstliche Intelligenz erfolgreich in der Arbeitswelt nutzen. (Haufe Fachbuch)
69 Bewertungen
KI Exzellenz: Erfolgsfaktoren im Management jenseits des Hypes. Zukunftstechnologien verstehen und künstliche Intelligenz erfolgreich in der Arbeitswelt nutzen. (Haufe Fachbuch)
  • Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
Künstliche Intelligenz und Hirnforschung: Neuronale Netze, Deep Learning und die Zukunft der Kognition
40 Bewertungen
Künstliche Intelligenz und Hirnforschung: Neuronale Netze, Deep Learning und die Zukunft der Kognition
  • Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten

Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de. Da wir bei KI-erzeugten News und Inhalten selten auftretende KI-Halluzinationen nicht ausschließen können, bitten wir Sie bei Falschangaben und Fehlinformationen uns via eMail zu kontaktieren und zu informieren. Bitte vergessen Sie nicht in der eMail die Artikel-Headline zu nennen: "Warum Große Sprachmodelle für den ‘Schmetterlingseffekt’ anfällig sind".
Stichwörter AI Artificial Intelligence Butterfly Effect Chaostheorie Forschung Genauigkeit Großsprachmodelle KI Künstliche Intelligenz Prompting Schmetterlingseffekt Variation
Alle Märkte in Echtzeit verfolgen - 30 Tage kostenlos testen!


#Abo
Telegram
LinkedIn
Facebook
Twitter
Instagram
#Podcast
YouTube
Spotify
Apple
#Werbung
Shirts
Roboter
Home
Bücher
AI Jobs
Spielzeug
Games
Kinder
Audio

Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Warum Große Sprachmodelle für den ‘Schmetterlingseffekt’ anfällig sind" für unsere Leser?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

  • Die aktuellen intelligenten Ringe, intelligenten Brillen, intelligenten Uhren oder KI-Smartphones auf Amazon entdecken! (Sponsored)


  • Es werden alle Kommentare moderiert!

    Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.

    Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.

    Du willst nichts verpassen?

    Du möchtest über ähnliche News und Beiträge wie "Warum Große Sprachmodelle für den ‘Schmetterlingseffekt’ anfällig sind" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.

    315 Leser gerade online auf IT BOLTWISE®