Neue Open-Source-Tools zur Entschlüsselung von KI-Modellen

SAN FRANCISCO / LONDON (IT BOLTWISE) – Die Entschlüsselung der inneren Abläufe von KI-Modellen stellt eine der größten Herausforderungen der modernen KI-Forschung dar. Anthropic, ein Unternehmen, das sich auf die Entwicklung sicherer und verständlicher KI-Systeme spezialisiert hat, hat nun einen bedeutenden Schritt in Richtung Transparenz unternommen.

Anthropic hat kürzlich ein neues Open-Source-Tool veröffentlicht, das es Forschern ermöglicht, die internen Entscheidungsprozesse von großen Sprachmodellen besser zu verstehen. Diese Methode, die auf der Erstellung von Attributionsgraphen basiert, bietet Einblicke in die Schritte, die ein Modell intern unternimmt, um zu einem bestimmten Output zu gelangen. Die Veröffentlichung dieser Tools soll die Forschungsgemeinschaft dabei unterstützen, die Funktionsweise von KI-Modellen besser zu verstehen und weiterzuentwickeln.

Die Attributionsgraphen, die mit diesen Tools generiert werden können, bieten eine visuelle Darstellung der internen Prozesse eines Modells. Diese Graphen sind besonders nützlich, um komplexe Verhaltensweisen wie mehrstufiges Denken oder mehrsprachige Repräsentationen zu analysieren. Die Tools wurden von Teilnehmern des Anthropic Fellows Programms in Zusammenarbeit mit Decode Research entwickelt und sind nun für die breite Öffentlichkeit zugänglich.

Ein interaktives Frontend, das von Neuronpedia gehostet wird, ermöglicht es Nutzern, die Attributionsgraphen zu erkunden und zu analysieren. Dies bietet Forschern die Möglichkeit, Hypothesen zu testen, indem sie Merkmalswerte ändern und beobachten, wie sich die Modelloutputs verändern. Die Tools wurden bereits erfolgreich eingesetzt, um interessante Verhaltensweisen in Modellen wie Gemma-2-2b und Llama-3.2-1b zu untersuchen.

Die Dringlichkeit der Interpretationsforschung wird von Dario Amodei, dem CEO von Anthropic, betont. Er weist darauf hin, dass unser Verständnis der inneren Abläufe von KI-Systemen weit hinter den Fortschritten in der KI-Fähigkeit zurückbleibt. Durch die Bereitstellung dieser Open-Source-Tools hofft Anthropic, es der breiteren Gemeinschaft zu erleichtern, die Vorgänge innerhalb von Sprachmodellen zu studieren und zu verstehen.

Die Entwicklung der Open-Source-Bibliothek zur Schaltkreisfindung wurde von den Anthropic Fellows Michael Hanna und Mateusz Piotrowski unter der Anleitung von Emmanuel Ameisen und Jack Lindsey geleitet. Die Integration von Neuronpedia wurde von Decode Research umgesetzt, wobei Johnny Lin als Neuronpedia-Leiter und Curt Tigges als wissenschaftlicher Leiter fungierten. Die Gemma-Graphen basieren auf Transkodern, die im Rahmen des GemmaScope-Projekts trainiert wurden.

Anthropic lädt die Gemeinschaft ein, weitere interessante Schaltkreise zu entdecken und die Tools zu erweitern. Als Inspiration stellt das Unternehmen zusätzliche Attributionsgraphen zur Verfügung, die noch nicht analysiert wurden. Für Fragen oder Feedback können Interessierte ein Issue auf GitHub eröffnen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!