Sakana AI: Neue KI-Modelle inspiriert von der Funktionsweise des Gehirns

TOKIO / MÜNCHEN (IT BOLTWISE) – Ein innovativer Ansatz in der KI-Entwicklung kommt aus Japan: Das Startup Sakana AI hat ein neues Modell vorgestellt, das die zeitbasierte Verarbeitung des menschlichen Gehirns nachahmt.

Das in Tokio ansässige Startup Sakana AI hat mit der Continuous Thought Machine (CTM) ein neues KI-Modell entwickelt, das sich von herkömmlichen Sprachmodellen unterscheidet, indem es die Synchronisation synthetischer Neuronen über die Zeit hinweg fokussiert. Anstatt Eingaben als statische Momentaufnahmen zu behandeln, verfolgt CTM eine dynamische Herangehensweise, die von der Funktionsweise des menschlichen Gehirns inspiriert ist.

Im Gegensatz zu traditionellen Aktivierungsfunktionen verwendet CTM neuron-level models (NLMs), die eine fortlaufende Historie vergangener Aktivierungen nachverfolgen. Diese Historien beeinflussen das Verhalten der Neuronen im Zeitverlauf, wobei die Synchronisation zwischen ihnen das zentrale interne Repräsentationsschema des Modells bildet. Diese Architektur ist ein Ergebnis der Naturinspiration, die Sakana AI seit seiner Gründung im Jahr 2023 verfolgt.

CTM gehört zu einer neuen Klasse von Modellen, die auf intensivere Berechnungen während der Inferenz setzen, um tiefere Schlussfolgerungen zu ziehen. Ein bemerkenswertes Merkmal von CTM ist das Konzept der ‘internen Ticks’, das es dem Modell ermöglicht, mehrere interne Schritte zur Problemlösung zu unternehmen, anstatt direkt zu einer endgültigen Antwort zu springen. Diese Methode erlaubt es dem Modell, seine Verarbeitungstiefe dynamisch anzupassen, je nach Komplexität der Aufgabe.

In ersten Tests wurde CTM auf die Bildklassifikation mit ImageNet 1K angewendet und erreichte eine Top-1-Genauigkeit von 72,47 % und eine Top-5-Genauigkeit von 89,89 %. Obwohl diese Ergebnisse nicht als bahnbrechend gelten, betont Sakana AI, dass die Leistung nicht im Vordergrund stand. Vielmehr liegt der Fokus auf der Fähigkeit des Modells, Informationen über verschiedene Zeitskalen hinweg zu integrieren.

Ein weiteres Experiment zeigte, dass CTM in der Lage war, komplexe Labyrinthe zu navigieren, indem es seinen Weg Schritt für Schritt plante. Diese Fähigkeit, die nicht explizit programmiert wurde, sondern aus der Architektur und dem Trainingsprozess des Modells hervorging, illustriert das Potenzial von CTM, über das hinauszugehen, was es während des Trainings gelernt hat.

Im Vergleich zu Long Short-Term Memory Netzwerken (LSTMs) und einfachen Feedforward-Netzwerken zeigte CTM eine schnellere und zuverlässigere Lernkurve bei Aufgaben wie der Sortierung von Zahlenfolgen. Die neuronale Aktivität von CTM war zudem komplexer und vielfältiger, was die Frage aufwirft, ob diese Komplexität in praktischen Anwendungen zu besseren Ergebnissen führen kann.

Obwohl CTM nicht darauf abzielt, das Gehirn perfekt zu replizieren, nutzt es Konzepte aus der Neurowissenschaft, insbesondere die zeitbasierte Synchronisation. Diese Herangehensweise bringt jedoch auch Herausforderungen mit sich, da CTM aufgrund seiner rekursiven Arbeitsweise nicht leicht parallelisiert werden kann, was das Training verlangsamt und mehr Rechenleistung erfordert.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!