Effiziente KI: Können kleinere Modelle mit Großen in der Chat-Technologie mithalten?

CAMBRIDGE / MÜNCHEN (IT BOLTWISE) – Eine neue Studie untersucht, ob eine Kombination kleinerer Modelle in der Chat-Technologie ebenso effektiv oder sogar besser sein kann als ein großes Modell.

Im sich schnell entwickelnden Bereich der Chatbot-Technologie zeichnet sich ein Trend zu massiven KI-Modellen wie ChatGPT, Bard und Gemini ab. Diese Giganten sind bekannt für ihre umfangreichen Trainingsdaten und zahlreichen Modellparameter, die ihre Leistung deutlich verbessern sollen. Ihre große Größe bedeutet jedoch auch, dass sie viel Rechenleistung benötigen, was Fragen hinsichtlich ihrer Effizienz aufwirft.

In einer Forschungsarbeit der Universitäten Cambridge und UCL wird eine faszinierende Möglichkeit untersucht: Kann eine Kombination aus kleineren Modellen ebenso effektiv oder sogar besser sein als ein großes Modell?

Die Forscher stellen eine neuartige Methode namens „Blended“ vor, die darin besteht, zufällig Antworten aus einer Vielzahl kleinerer Chat-KI-Systeme auszuwählen. Dieser Ansatz übertrifft überraschenderweise die größeren Modelle. Blended AI kombiniert die besten Funktionen verschiedener Systeme und lernt und passt sich anhand der Konversationshistorie an. Dies führt zu vielfältigeren und ansprechenderen Antworten, die das Benutzererlebnis verbessern. Die Wirksamkeit von Blended wurde durch umfangreiche A/B-Tests auf der CHAI-Plattform mit echten Benutzern bestätigt.

Das Design eines Chat-AI beinhaltet die Auswahl des Basismodells, der Daten für das Feintuning und der Art des Feedbacks. Verschiedene Kombinationen können zu diversen Systemen mit einzigartigen Stärken führen. Diese Studie schlägt vor, verschiedene Chat-KIs zu mischen, wobei jede ihre eigenen Parameter hat, in einer Weise, die mit der Bayes’schen Statistik übereinstimmt.

Die Effektivität von Blended AI wird nicht nur anhand der Qualität seiner Antworten, sondern auch durch Messung des Benutzerengagements und der Bindung bewertet. Diese gelten als zuverlässige Indikatoren für die Leistung eines Chat-AI. In Tests zeigte Blended, bestehend aus verschiedenen kleineren KI-Modellen, ein höheres Benutzerengagement und eine höhere Bindungsrate als sogar GPT-3.5, trotz weniger Parametern und geringerer Rechenkosten.

Zusammenfassend legt diese Studie nahe, dass das Mischen kleinerer, quelloffener Systeme eine effektive Möglichkeit ist, das Chatbot-Erlebnis zu verbessern, ohne auf übermäßig große Modelle zurückgreifen zu müssen. Dieser Ansatz stellt die traditionelle Ansicht in Frage, dass in der Entwicklung von KI-Modellen größer immer besser ist und deutet auf eine Zukunft hin, in der die Zusammenarbeit zwischen Modellen entscheidend sein könnte.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.