Verteiltes KI-Training: Neue Wege für Startups

MÜNCHEN (IT BOLTWISE) – Die Entwicklung von Künstlicher Intelligenz (KI) steht vor einem potenziellen Paradigmenwechsel. Zwei Startups, Flower AI und Vana, haben einen neuen Ansatz entwickelt, der das Training großer Sprachmodelle ohne den Einsatz traditioneller Datenzentren ermöglicht.

Die Art und Weise, wie Künstliche Intelligenz entwickelt wird, könnte sich grundlegend ändern. Flower AI und Vana, zwei innovative Startups, haben ein neues Sprachmodell namens Collective-1 entwickelt. Dieses Modell wurde mithilfe von weltweit verteilten GPUs trainiert, was den Bedarf an zentralisierten Datenzentren überflüssig macht. Diese Entwicklung könnte die KI-Industrie erheblich beeinflussen, indem sie kleineren Unternehmen und Universitäten ermöglicht, fortschrittliche KI-Modelle zu entwickeln, ohne auf teure Infrastruktur zurückgreifen zu müssen.

Flower AI hat Techniken entwickelt, die das Training über hunderte von Computern im Internet verteilen. Diese Technologie wird bereits von einigen Unternehmen genutzt, um KI-Modelle zu trainieren, ohne Rechenressourcen oder Daten zu bündeln. Vana hat Datenquellen bereitgestellt, darunter private Nachrichten von Plattformen wie X, Reddit und Telegram, um das Modell zu trainieren.

Obwohl Collective-1 mit 7 Milliarden Parametern im Vergleich zu den modernsten Modellen relativ klein ist, zeigt es das Potenzial des verteilten Ansatzes. Nic Lane, Mitbegründer von Flower AI, betont, dass dieser Ansatz weit über die Größe von Collective-1 hinaus skalierbar ist. Flower AI plant, ein Modell mit 30 Milliarden Parametern zu trainieren und später ein weiteres mit 100 Milliarden Parametern, was nahe an den Größen der führenden Modelle liegt.

Der verteilte Ansatz könnte die Machtverhältnisse in der KI-Industrie verändern. Derzeit bauen KI-Unternehmen ihre Modelle, indem sie große Mengen an Trainingsdaten mit enormen Rechenkapazitäten kombinieren, die in Datenzentren mit fortschrittlichen GPUs konzentriert sind. Dies bedeutet, dass nur die reichsten Unternehmen und Länder mit Zugang zu großen Mengen der leistungsstärksten Chips die mächtigsten Modelle entwickeln können.

Helen Toner, Expertin für KI-Governance, sieht in Flower AIs Ansatz eine interessante und potenziell sehr relevante Entwicklung für den Wettbewerb und die Governance im KI-Bereich. Sie glaubt, dass dieser Ansatz zwar Schwierigkeiten haben könnte, mit den neuesten Entwicklungen Schritt zu halten, aber als schneller Nachfolger interessant sein könnte.

Die verteilte KI-Entwicklung erfordert ein Umdenken in der Art und Weise, wie Berechnungen zur Erstellung leistungsstarker KI-Systeme aufgeteilt werden. Anstatt die Trainingsprozesse in einem großen Datenzentrum zu konsolidieren, ermöglicht der neue Ansatz, dass die Arbeit auf Hardware durchgeführt wird, die viele Kilometer entfernt sein kann und über eine relativ langsame oder variable Internetverbindung verbunden ist.

Einige große Akteure erforschen ebenfalls verteiltes Lernen. Forscher bei Google haben ein neues Schema namens DIstributed PAth COmposition (DiPaCo) demonstriert, das effizienteres verteiltes Lernen ermöglicht. Um Collective-1 und andere Sprachmodelle zu entwickeln, haben Lane und akademische Partner ein neues Tool namens Photon entwickelt, das das verteilte Training effizienter macht.

Vana, der Partner von Flower AI bei der Entwicklung von Collective-1, entwickelt neue Wege, wie Nutzer persönliche Daten mit KI-Entwicklern teilen können. Die Software von Vana ermöglicht es Nutzern, private Daten von Plattformen wie X und Reddit zur Verfügung zu stellen und möglicherweise finanziell von ihren Beiträgen zu profitieren.

Mirco Musolesi, Informatiker am University College London, sieht in dem verteilten Ansatz zur KI-Entwicklung einen Schlüsselvorteil darin, dass er neue Arten von Daten erschließt. Dies könnte der KI-Industrie ermöglichen, große Mengen dezentraler und datenschutzsensibler Daten zu nutzen, beispielsweise im Gesundheitswesen und im Finanzwesen, ohne die Risiken der Datenzentralisierung.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!