Google MLE-STAR: Automatisierung von Machine-Learning-Pipelines

LONDON (IT BOLTWISE) – Google Research hat mit MLE-STAR einen neuen KI-Agenten entwickelt, der darauf abzielt, komplexe Machine-Learning-Pipelines weitgehend zu automatisieren und dabei die Leistung bestehender Ansätze zu übertreffen.

Google Research hat mit MLE-STAR einen bedeutenden Fortschritt in der Automatisierung von Machine-Learning-Pipelines erzielt. Der neue KI-Agent kombiniert Websuche, gezieltes Code-Refinement und innovative Ensemble-Strategien, um anspruchsvolle ML-Aufgaben mit minimalem menschlichen Eingriff zu lösen. Erste Tests zeigen, dass MLE-STAR die Leistung bestehender Ansätze deutlich übertrifft.

Im Gegensatz zu bisherigen MLE-Agenten, die oft auf bekannte Methoden wie scikit-learn zurückgreifen, bietet MLE-STAR eine größere Flexibilität bei der Erkundung alternativer Modelle und Pipeline-Komponenten. Der Agent nutzt eine mehrstufige Vorgehensweise, beginnend mit einer Websuche, um aktuelle Modellansätze zu identifizieren. Auf dieser Basis wird ein initialer Lösungsvorschlag generiert, der dann iterativ verfeinert wird.

Ein besonderes Merkmal von MLE-STAR ist seine Fähigkeit, gezielt einzelne Codeblöcke zu optimieren, anstatt die gesamte Codebasis auf einmal zu ändern. Dies ermöglicht eine präzisere Verbesserung der Modellleistung, insbesondere bei Aufgaben wie Feature Engineering oder Modellwahl. Der iterative Prozess basiert auf Feedback aus vorangegangenen Experimenten, wobei das verbesserte Skript jeweils die Grundlage für die nächste Iteration bildet.

Ein weiteres Highlight ist die neue Ensemble-Strategie von MLE-STAR. Anstatt sich auf Durchschnittswerte zu verlassen, erstellt der Agent mehrere Varianten einer Lösung und entwickelt eine eigene Strategie, um die Vorhersagekraft des finalen Modells zu maximieren. Diese Strategie wird ebenfalls iterativ verbessert.

Zur Absicherung der generierten Lösungen enthält MLE-STAR drei zusätzliche Module: Ein Debugging-Agent behebt Laufzeitfehler, ein Datenleck-Prüfer verhindert den unzulässigen Zugriff auf Testdaten während des Trainings, und ein Datenverwendungs-Checker stellt sicher, dass alle bereitgestellten Datenquellen berücksichtigt werden.

In Tests, die im Rahmen der MLE-Bench-Lite Benchmark-Suite auf Basis realer Kaggle-Wettbewerbe durchgeführt wurden, erreichte MLE-STAR in 63,6 Prozent der Fälle eine Medaille. Dies ist ein deutlicher Sprung gegenüber der bisherigen Bestmarke von 25,8 Prozent. Besonders bemerkenswert ist, dass 36 Prozent der Erfolge Goldmedaillen waren.

Die Leistungssteigerung von MLE-STAR wird unter anderem auf den Einsatz moderner Modelle wie EfficientNet oder ViT zurückgeführt, im Gegensatz zu älteren Architekturen wie ResNet, die von Konkurrenzsystemen bevorzugt werden. Darüber hinaus erlaubt MLE-STAR auch manuelle Eingriffe, was die Integration von Modellen wie RealMLP erleichtert.

Google stellt den Code von MLE-STAR als Open Source zur Verfügung, was Forschern die Möglichkeit gibt, das System weiter zu erkunden und zu verbessern. Nutzer müssen jedoch sicherstellen, dass die verwendeten Modelle und Inhalte aus der Websuche lizenzrechtlich unbedenklich sind. Derzeit ist MLE-STAR nur für Forschungszwecke vorgesehen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!