SHANGHAI / LONDON (IT BOLTWISE) – Mehrere neue Robotik-Modelle zeigen „In-Context Learning“ (ICL) als Weg zu schnellen Aufgabenwechseln ohne Fein-Tuning. Skild AI und Generalist AI demonstrieren, dass ein Robot aus kurzer Video- oder One-Shot-Demo-Information neue Aufgaben ableiten kann. Entscheidend ist dabei weniger die reine Länge des Kontextfensters als die Informationsdichte und die Fähigkeit, relevante Vergangenheit fortlaufend zu filtern. Vor allem in der physischen Welt bleibt aber unklar, wie sich visuelle, sprachliche und sensorgestützte Kontexte zuverlässig in eine trainierbare Gedächtnislogik übersetzen lassen.
Im Markt für robotische KI zeichnet sich gerade eine Verschiebung ab: Nachdem Künstliche Intelligenz-Modelle in der Sprachwelt gelernt haben, neue Aufgaben über Beispiele im Prompt zu erkennen, zieht jetzt „In-Context Learning“ (ICL) in die embodied Domäne ein. Der Auslöser sind weniger einzelne Leistungskennzahlen als vielmehr das wiederkehrende Muster der jüngsten Modell-Demos: Ein Robot bekommt eine Demonstration (zumeist in Videoform) und soll anschließend eine Aufgabe ausführen, für die er vorher nicht explizit trainiert wurde. Für Entwickler und Produktteams ist das relevant, weil sich damit ein Teil des bisherigen Engineering-Aufwands von daten- und traininglastigen Schleifen hin zu Prompt- und Demonstrationsdesign verlagern könnte.
Skild AI hat dafür Mitte August mit der Veröffentlichung seines S1-Modells einen konkreten Punkt gesetzt. Das System gilt als „foundational robotics model“ und kann Aufgaben anbahnen, indem es dem Robot ein Aufgabenvideo zeigt. Laut Beschreibung kann eine Aufgabe bis zu 10 Minuten dauern und aus Dutzenden operativen Einzelschritten bestehen. Entscheidend für die Einordnung ist der Vergleich, den Skild selbst anführt: Bei nur 1000 Stunden Trainingsdaten soll die rein sprachbasierte „Language Prompt“-Variante besser abschneiden; mit zunehmendem Datenvolumen verschiebt sich das Bild, sodass ICL-basierte Video-Prompts die Sprach-only-Variante bei unerkannten Aufgaben übertreffen. In der genannten Größenordnung verbessert Video-Kontext die Leistung bei unbekannten Aufgaben um etwa das Siebenfache gegenüber nur sprachlichen Anweisungen.
Weniger später folgte Generalist AI mit GEN-1.5, das ebenfalls One-Shot Learning als Kernfähigkeit betont. Die Idee dahinter: Ein Robot lernt neue Aufgaben in wenigen Sekunden aus genau einer Demonstration, ohne dass währenddessen Gradienten-Updates nötig sind oder pro Aufgabe feinjustiert werden müsste. Zusätzlich wird ein Set an Fähigkeiten genannt, darunter das Ausführen aus menschlicher Demonstration heraus, kompositionelle Generalisierung und Sim-to-Real-Übertragung. Für die praktische Bewertung ist das Zusammenspiel aus Demo-Inhalten und Modellarchitektur der Engpass: In der Embodied-Welt besteht Kontext nicht nur aus Sprache, sondern aus einer Mischung aus visuellen Beobachtungen, Sprachinstruktionen und Aktionssequenzen. Dazu kommt, dass reale Umgebungen nicht „markovianisch“ sind – was als Nächstes zu tun ist, hängt vom zurückliegenden Verlauf ab und nicht nur vom aktuellen Zustand.
Genau an dieser Stelle wird der technische Anspruch sichtbar, den klassische ICL-Überlegungen aus dem LLM-Kontext bislang nur teilweise adressieren. Im Sprachmodell-Kontext wurde ICL als Fähigkeit beschrieben, ohne Parameteränderungen (also ohne Fine-Tuning und ohne Backprop-Training) neue Aufgaben allein aus Prompt-Beispielen zu identifizieren und im selben Forward-Pass auszuführen. Gleichzeitig sind die letzten Jahre durch ein stark gewachsenes Kontextfenster geprägt: von 4K bis hin zu 1M Tokens, sodass Modelle ganze Bücher oder Codebasen in einem Durchlauf verarbeiten können. Für embodied Modelle bedeutet das jedoch nicht nur „mehr Text“, sondern eine deutlich größere Informationsdichte: Dutzende Videoframes pro Sekunde, propriozeptive Zustände und Aktionsfolgen ergeben ein Volumen, das um mehrere Größenordnungen über dem liegt, was Sprachmodelle als Standard-Kontext handhaben. Hinzu kommt, dass Gedächtnismechanismen in Robotern eher wie ein Streaming-Prozess funktionieren müssten: Informationen werden nicht einmal komplett gelesen, sondern kontinuierlich gefiltert, verdichtet und in späteren Entscheidungen wieder herangezogen.
In einem Gespräch in Shanghai ordnet Gao Yuxiang, Gründer und CEO von COCO Matrix, diese Entwicklung als Wechsel der Skalierungsroute ein. Er beschreibt, dass die Industrie lange davon ausging, robotische Fähigkeiten ließen sich wie bei großen Sprachmodellen durch immer größere Datenmengen ausbauen. Für einzelne Aufgaben könne man zwar mit vergleichsweise wenigen Demonstrationen schnell gute Ergebnisse erzielen – der Bruch zeige sich jedoch bei wachsender Datenmenge: Die erwartete generalisierende Wirkung stelle sich nicht im gleichen Maß ein. Außerdem seien Teleoperation-Daten in Qualität und Diversität nicht gleichmäßig; zusätzlich erschwere die Notwendigkeit, unterschiedliche visuelle Informationsniveaus über mehrere Encoder oder Module zusammenzusetzen, eine „rein modulare“ Skalierung. Deshalb rückt nach seiner Darstellung die Lernfähigkeit in den Fokus, sobald ein Robot in eine neue Umgebung oder eine neue Aufgabe kommt, die er zuvor nicht gesehen hat – und zwar mit Hilfe des bestehenden Kontextes.
COCO Matrix setzt dabei laut eigener Zielrichtung an einem Punkt an, der in den Demos der anderen Anbieter nur angedeutet wird: Statt ICL erst in der „Post-Training“-Phase wirksam zu machen, will das Startup ICL direkt in das „Pre-Training“ integrieren. Yuxiang begründet die Komplexität in drei technischen Achsen: Erstens geht es um visuelles Verstehen auf unterschiedlichen Ebenen – von Semantik („Was ist das?“) bis zu für Aktionen relevanten Geometrieinformationen wie Position, Tiefe und Konturen. Zweitens reicht Sprache für Roboter nicht aus; Tast-, Hör- und Propriozeptionsdaten verändern die Multimodalität, und deren Datenvolumen liegen aktuell weit unter dem, was Vision und Sprache im Pre-Training leisten können. Drittens ist Long Context und Memory eine Daueraufgabe: Roboter müssen über Zeit entscheiden, welche Vergangenheit relevant bleibt, und dabei komprimieren, filtern und langfristig speichern. Als mögliche Lösungsrichtung nennt Yuxiang außerdem zwei operative Stellschrauben, die derzeit intern getestet würden: die Verbesserung der Modellverständnisfähigkeit (damit die Relevanzkriterien klarer werden) sowie die Kompression von großen KV-Cache-Mengen aus langen Sequenzen, um Echtzeitfähigkeit und Speicherverbrauch unter Kontrolle zu halten.
Auch beim Thema „wie viel Kontext ist genug?“ wird die Nuance deutlich. Das Beispiel aus den Demos: Skild zeigt bis zu 10 Minuten Demonstrationsvideos; GEN-1.5 arbeitet mit einer One-Shot-Demo im Bereich von wenigen Sekunden. Yuxiang lenkt die Aufmerksamkeit weg von reiner Dauer hin zur Informationsdichte. Eine 10-minütige Sequenz sei nur dann ein starker Kontext, wenn die Demo wirklich neue Task-Logik, Handlung und Szenariobezug transportiert – wiederholte oder triviale Aktionen erhöhen zwar die Länge, aber nicht zwingend die Lernqualität. Praktisch spricht das dafür, dass Long Context eher als Streaming-Mechanismus verstanden werden sollte: Neue Informationen treffen ein, das Modell komprimiert und behält die gültigen Teile, während es anderes verwirft. Genau dieses Ziel – kontinuierliches Arbeiten ohne „Vergessen“ am Rand eines festen Kontextfensters – ist aus Unternehmenssicht der Punkt, an dem Forschung, Produktdesign und Datenstrategie zusammenlaufen.
Gleichzeitig bleibt der Weg in die breite Anwendung offen, weil die embodied ICL-Pipeline weit mehr umfasst als ein einzelnes Modell-Release. Selbst wenn Demos zeigen, dass Video- oder One-Shot-Kontext überraschend schnell adaptieren kann, sind technische Fragen wie Gedächtniskompression, Multimodal-Alignment und die robuste Einbettung von Korrektursignalen noch nicht als „gelöst“ markierbar. Für Teams, die Robotiksysteme betreiben, bedeutet das: Die nächsten Iterationen werden wahrscheinlich nicht nur in Modellarchitekturen stattfinden, sondern in der gesamten Kette aus Demonstrationsgenerierung, Kontextaufbereitung, Ausführungsvalidierung und Monitoring. Wer jetzt plant, sollte daher ICL nicht als einzelnes Feature betrachten, sondern als Ansatz, der neue Erwartungen an Datenqualität und Kontextrepräsentation formuliert – und damit auch neue Testprotokolle für unbekannte Aufgaben erfordert.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Embodied ICL: Startups treiben Robots „One-Shot“-Lernen in den Long-Context" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Embodied ICL: Startups treiben Robots „One-Shot“-Lernen in den Long-Context" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Embodied ICL: Startups treiben Robots „One-Shot“-Lernen in den Long-Context« bei Google Deutschland suchen, bei Bing oder Google News!