Google stellt Gemini 2.5 vor: Fortschritte in der KI-gestützten Web-Interaktion

LONDON (IT BOLTWISE) – Google hat die Vorschau auf das Gemini 2.5 Computer Use Modell gestartet, das hinter Project Mariner und den agentischen Funktionen im KI-Modus steht. Dieses spezialisierte Modell ermöglicht die Interaktion mit grafischen Benutzeroberflächen, insbesondere mit Browsern und Websites, und zeigt vielversprechende Ergebnisse in der mobilen und Web-Umgebung.

Google hat kürzlich die Vorschau auf das Gemini 2.5 Computer Use Modell veröffentlicht, das im Rahmen von Project Mariner entwickelt wurde und agentische Funktionen im KI-Modus unterstützt. Dieses spezialisierte Modell ist darauf ausgelegt, mit grafischen Benutzeroberflächen, insbesondere mit Browsern und Websites, zu interagieren. Der Prozess erfolgt in einem Loop, der so lange wiederholt wird, bis die Aufgabe abgeschlossen ist.

Der Ablauf beginnt mit der Übermittlung einer Anfrage an das Modell, wobei Eingaben wie die Benutzeranfrage, ein Screenshot der Umgebung und eine Historie der letzten Aktionen berücksichtigt werden. Das Modell analysiert diese Eingaben und generiert eine Antwort, die typischerweise einen Funktionsaufruf darstellt, der eine der Benutzeroberflächenaktionen wie Klicken oder Tippen repräsentiert.

Nach der Ausführung der Aktion wird ein neuer Screenshot der Benutzeroberfläche und die aktuelle URL als Funktionsantwort an das Computer Use Modell zurückgesendet, wodurch der Loop neu gestartet wird. Zu den weiteren unterstützten Benutzeroberflächenaktionen gehören das Vor- und Zurückgehen, das Suchen im Web, das Navigieren zu einer bestimmten URL, das Bewegen des Cursors, Tastenkombinationen, Scrollen und Drag & Drop.

Google hat zwei Beispiele geteilt, die die Leistungsfähigkeit des Modells demonstrieren. In einem Szenario wird eine Aufgabe beschrieben, bei der Informationen über Haustiere mit Wohnsitz in Kalifornien gesammelt und in ein CRM-System eingetragen werden sollen. In einem anderen Beispiel wird das Modell verwendet, um Aufgaben auf einem virtuellen Whiteboard zu organisieren.

Das Gemini 2.5 Computer Use Modell ist primär für Webbrowser optimiert, zeigt jedoch auch vielversprechende Ergebnisse bei mobilen Benutzeroberflächenkontrollaufgaben, wie der AndroidWorld-Benchmark belegt. Es ist jedoch noch nicht für die Steuerung auf Betriebssystemebene von Desktops optimiert.

Im Vergleich zu Angeboten von Claude und OpenAI demonstriert das Modell von Google eine starke Leistung bei Web- und mobilen Kontrollbenchmarks sowie eine führende Qualität bei der Browsersteuerung mit der geringsten Latenz. Das Modell basiert auf den visuellen Verständnis- und Argumentationsfähigkeiten von Gemini 2.5 Pro und wird intern für UI-Tests verwendet, um die Softwareentwicklung zu beschleunigen.

Gemini 2.5 Computer Use ist ab sofort in der öffentlichen Vorschau über die Gemini API in Google AI Studio und Vertex AI verfügbar. Entwickler können es in einer Demo-Umgebung, die von Browserbase gehostet wird, ausprobieren.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

30,99 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Vikye KI -Roboter Angetrieben von Deepseek, Smart Talking Desk Companion mit 1,28 "Bildschirm, Sprachsteuerung, WLAN -Wetteruhr und Bluetooth Music Player

30,50 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

ZOOI Geschenke für Männer, Geburtstagsgeschenk für Männer, Gadgets für Männer, Geschenke für Papa Geschenk Männergeschenk Adventskalender Füllung Männer, Bluetooth Lautsprecher mit Handyständer

20,99 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

QCOQ® Air Tags 4er Pack Schwarz, Schlüsselfinder & Air Tracker Tagg Kompatibel mit Apple Wo ist? App (Nur iOS), Smart Key Finder mit Schlüsselband, Koffer-Tracker für Taschen/Keys, Austauschbarer Akku

36,99 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

169,00 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!