LONDON (IT BOLTWISE) – Google integriert „Computer Use“ direkt in Gemini 3.5 Flash und erweitert damit KI-Agenten um die Fähigkeit, Computeroberflächen zu bedienen. Statt nur Text zu generieren oder einzelne APIs aufzurufen, können Entwickler Anwendungen bauen, die Webseiten und Apps eigenständig navigieren und Aktionen ausführen. Damit zielt der Konzern besonders auf mehrstufige Workflows und wiederkehrende Tätigkeiten ab, die mehrere Tools und Systeme verbinden. Gleichzeitig adressiert Google die Risiken durch Schutzmechanismen gegen Prompt-Injection und unerwünschte Eingaben.
Google macht einen Schritt, der in der KI-Branche seit Monaten spürbar ist: Modelle sollen nicht nur Ergebnisse liefern, sondern auch selbst am „Interface“ arbeiten. Mit Gemini 3.5 Flash führt der Konzern ein integriertes Werkzeug zur Computersteuerung („Computer Use“) ein. Entwicklerin Teams können damit Agenten bauen, die Webseiten sowie Desktop- und mobile Anwendungen ansteuern. Die Kernidee lautet dabei nicht „wenige Klicks“, sondern das Abarbeiten komplexer, mehrstufiger Aufgaben, die sonst in der Praxis häufig an manuellen Entscheidungen scheitern. Damit rückt die Interaktion mit Benutzeroberflächen als praktische Ergänzung zu klassischem Tool-Calling in den Fokus.
Technisch betrachtet verschiebt sich die Art, wie ein Agent seine Arbeit plant und ausführt. Statt ausschließlich Text zu erzeugen oder einzelne APIs aufzurufen, kann ein KI-System UI-Schritte ausführen, die typischerweise erst durch sichtbare Zustände erkannt werden: Menüs, Formularfelder, Ladezustände oder Fehlermeldungen. „Computer Use“ ist dabei direkt in Gemini 3.5 Flash integriert, sodass Entwickler eine konsistentere Schnittstelle für UI-Interaktionen erwarten können. Ergänzend verbessert Google den Function Calling-Teil, also die strukturierte Übergabe an externe Dienste und Werkzeuge. Für Unternehmen bedeutet das: Der Agent kann Handgriffe zwischen „Chat-Kompetenz“ und „System-Automation“ fließender verbinden.
Ein Vergleich mit konkurrierenden Ansätzen zeigt, warum diese Integration relevant ist. OpenAI arbeitet ebenfalls mit Tools und agentischen Fähigkeiten, bei denen Modelle Aktionen in einer Umgebung ausführen können, und auch andere Anbieter haben inzwischen „Tool use“ sowie Multi-Step-Automation als Kernversprechen auf der Roadmap. Der Unterschied liegt oft in der Reife der Implementierung: Manche Angebote bleiben beim abstrahierten API-Aufruf stehen, während andere stärker auf die echte Bedienung von Oberflächen setzen. Google positioniert Computer Use als Bestandteil seiner bestehenden Gemini-Produktlinie, was für Teams mit bereits vorhandenen Pipelines und Berechtigungsmodellen weniger Integrationsaufwand bedeuten kann als ein vollständig neues Stack-Modell.
Marktseitig ist die Timing-Komponente wichtig: Flash-Modelle stehen für niedrige Latenz und Kostenkontrolle, wenn Aufgaben häufig ausgeführt werden oder viele Agenten parallel arbeiten. Genau dort greifen Unternehmen heute zu, etwa bei Ticket-Workflows, Reporting-Prozessen oder operativen Assistants, die Daten aus mehreren Systemen zusammenführen müssen. Experten berichten seit Längerem, dass der größte Produktivitätsgewinn weniger aus dem „Antworten“ entsteht, sondern aus dem zuverlässigen Abarbeiten von Tätigkeiten in einer realen Tool-Landschaft. In diesem Kontext ist die Einbettung in die Gemini API und die Gemini Enterprise Agent Platform besonders strategisch, weil sie die Hürde für Pilotprojekte senkt und Skalierung wahrscheinlicher macht.
Für die praktische Nutzung wird entscheidend, wie Agenten mit Tool-Fehlern umgehen. UI-basierte Steuerung ist zwar mächtig, aber sie erzeugt neue Fehlerklassen: Variierende Layouts, A/B-Tests, Rate Limits und unerwartete Zwischenfenster. Function Calling kann solche Risiken abfedern, indem der Agent strukturierte, überprüfbare Aufrufe an interne Dienste und externe Integrationen macht. Gerade bei mehrstufigen Prozessen kann ein Agent zuerst UI-Zustände erfassen, dann per Function Calling die relevanten Aktionen auslösen und schließlich das Ergebnis erneut verifizieren. Diese Kombination aus visueller/oberflächenbasierter Navigation und Tool-Abarbeitung ist ein typischer Weg, um Agenten vom reinen „Demonstrator“ in den stabilen Produktbetrieb zu überführen.
Beim Thema Sicherheit nennt Google explizit Schutzmechanismen gegen Prompt-Injection-Angriffe sowie zusätzliche Systeme für Unternehmenskunden. In der Praxis heißt das: Der Agent soll manipulierte Eingaben erkennen, bevor sie in Handlungen übersetzt werden. Prompt Injection ist dabei weniger ein theoretisches Problem als ein realer Angriffsvektor, bei dem Inhalte in Websites, E-Mails oder Dokumenten Anweisungen enthalten, die den Agent in unerwünschte Richtungen lenken. Schutzmodelle können solche Muster durch speziell trainierte Modelle sowie Policy- und Kontextprüfungen abwehren. Für Security-Teams zählt außerdem, dass Unternehmen Kontrolle über Berechtigungen, erlaubte Tools und Auditierbarkeit behalten, sonst wird Automatisierung schnell zum Risiko.
Historisch betrachtet war der Weg zu „Computersteuerung“ eher iterativ. Zuerst dominiert haben reine Textmodelle, danach Tool-Calling über deterministische Integrationen, dann Agenten, die mehrere Schritte planen und ausführen. UI-Steuerung ist der nächste Logikschritt: Sie macht Agenten unabhängig davon, ob ein gewünschter Service eine saubere API anbietet. Gleichzeitig ist sie anspruchsvoller, weil sie mit der Dynamik echter Oberflächen interagiert. Dass Google das nun in einen Gemini-Flash-Ansatz bringt, deutet darauf hin, dass der Konzern nicht nur Machbarkeit demonstrieren will, sondern Muster für wiederkehrende Aufgaben in den Vordergrund rückt. Damit entsteht ein klarerer Pfad von Experimenten zu produktiven Rollen.
Aus Enterprise-Sicht verändert sich auch die Systemarchitektur. Wenn ein Agent Benutzeroberflächen bedient, müssen Logging, Monitoring und Zustandsmanagement stärker in die Gesamtarchitektur integriert werden. Teams brauchen Richtlinien, welche Aktionen der Agent durchführen darf, und sie brauchen klare Abbruch- und Rückfallstrategien, etwa wenn ein Formular nicht korrekt ausgefüllt wurde oder eine Oberfläche unerwartet reagiert. Gleichzeitig ergeben sich neue Chancen für Entwickler: Von der Backend-Automation hin zur „Agenten-Orchestrierung“ über mehrere Systeme hinweg. Wer Gemini API oder die Gemini Enterprise Agent Platform bereits nutzt, kann „Computer Use“ vermutlich als Erweiterung in bestehende Workflow-Orchestrierung einziehen, statt alles neu zu bauen.
Der Ausblick hängt nun an zwei Faktoren: Skalierung der Zuverlässigkeit und Regulierbarkeit der Automatisierung. In Unternehmen wird sich „Computer Use“ besonders dann durchsetzen, wenn Agenten reproduzierbar arbeiten und nachvollziehbar protokollieren, welche Aktionen sie ausgeführt haben. Zusätzlich wird die Datenschutz- und Compliance-Perspektive relevanter: UI-Steuerung berührt häufig personenbezogene oder geschäftskritische Daten, etwa in CRM-, HR- oder Finanzsystemen. Langfristig dürfte Google deshalb stärker auf policybasierte Steuerung, Minimierung von Datenzugriffen und Sicherheitsbewertungen im Agent-Lifecycle setzen. Für Entwickler bedeutet das: Wer heute robuste Tool-Calling-Policies und sichere Agenten-Governance mitdenkt, hat später beim Ausbau von Mehrgeräte- und Multi-App-Automation den Vorteil.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Gemini 3.5 Flash erhält „Computer Use“: KI-Agenten steuern jetzt Softwareoberflächen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Gemini 3.5 Flash erhält „Computer Use“: KI-Agenten steuern jetzt Softwareoberflächen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Gemini 3.5 Flash erhält „Computer Use“: KI-Agenten steuern jetzt Softwareoberflächen« bei Google Deutschland suchen, bei Bing oder Google News!