LONDON / LONDON (IT BOLTWISE) – Google rüstet Gemini in Chrome mit „Select from screen“ aus, damit sich Bild- und Textinhalte per Mausklick in Prompts übernehmen lassen. Gleichzeitig bringt Gemini 3.5 Flash eine integrierte Computer-Use-Funktion mit, die als native Alternative zu einem separaten Modell für Agenten dient. Das soll Entwicklern helfen, Browser-, Mobile- und Desktop-Abläufe automatisierter abzuwickeln. Für Unternehmen sind zusätzliche Sicherheitsregeln vorgesehen, darunter explizite Bestätigungen für riskante Aktionen und ein automatisches Stoppen bei indirektem Prompt Injection.
Google erweitert die Gemini-Nutzung direkt im Browser-Workflow: In Chrome taucht eine neue „Select from screen“-Funktion auf, die den Einstieg in KI-Prompts beschleunigt, weil Nutzer Inhalte nicht mehr manuell beschreiben müssen. Stattdessen wird der aktuelle Tab hervorgehoben und man kann per Auswahl „Text oder Bild“ bestimmen, um die Referenz danach in das Prompt-Feld zu übernehmen. Das reduziert Reibung besonders bei Support- oder Recherchefällen, in denen Kontext visuell im Browserfenster steckt. Parallel dazu positioniert Google Gemini 3.5 Flash stärker als Agenten-Engine, indem „Computer Use“ nicht mehr nur als Zusatzmodell erscheint, sondern als integriertes Tool.
Die Neuerung in Chrome zielt dabei auf einen konkreten Engpass im Prompting: visuelle Informationen gehen im Alltag oft schneller „aus dem Screen“ in den Kontext über als über langes Text-Back-and-forth. „Select from screen“ sitzt im „plus“-Menü und wird über einen Browser-Neustart im Zuge von Chrome 149 ausgerollt. Technisch betrachtet ist das ein UI-Frontend für das Zusammenspiel aus Bildextraktion, Tokenisierung und Prompt-Zusammenbau. Wichtig ist, dass das System den ausgewählten Tab- oder Elementbezug in eine strukturierte Anfrage überführt, damit das nachfolgende Modell die relevanten Stellen wirklich priorisiert statt nur ein generisches Bild zu verarbeiten.
Auf Entwicklerseite wird die zweite Komponente noch relevanter: Gemini 3.5 Flash erhält „computer use“ als integriertes Tool. Damit ersetzt Google laut Ankündigung die bisher eigenständige Gemini-2.5-Computer-Use-Integration und ordnet die Capability direkt im Modell-Setup ein. Das ist aus Sicht von KI-Architektur ein Unterschied, der vor allem für Orchestrierung und Latenz zählt: Wenn das Toolset im selben Ausführungs- und Sicherheitskontext wie das Modell gebündelt ist, lassen sich Agenten-Workflows konsistenter deployen und leichter testen. Zudem passt es in Googles breiteren Ansatz, bei dem Such- und Karten-Daten bereits „grounded“ in das Modell fließen und Antworten nicht nur sprachlich, sondern kontextbasiert ausgeben.
Für die Praxis verspricht Google Funktionen, die über „Chat“ hinausgehen: Entwickler sollen „custom agents“ bauen können, die sehen, reasoning durchführen und Aktionen über Browser-, Mobile- und Desktop-Umgebungen ausführen. Im Kern bedeutet das eine Ablaufkette aus visueller Wahrnehmung, Zustandsmodellierung (was ist geöffnet, welche Seite, welche Felder) und darauf aufbauender Aktionsplanung. Im Vergleich zu rein textbasierten Assistants ist das eine deutlich andere Fehlerklasse: Statt nur falsche Aussagen zu generieren, kann das System auch in UI-Schritte eingreifen. Genau deshalb nennt Google außerdem Kriterien für verbesserte „long-horizon“ und Enterprise-Automation-Task-Performance, etwa für „continuous software testing“ und wissensbezogene Arbeit in professionellen Anwendungen.
Der Markt wird solche Agenten-Fähigkeiten sehr genau gegen Alternativen abwägen. Microsofts Copilot-Ökosystem setzt ebenfalls stark auf Browser- und Produktivitätsintegration, während OpenAI und andere Anbieter „tool use“ in Richtung Agenten ausrollen. Der entscheidende Wettbewerbsvorteil liegt nicht nur in der Modellgüte, sondern in der Systemintegration: Wie gut lässt sich ein Agent an bestehende Enterprise-Prozesse anbinden, wie zuverlässig bleibt er in langen Abläufen und wie steuerbar ist sein Verhalten bei sensiblen Aktionen? Branchenexperten betonen in Gesprächen häufig, dass Unternehmen künftig weniger nach „dem besten Chatbot“ suchen, sondern nach Plattformen, die deterministische Sicherheits- und Kontrollmechanismen bieten—mit reproduzierbaren Ergebnissen über viele Sessions hinweg.
Google adressiert genau diese Kontrollfrage mit Safety-Features für Enterprise-Kunden: Nutzer können bei „sensitive or irreversible actions“ eine explizite Bestätigung verlangen. Zusätzlich soll das System Aufgaben automatisch stoppen, wenn eine indirekte Prompt Injection erkannt wird—also wenn etwa über Kontextumwege bösartige Anweisungen ins Agenten-Setup einschleusen würden. Aus Datenschutz- und Compliance-Sicht ist das zentral, weil Computer-Use-Funktionen typischerweise mit UI-Interaktionen, potenziell auch mit personenbezogenen Daten in Screenshots oder Formularen, arbeiten. Für Regulatoren und Security-Teams sind dabei zwei Punkte wichtig: erstens, dass die Stop-Kriterien klar definierbar sind, und zweitens, dass Bestätigungs- und Logging-Mechanismen in Richtung Auditierbarkeit und Zugriffskontrolle ausgelegt sind.
Auch das Bereitstellungsmodell ist für die Roadmap relevant: Gemini 3.5 Flash steht heute in der Gemini API zur Verfügung, und Google verweist zusätzlich auf eine Testumgebung, die Fähigkeiten über Browserbasierte Zugriffe evaluieren soll. Für Entwickler heißt das: Der schnellste Weg in produktionsnahe Prototypen führt über Referenzimplementierungen und Dokumentation, nicht über manuelle Experimente. Ein Beispiel aus der Ankündigung zeigt, wie das Modell eine Gemini-App analysiert und eine kategorisierte Feature-Liste zurückliefert—ein typischer Use-Case für QA, Onboarding oder Produktdokumentation. In der nächsten Ausbaustufe dürfte der Fokus darauf liegen, solche Aktionen stärker mit internen Systemen zu verknüpfen, etwa über bestehende Ticket- und Testpipelines, und gleichzeitig das Sicherheitsmodell weiter granular zu machen.
Für Unternehmen bedeutet die Kombination aus „Select from screen“ und integriertem Computer Use vor allem: KI wird vom reinen Informationszugriff stärker zu einem Interaktionslayer im Arbeitsalltag. Der unmittelbare Nutzen liegt in kürzeren Zyklen—etwa wenn Support-Teams Fehler in einer Webanwendung visuell erfassen und der Agent daraus direkt eine strukturierte Analyse oder Checkliste erstellt. Gleichzeitig entsteht ein neuer Betriebsaufwand: Security-Teams müssen die Agenten-Policies, UI-Rechte und Datenflüsse sauber definieren, besonders wenn Screenshots oder Inhalte aus geschützten Bereichen verarbeitet werden. Langfristig werden sich Teams darauf einstellen müssen, Agentenverhalten wie Software zu behandeln—mit Versionierung, Monitoring und klaren Freigaberegeln—damit Produktivität steigt, ohne Governance zu verlieren.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Gemini in Chrome: Select from screen und integriertes 3.5 Flash Computer Use" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Gemini in Chrome: Select from screen und integriertes 3.5 Flash Computer Use" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Gemini in Chrome: Select from screen und integriertes 3.5 Flash Computer Use« bei Google Deutschland suchen, bei Bing oder Google News!