LONDON (IT BOLTWISE) – Google DeepMind legt ein 10-Mio.-Euro-Förderprogramm für KI-Sicherheitsforschung auf, das gezielt die Risiken interagierender, autonomer Agenten adressiert. Im Fokus stehen systemische Gefahren, kaskadenartige Schwachstellen und emergentes Verhalten, das herkömmliche Tests übersehen können. Unternehmen müssen parallel die Pflichten aus dem EU AI Act früh in ihre Sicherheits- und Governance-Prozesse übersetzen. Der Start des Call läuft bis August 2026, mit gestaffelten Fördersummen für ein- bis zweijährige Projekte.
Google DeepMind setzt mit einem neuen Förderprogramm ein klares Signal: KI-Sicherheit wird zunehmend von der Einzelmodell-Logik hin zu Risiken ganzer Agenten-Ökosysteme verschoben. Die Initiative startet am 11. Juni und stellt insgesamt 10 Millionen Euro für Forschung bereit, die sich mit der Frage beschäftigt, was passiert, wenn immer mehr autonome KI-Agenten in gemeinsamen digitalen Umgebungen miteinander interagieren. Damit rückt eine Sicherheitsdimension in den Mittelpunkt, die in vielen Organisationen bisher nur am Rand behandelt wurde: die Dynamik nach dem Zusammenschalten, also dort, wo aus vielen Komponenten ein schwer vorhersagbares Gesamtsystem werden kann.
Technisch betrachtet ist der Unterschied zwischen „einzelner“ KI und „vernetzter“ KI nicht nur organisatorisch, sondern fundamentaler Natur. Während frühe Sicherheitsansätze häufig einzelne Modelle unter Last, bei bestimmten Prompt-Schemata oder gegen definierte Gegenmaßnahmen prüften, entstehen bei Multi-Agent-Setups neue Angriffs- und Fehlermuster entlang von Schnittstellen: Agenten handeln nach Rollen, verhandeln Zustände, übergeben Informationen oder steuern Aktionen in Ketten. Genau hier können Sicherheitslücken kaskadieren, etwa wenn ein Agent eine unvollständige Sicherheitsannahme an einen anderen weitergibt. Das Programm adressiert zudem die Schwierigkeit, emergentes Verhalten zuverlässig zu testen.
Als besonders problematisch gilt laut DeepMind die Vorstellung „unsichtbarer“ systemischer Risiken: Millionen unabhängiger Systeme verschiedener Anbieter könnten ohne zentrale Steuerung interagieren, während Monitoring und Prüfmethoden auf Einzelkomponenten ausgelegt bleiben. Rohin Shah, Direktor für AGI-Sicherheit bei Google DeepMind, beschreibt in diesem Kontext die massenhafte Verbreitung interagierender Agenten als erhebliches Risiko, das bislang nicht ausreichend verstanden sei. In der Praxis könnten daraus unvorhersehbare wirtschaftliche Aktivitäten entstehen, etwa wenn sich Agenten über mehrere Schritte in Zielkonflikte manövrieren. Ergänzend nennt DeepMind emergentes Verhalten als Klasse von Phänomenen, die herkömmliche Tests typischerweise nicht vollständig erfassen.
Marktseitig kommt das Programm zu einem Zeitpunkt, in dem Agentenarchitekturen in der Unternehmens-IT von der Pilotphase in produktive Workflows übergehen. Wettbewerber verfolgen zwar eigene Sicherheits- und Evaluationsansätze, doch die gemeinsame Problemzone ist dieselbe: Multi-Agent-Interaktion erzeugt schwer erklärbare Pfade durch Systeme und Daten. Branchenbeobachter vergleichen das zunehmend mit der Sicherheitsentwicklung in anderen vernetzten Umgebungen, bei denen „Komponenten sicher“ nicht automatisch „System sicher“ bedeutet. Parallel drängt die Industrie darauf, Sicherheitsstandards schneller zu operationalisieren, weil Agenten nicht nur neue Fähigkeiten liefern, sondern auch neue Angriffsflächen für Cyberkriminelle schaffen können—beispielsweise über manipulierbare Vertrags- oder Entscheidungsdaten zwischen Agenten.
DeepMinds Förderfokus verknüpft daher mehrere Forschungsrichtungen. Zum einen fließen Arbeiten zur „distributionalen AGI-Sicherheit“ ein, die untersuchen, wie sich leistungsfähige KI als koordiniertes Netzwerk spezialisierter Subsysteme entwickeln könnte—also nicht als monolithisches Modell, sondern als verteiltes Systemverhalten. Zum anderen werden ARIA-Ansätze für vertrauenswürdige Vertragsmechanismen zwischen Agenten aufgegriffen, was für die Absicherung von „Agenten-zu-Agenten“-Interaktionen zentral ist. Ergänzend sucht das Programm nach Methoden zur Analyse emergenter kollektiver Dynamiken, nach einer Infrastruktur für vertrauenswürdige Interaktion und nach skalierbaren Ansätzen zur Überwachung und Kontrolle komplexer KI-Netzwerke. Diese Kombination zielt darauf ab, Forschungsergebnisse nicht nur theoretisch, sondern in Richtung test- und auditierbarer Systeme zu bringen.
Auch die regulatorische Perspektive ist unmittelbar relevant, weil Unternehmen die EU-Vorgaben nicht „später“ umsetzen können, ohne Sicherheits- und Haftungsrisiken zu erhöhen. Obwohl das Förderprogramm primär Forschung adressiert, müssen Entwickler und Betreiber interagierender Agenten schon jetzt die rechtlichen Rahmenbedingungen der EU berücksichtigen. Der EU AI Act zwingt Organisationen, Risikoanalysen, Transparenz- und Governance-Prozesse sowie Dokumentation als Teil der Produkt- und Betriebsrealität zu behandeln. Damit entsteht eine praktische Brücke: Sicherheitsforschung liefert Messmethoden und Kontrollmechanismen, während Regulierung deren Einbettung in Prozesse wie Freigaben, Monitoring und Incident-Response verlangt.
Der Call richtet sich an akademische Forscher, unabhängige Sicherheitsexperten und gemeinnützige Forschungseinrichtungen. Die erste Bewerbungsphase läuft bis zum 8. August 2026; Entscheidungen über die erste Runde werden für den Herbst 2026 erwartet. Die Förderung ist gestaffelt: In Stufe eins sind bis zu 300.000 Euro für ein- bis zweijährige Projekte möglich. Die Staffelung ist aus Wettbewerbssicht sinnvoll, weil sie kleinere Teams in der Anfangsphase entlastet und gleichzeitig früh messbare Forschungshypothesen ermöglicht. Für Unternehmen bedeutet das: Wer heute Agenten integriert, sollte parallel evaluieren, wie sich kommende Forschungsergebnisse in interne Sicherheitsleitplanken, Red-Teaming-Routinen und Evaluationsframeworks übertragen lassen.
Für die nächsten Monate ist die wichtigste Frage nicht nur, welche Modelle entstehen, sondern wie Agentensysteme künftig abgesichert werden. Ein naheliegender Vergleich ist die Entwicklung in Cloud-Sicherheitskonzepten: Erst als Betrug und Fehlkonfigurationen entlang von Netzwerken, Identitäten und Workflows sichtbar wurden, entstanden ganzheitliche Kontroll- und Monitoring-Standards. Analog dürfte sich die Agenten-Sicherheit von einzelnen Tests hin zu kontinuierlicher, systemischer Überwachung entwickeln. Kurzfristig bietet das Programm einen Wissensimpuls für Entwicklerteams, die Multi-Agent-Pipelines bauen, etwa in Bereichen wie Supply-Chain-Steuerung, IT-Automatisierung oder Vertriebsprozesse, wo Agenten koordinieren und Entscheidungen iterativ verändern.
Ausblickend ist mit zwei Entwicklungen zu rechnen: Erstens wird sich der Sicherheitsfokus stärker auf Interaktionsprotokolle, Vertragslogik und Monitoring beziehen, weil dort die „Angriffsfläche“ zwischen Agenten entsteht. Zweitens wird die Branche mehr Gewicht auf auditierbare Evaluationsmethoden legen, da emergentes Verhalten nicht einfach durch Einzeltests „weggeprüft“ werden kann. Wer jetzt Standards, Logging und Zugriffskontrollen strukturiert, verschafft sich später Wettbewerbsvorteile, weil er neue Verfahren schneller übernehmen kann. Das 10-Mio.-Programm kann damit nicht nur die Forschung beschleunigen, sondern auch den industriellen Übergang von experimentellen Agenten zu robusten, regulatorisch besser stützbaren Systemen mitplanen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Google DeepMind startet 10-Mio.-Euro-Programm zur KI-Agenten-Sicherheit" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Google DeepMind startet 10-Mio.-Euro-Programm zur KI-Agenten-Sicherheit" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Google DeepMind startet 10-Mio.-Euro-Programm zur KI-Agenten-Sicherheit« bei Google Deutschland suchen, bei Bing oder Google News!