LONDON (IT BOLTWISE) – Gary Marcus kritisiert ein strukturelles Versagen im Engineering moderner KI-Systeme. Er argumentiert, dass ohne nachweisbare Steuerbarkeit kein großflächiger Einsatz verantwortbar ist. Im Zentrum stehen fehlende Garantien für beabsichtigtes Verhalten, für die Reduktion von Halluzinationen und für die Robustheit gegenüber adversariellen Angriffen. Für Investoren leitet er daraus ein klares Signal ab: Kontrolle muss technologisch belegbar sein, nicht nur behauptet.
Gary Marcus’ Warnung zielt weniger auf Schlagworte wie „noch mehr Regulierung“ als auf die eigentliche Engineering-Lücke: Ein KI-System ist dann problematisch, wenn sich sein Verhalten nicht so steuern oder einkreisen lässt, wie es die Entwickler beabsichtigen. Marcus beschreibt damit eine wiederkehrende Spannung in der Praxis: Modelle werden zwar trainiert, getestet und optimiert, aber die Frage bleibt, ob man für relevante Einsatzszenarien echte Garantien über das gewünschte Verhalten ableiten kann. Genau dort, im Abstand zwischen Leistungsversprechen und überprüfbarer Kontrolle, setzt seine Kritik an – mit Blick darauf, dass Halluzinationen und unerwartete Reaktionen nicht nur „Fehler“ sind, sondern strukturelle Risiken im Systemdesign.
Technisch betrachtet liegt das Problem häufig weniger im Feintuning einzelner Prompts, sondern in der fehlenden Verbindlichkeit von Versprechen wie „das Modell versteht deine Absicht“ oder „es folgt den Regeln“. In vielen Deployments wird zwar ein Bündel aus Verfahren genutzt – zum Beispiel Prompt-Design, Retrieval-Ansätze, Sicherheitsfilter oder nachgelagerte Validierung –, doch diese Schichten decken nicht automatisch alle Absturzursachen ab. Besonders anspruchsvoll wird es, wenn die Eingaben aus der realen Welt kommen: Die Datenverteilung kann sich verschieben, Kontext kann unvollständig sein und Formulierungen können adversar gestaltet werden, etwa um Schwachstellen in der Modellinterpretation auszunutzen. Wenn dann keine nachweisbaren Garantien existieren, wie robust ein System gegenüber solchen Abweichungen bleibt, ist der Schritt von „funktioniert in Tests“ zu „funktioniert zuverlässig im Feld“ nicht sauber überbrückbar.
Marcus’ zweite Stoßrichtung ist ökonomisch: Wer die Kontrolle über sein Produkt nicht behält, verliert nicht nur Vertrauen, sondern auch Kunden und Kapital. Sein Argument folgt einer sehr pragmatischen Logik aus Produkt- und Haftungsrealitäten. Sollte ein System sicherheitstechnisch nicht beherrschbar sein, steigen die Risiken im Betrieb: Kosten für Incident-Handling, Einschränkungen bei der Nutzung, mögliche Schadensersatzforderungen oder die Notwendigkeit, Funktionen wieder zurückzunehmen. Dadurch verschiebt sich der Wettbewerb zugunsten derjenigen Anbieter, die „Sicherheit“ als Engineering-Beschränkung behandeln, also als messbares Ziel mit klaren Wirkketten – etwa über Trainingsmethoden, Evaluationsprotokolle, Monitoring und systematische Tests auf Robustheit – und nicht als reine PR-Positionierung. Wer hier Zeit und Budget investiert, zieht typischerweise auch Talente an, weil sich Arbeit an nachvollziehbaren Qualitätsmetriken besser planen und verbessern lässt.
Für den Markt ist dieser Punkt besonders deshalb relevant, weil KI-Teams häufig unter Druck stehen, schnell zu liefern. Die Kombination aus hoher Erwartungshaltung und der schnellen Produktisierung kann dazu führen, dass Bewertungen zu spät oder zu eng formuliert werden. Ein Modell kann zum Beispiel in einem Satz von Benchmarks gut wirken, aber in produktiven Workflows andere Fehlermuster zeigen: unerwartete Halluzinationen im Grenzbereich, inkonsistente Antworten bei leicht veränderten Eingaben oder eine abnehmende Robustheit, sobald die Nutzer im „freien Gespräch“ statt in vorgegebenen Dialogmustern operieren. Ohne ausreichend belastbare Tests und ohne klare Sicherheits-Gates wird die Kontrolle zur Annahme – und genau diese Annahme widerspricht Marcus’ Grundforderung.
Im weiteren Kontext berührt die Kritik auch die Debatte um die Rolle von Governance. Marcus stellt zwar indirekt klar, dass er nicht vorrangig auf neue Hürden als Lösung setzt, aber er beschreibt zugleich, warum der Ruf nach Regulierung politische Resonanz findet: Wenn ein technisch schwer greifbares Risiko gesellschaftlich sichtbar wird, suchen Entscheidungsträger nach Hebeln. Entscheidend ist dann, ob diese Hebel tatsächlich am technischen Kern ansetzen – an messbarer Steuerbarkeit, an nachvollziehbarer Robustheit und an realen Nachweisen im Betrieb – oder ob sie vor allem Kosten für Compliance erzeugen, ohne die Qualität des Systems zu verbessern. Für Unternehmen bedeutet das: Selbst wenn Regulatorik die Diskussion prägt, bleibt die technische Beweiskette der Engpass, an dem sich Fortschritt entscheidet.
Für Investoren und Produktverantwortliche lässt sich aus Marcus’ Argumentation ein sehr konkreter Prüfrahmen ableiten. Statt sich nur auf Demo-Ergebnisse oder generische Sicherheitsclaims zu verlassen, sollten sie ein Augenmerk auf die Fähigkeit legen, kontrollierbare Systeme zu bauen und diese Fähigkeit nachzuweisen: Welche Evaluationsmethoden werden genutzt, um Halluzinationen unter realistischen Bedingungen zu quantifizieren? Wie wird Robustheit gegen adversariell manipulierte Eingaben getestet? Welche Maßnahmen greifen im Betrieb, wenn die Eingaben vom erwarteten Muster abweichen, und wie schnell werden gefährliche Ausgaben erkannt? Marcus’ Kerngedanke ist am Ende simpel: Innovation liegt nicht darin, ein Modell zu „versprechen“, sondern darin, Verhalten so zu gestalten, dass es dem beabsichtigten Zweck im Maßstab entspricht. Dort, wo dieser Nachweis fehlt, werden Marktmechanismen und Betriebskosten – nicht politische Rhetorik – früher oder später zur Realität.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Gary Marcus warnt vor KI-Systemen ohne kontrollierbares Engineering" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Gary Marcus warnt vor KI-Systemen ohne kontrollierbares Engineering" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Gary Marcus warnt vor KI-Systemen ohne kontrollierbares Engineering« bei Google Deutschland suchen, bei Bing oder Google News!