GREIFSWALD / LONDON (IT BOLTWISE) – Die Bundesregierung plant den Einsatz von KI-Programmen in Asylverfahren. Informatikprofessor Alexander Steen warnt vor einem Blankoscheck für den unreflektierten Technikeinsatz. Im Kern sieht er Risiken durch Automation Bias: Wenn Beschäftigte Empfehlungen automatisierter Systeme stärker gewichten als eigene Einschätzungen, drohen Entscheidungen ohne ausreichende kritische Prüfung. Außerdem kritisiert er fehlende Vorgaben zur Architektur, fehlende Schutzmechanismen und mögliche Folgen fehlerhafter oder voreingenommener Daten.

Die Debatte um KI im Asylverfahren folgt einem klassischen Muster: Sobald sich ein Prozess digitaler beschreiben lässt, rückt die Hoffnung auf schnellere Bearbeitung und bessere Verwaltung in den Vordergrund. Genau diese Zielrichtung nennt Informatikprofessor Alexander Steen als prinzipiell nachvollziehbar. In der Ausgestaltung, wie sie im beschriebenen Gesetzentwurf anklingt, sieht er jedoch einen entscheidenden Systemfehler: Der Text wirke „undurchdacht“ und lasse den beteiligten Behörden einen Spielraum, der eher zu Standardabweichungen als zu verlässlicher Kontrolle führt.
Technisch und organisatorisch steht dabei weniger die Frage im Raum, ob KI Modelle Relevantes aus Texten und Akten ableiten können, sondern wie stark Menschen in der Entscheidungslogik entkoppelt werden. Steen adressiert genau dieses Spannungsfeld mit dem Begriff „Automation Bias“: Studien zur Mensch-KI-Interaktion zeigen demnach, dass Menschen Empfehlungen automatisierter Systeme teils stärker vertrauen als ihrer eigenen Einschätzung. Der Gesetzentwurf sieht vor, dass KI abgeschlossene Verfahren analysiert und die Ergebnisse Beschäftigten des Bundesamts für Migration und Flüchtlinge zur Verfügung stellt. Selbst wenn am Ende formal Menschen entscheiden, beschreibt Steen eine Gefahr der schleichenden Verschiebung: KI-Empfehlungen werden im Alltag häufiger abgenickt, ohne die Gründe systematisch zu hinterfragen.
Besonders kritisch wird es nach Steens Darstellung dort, wo der Entwurf keine einheitliche Architektur und keinen verbindlichen Nutzungsprozess festlegt. Wenn jede Behörde autonom bestimmt, wie sie KI nutzt, entstehen unterschiedliche Implementierungen mit unterschiedlichen Fehlerbildern. Hinzu kommt ein Faktor, der in vielen Technologie-Rollouts unterschätzt wird: Schulungen. Steen verweist explizit darauf, dass der Entwurf die Kosten und den organisatorischen Aufwand für das Training der Entscheiderinnen und Entscheider nicht angemessen berücksichtigt, obwohl genau diese Personen später die Ausgaben der Systeme prüfen sollen. Für die Praxis bedeutet das: Ohne einheitliche technische Leitplanken und ohne strukturierte Qualifizierung wird aus einer „Assistenz“ schnell eine Black-Box-Nutzung.
Als Beispiel macht Steen sichtbar, wie scheinbar korrekte Daten in problematische Schlussfolgerungen kippen können. Er beschreibt den Fall, dass eine KI in Akten einen statistischen Zusammenhang erkennt, wonach von einer bestimmten Personengruppe überdurchschnittlich häufig gefälschte Urkunden vorgelegt wurden. Wenn das System dann bei einem Antrag auf diesen Zusammenhang hinweist, kann das laut Steen sofort einen Verdacht auf die betroffene Personengruppe auslösen. Der entscheidende Punkt ist dabei nicht, dass die Daten zwingend „gelogen“ wären, sondern dass ein statistischer Zusammenhang keine Aussage über eine Einzelperson trägt. Genau in solchen Situationen kann eine vorgefertigte Erwartung die objektive Prüfung verdrängen – bewusst oder unbewusst, weil die Entscheidungskette psychologisch von der maschinellen Empfehlung vorstrukturiert wird.
Auch bei der Idee, „zweifelhafte Angaben“ automatisiert im Netz überprüfen zu lassen, setzt Steen die Latte für die Zuverlässigkeit deutlich höher. Seine Analogie ist pointiert: Das Ziel, persönliche Daten im Internet verifizieren zu wollen, sei so verlässlich wie zufällige Befragungen auf der Straße. Hintergrund ist, dass schon vor Jahren Fälschungen mit überschaubarem Aufwand entstanden sind und die technischen Möglichkeiten heute eher noch zugänglicher geworden sind. Aus seiner Sicht kann ein KI-System zwar Muster erkennen, aber es bleibt anfällig für Fehlinterpretationen: Wenn etwa Daten zweier Personen vermischt werden, ist das Ergebnis nicht nur ungenau, sondern potenziell folgenschwer. Steen nennt als Beispiel einen Chefarzt aus dem Rheinland, dem fälschlich ein Sexualstraftäter-Status angedichtet wurde, weil die Daten eines anderen Mitarbeitenden in den KI-Antworten mitliefen.
Der nächste Risikokreis betrifft Datenflüsse und Datenschutz. Steen argumentiert, dass KI-Systeme Suchmaschinen nutzen und die Datenströme, die dabei an die Betreiber der Suchmaschinen gehen, Rückschlüsse darauf ermöglichen können, dass sie von Asylbehörden stammen. Für repressive Regime könne das die Daten zusätzlich „interessant“ machen, weil eine Verfolgung auch nach der Flucht nach Deutschland unterstützt werden könnte. Neben dem rechtlichen Rahmen ist das vor allem ein praktisches Architekturthema: Wer verarbeitet welche Informationen, über welche Schnittstellen, und wie lässt sich vermeiden, dass sensibler Kontext unkontrolliert in Drittprozesse gelangt?
Am Ende fordert Steen nicht den Verzicht auf Digitalisierung, sondern eine sauberere Trennung zwischen Optimierung und Entscheidungsersetzung. Sein Leitbild lautet, dass der Mensch in alle Teilprozesse eingebunden und „gezwungen“ sein muss, sich inhaltlich mit Daten und Entscheidung auseinanderzusetzen. Er zweifelt zudem daran, dass KI kurzfristig das große Potenzial hebt, das in Debatten häufig suggeriert wird, und weist darauf hin, dass nicht jede Form von Digitalisierung automatisch KI bedeutet. Wo KI eingesetzt wird, soll sie vor allem in Bereichen funktionieren, in denen nach klaren Schemata gearbeitet wird und weniger Ermessensentscheidungen anfallen; ebenso nennt er die Möglichkeit logischer Handlungsanweisungen statt rein statistischer Lernverfahren. Gerade in Kombination beider Ansätze sieht die Forschung zwar Perspektiven, aber Steens Kernforderung bleibt: Ohne präzise Vorgaben, transparente Schutzmechanismen und qualifizierte Einbindung der Beschäftigten überwiegt aus seiner Sicht das Risiko.
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!

- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI im Asylverfahren: Risiken durch Automation Bias und fehlende Leitplanken" für unsere Leser?


#Sophos
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI im Asylverfahren: Risiken durch Automation Bias und fehlende Leitplanken" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI im Asylverfahren: Risiken durch Automation Bias und fehlende Leitplanken« bei Google Deutschland suchen, bei Bing oder Google News!