Fehlerhafte KI-Entscheidungen führen zu Vertragsstornierungen im Veteranenministerium

LONDON (IT BOLTWISE) – Ein Bericht hat aufgedeckt, dass ein fehlerhaftes KI-Tool im US-amerikanischen Department of Government Efficiency (DOGE) zu erheblichen Vertragsstornierungen im Veteranenministerium geführt hat.

Ein kürzlich veröffentlichter Bericht hat aufgedeckt, dass das Department of Government Efficiency (DOGE) ein fehlerhaftes KI-Tool eingesetzt hat, um die Notwendigkeit von Verträgen im US-amerikanischen Veteranenministerium zu bewerten. Dies führte zur Stornierung von Hunderten von Verträgen im Wert von Millionen von Dollar. Die Entscheidung, das KI-Tool zu verwenden, wurde getroffen, nachdem Präsident Donald Trump eine Anordnung erlassen hatte, die DOGE dazu verpflichtete, Regierungsverträge und -zuschüsse zu überprüfen, um sicherzustellen, dass sie mit seinen politischen Zielen übereinstimmen.

Der Ingenieur Sahil Lavingia entwickelte in Eile ein KI-Modell, das angewiesen wurde, alle Verträge zu stornieren, die nicht direkt die Patientenversorgung unterstützen. Allerdings verfügte weder er noch das Modell über das notwendige Wissen, um solche Entscheidungen zu treffen. Ein Hauptproblem war, dass das KI-Tool nur die ersten 10.000 Zeichen eines Vertrags überprüfte, um zu entscheiden, ob er ‘munchable’ war – ein Begriff, den Lavingia für Aufgaben verwendete, die von VA-Mitarbeitern statt durch Outsourcing erledigt werden konnten.

Experten, die den Code überprüften, stellten fest, dass viele kritische Begriffe, wie ‘Kernmedizin/Leistungen’, nicht klar definiert waren, was dazu führte, dass mehrere wichtige Verträge als ‘munchable’ markiert wurden. Beispielsweise wurde das Modell angewiesen, DEI-Programme zu eliminieren, ohne dass DEI definiert wurde, was dem Modell die Entscheidung überließ. An anderer Stelle im Code wurde das KI-Modell gebeten, zu prüfen, ob die Preise für Wartungsverträge ‘angemessen’ erscheinen, ohne dass ‘angemessen’ definiert wurde.

Das KI-Tool basierte auf einem älteren, allgemeinen Modell, das für die komplexe Aufgabe ungeeignet war, was dazu führte, dass es manchmal Vertragsbeträge erfand und sie fälschlicherweise als Millionenbeträge statt Tausender ansah. Cary Coglianese, ein Professor an der University of Pennsylvania, der die staatliche Nutzung von KI untersucht, erklärte, dass das Verständnis, welche Aufgaben von einem VA-Mitarbeiter erledigt werden könnten, ein tiefes Verständnis der medizinischen Versorgung, des institutionellen Managements und der Verfügbarkeit von Humanressourcen erfordern würde – alles Dinge, die das KI-Tool nicht leisten konnte.

Lavingia räumte ein, dass das KI-Modell fehlerhaft war, versicherte jedoch, dass alle ‘munchable’ Verträge von anderen Personen überprüft wurden. Das Veteranenministerium kündigte zunächst im Februar an, 875 Verträge zu stornieren. Doch verschiedene Veteranenorganisationen schlugen Alarm und warnten, dass einige dieser Verträge Sicherheitsinspektionen in VA-Einrichtungen, direkte Kommunikation mit Veteranen über Leistungen und die Fähigkeit des VA, Ärzte zu rekrutieren, betrafen.

Eine Quelle, die mit der Situation im Ministerium vertraut ist, sagte dem Federal News Network, dass einige Kürzungen auf einen ‘Kommunikationsbruch’ zwischen DOGE-Beratern, VA-Führungskräften und den Gesetzgebern, die das VA beaufsichtigen, hinwiesen. Das VA nahm diese Zahl bald zurück und kündigte stattdessen im März an, etwa 585 ‘nicht missionskritische oder doppelte Verträge’ zu stornieren, wodurch rund 900 Millionen Dollar zurück an die Behörde geleitet wurden.

Lavingia, der etwa 55 Tage nach seinem Arbeitsbeginn bei DOGE entlassen wurde, nachdem er einige seiner Arbeiten mit Journalisten geteilt hatte, hat die von ihm verwendeten Codes auf seinem Blog beschrieben und auf GitHub veröffentlicht.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!