Fehlerhafte KI-Analyse führt zu kritischen Vertragskündigungen im VA-System

LONDON (IT BOLTWISE) – Die jüngsten Enthüllungen über die fehlerhafte Anwendung von Künstlicher Intelligenz im Rahmen der Vertragsanalyse des US-amerikanischen Veteranenministeriums (VA) werfen ein Schlaglicht auf die Risiken unzureichend kontextualisierter Technologieeinsätze.

Die jüngsten Berichte über die fehlerhafte Anwendung von Künstlicher Intelligenz (KI) im Rahmen der Vertragsanalyse des US-amerikanischen Veteranenministeriums (VA) werfen ein Schlaglicht auf die Risiken unzureichend kontextualisierter Technologieeinsätze. Im Zentrum der Kontroverse steht Sahil Lavingia, ein ehemaliger Programmierer bei DOGE, der von Elon Musk geleitet wurde. Lavingia war beauftragt, VA-Verträge zu überprüfen und unnötige Ausgaben zu identifizieren. Doch die von ihm eingesetzte KI führte zu erheblichen Fehlentscheidungen, die zur Kündigung kritischer Verträge führten.

ProPublica, eine investigative Nachrichtenorganisation, hat die Hintergründe dieser Fehlentscheidungen aufgedeckt. Lavingia, der zuvor bei DOGE tätig war, hatte die Aufgabe, Verträge zu analysieren und zu entscheiden, welche gekündigt werden könnten. Dabei verließ er sich auf eine KI, die jedoch veraltete Informationen nutzte und nur die ersten 10.000 Zeichen der Verträge analysierte. Diese Einschränkung führte dazu, dass wichtige Details übersehen wurden, was letztlich zur Kündigung essenzieller Verträge führte.

Ein besonders gravierendes Beispiel ist die Kündigung eines Vertrags zur Wartung von Deckenliften, die in VA-Krankenhäusern zur Umlagerung von Patienten eingesetzt werden. Diese Lifte sind entscheidend für die Sicherheit von Patienten und Personal. Die KI, die Lavingia verwendete, erkannte jedoch nicht die Bedeutung dieser Geräte und stufte den Vertrag als kündbar ein. Dies zeigt die Gefahren auf, die entstehen, wenn KI-Systeme ohne ausreichende menschliche Überprüfung eingesetzt werden.

Die Analyse von ProPublica zeigt, dass die von Lavingia verwendete KI veraltete Informationen nutzte und oft falsche Vertragswerte extrahierte. Experten kritisierten, dass Lavingia auf eine ältere KI-Version zurückgreifen musste, die nur begrenzte Datenmengen verarbeiten konnte. Diese Einschränkungen führten zu fehlerhaften Entscheidungen, die weitreichende Konsequenzen hatten.

Die Enthüllungen haben auch politische Konsequenzen. Demokratische Abgeordnete im Kongress fordern nun detaillierte Informationen darüber, welche Verträge gekündigt wurden und welche Auswirkungen dies auf die Versorgung der Veteranen hat. Die VA hat bisher fast 600 Verträge gekündigt, ohne genaue Angaben zu den betroffenen Bereichen zu machen.

Die Ereignisse werfen ein Schlaglicht auf die Notwendigkeit, KI-Systeme sorgfältig zu überwachen und sicherzustellen, dass sie in einem angemessenen Kontext eingesetzt werden. Die fehlerhafte Anwendung von Technologie kann schwerwiegende Folgen haben, insbesondere wenn es um die Versorgung von Veteranen geht. Die Diskussion um den Einsatz von KI in der öffentlichen Verwaltung wird durch diese Vorfälle sicherlich an Intensität gewinnen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!