HESSEN / LONDON (IT BOLTWISE) – Der Hessische Verwaltungsgerichtshof hat in einem Beschluss fehlerhafte Internetquellen verwendet, die auf eine Recherche mit ChatGPT zurückgehen. In dem Dokument waren fünf von zwölf Belegen offenbar KI-generiert und erwiesen sich als unbrauchbar. Das Gericht räumte den Fehler ein, hält den Beschluss aber inhaltlich für korrekt. Der Vorfall trifft auf eine Justiz, die zugleich unter Personaldruck steht und den Einsatz nicht autorisierter KI-Tools begünstigt.
Als der Hessische Verwaltungsgerichtshof am 24. Juni einen Beschluss veröffentlichte, ging es juristisch um die rechtliche Situation ukrainischer Schutzsuchender. Technisch betrachtet aber lag ein anderes Risiko im Dokument selbst: Laut den Angaben im Umfeld der Entscheidung stammten mehrere verwendete Internetquellen von ChatGPT. Die Unstimmigkeiten fielen offenbar über spezifische URL-Parameter auf, die Rückschlüsse auf den KI-generierten Ursprung der Links zuließen. Besonders brisant ist die Größenordnung: Fünf von zwölf Belegen im Beschluss sollen damit nicht belastbar gewesen sein.
Damit rückt eine Kernfrage in den Fokus, die in vielen Unternehmen beim KI-Einsatz oft als „formale Quelle“ verharmlost wird: Wie prüft man den Wahrheitsgehalt von Quellenbelegen, wenn der Output nicht aus einer verifizierten Datenbasis, sondern aus einer Textgenerierung stammt? Im vorliegenden Fall wird berichtet, dass das Gericht das KI-Tool für die Recherche von Quellenmaterial genutzt hat und den Fehler inzwischen eingeräumt hat. Gleichzeitig gilt der Beschluss in der Sache als weiterhin korrekt. Für die Praxis ist das eine wichtige Differenzierung, denn sie zeigt, dass ein Dokument zwar inhaltlich bestehen kann, die Beleggrundlage aber dennoch angreifbar wird – gerade dann, wenn die Quellen nicht reproduzierbar oder eindeutig nachprüfbar sind.
Der Vorfall trifft zeitlich auf einen Kontext, in dem Personalengpässe in der Verwaltung und Justiz die Hürde für „schnelle Hilfsmittel“ senken. Aus der hessischen Justiz wurde eine angespannte Lage beschrieben, besonders bei den Rechtspflegern; die Zahl der Anwärter in der Ausbildung in Rotenburg wurde demnach von 30 auf 80 erhöht. Parallel dazu wächst, so die Berichterstattung, die Nutzung nicht autorisierter KI-Tools: Ein Bericht der französischen Aufsichtsbehörde IGAS vom Juli nennt als Problem, dass bis zu 40 Prozent der öffentlichen Bediensteten KI-Anwendungen ohne offizielle Freigabe nutzen. Die vermeintlichen Produktivitätsgewinne sind greifbar: In untersuchten Fällen soll sich die Antwortzeit von 19 auf drei Tage verkürzt haben.
Genau diese Kombination aus Zeitdruck und einfacher Verfügbarkeit macht „Shadow AI“ zu einem Management-Thema, nicht nur zu einem IT-Thema. Wenn Mitarbeitende KI-Tools eigenständig einsetzen, verschwinden Governance-Schleifen wie Freigabeprozesse, Logging, Rollen- und Zugriffskonzepte oder systematische Qualitätsprüfungen. Laut dem genannten IGAS-Bericht steigen dadurch zugleich Risiken für Datensicherheit und die Richtigkeit von Bescheiden. Technisch bedeutet das im Alltag meist: Es fehlt an kontrollierten Datenflüssen, an klaren Prüfpfaden für Quellen und an dokumentierten Entscheidungsgrundlagen. Juristisch kommt hinzu, dass die Nachvollziehbarkeit von Ergebnissen und Belegen eine Grundbedingung für belastbare Entscheidungen bleibt – ein Punkt, der sich am Beispiel der fehlerhaften ChatGPT-Links besonders sichtbar macht.
Während Verwaltungen also mit dem Schattenbetrieb kämpfen, versucht die Regulierung, Verantwortlichkeiten und Pflichten sauber zu definieren. Ein Baustein kommt aus dem Datenschutzumfeld: Die schwedische Datenschutzbehörde IMY habe im Juni klargestellt, dass Anbieter, die Modelle auf eigene Initiative feinjustieren, datenschutzrechtlich als Verantwortliche gelten können; erfolgt die Anpassung im Auftrag, sind sie Auftragsverarbeiter. Diese Unterscheidung ist praktisch hochrelevant, weil sie die Frage betrifft, wer Entscheidungen über Zwecke und Mittel der Verarbeitung trifft. Parallel nimmt EU-weit die Ausgestaltung der Pflichten Gestalt an, unter anderem im Rahmen des EU AI Act mit Blick auf Risikoklassen und Dokumentationsanforderungen. Damit verschiebt sich der Schwerpunkt vom „Tool ausprobieren“ hin zu „Verantwortung nachweisbar organisieren“.
Auch außerhalb der Verwaltung zeigt sich, dass Fortschritt bei KI die Kontrolle nicht ersetzt. Die Meldung greift das Thema KI-Halluzinationen auf, also das Erfinden von Fakten, und bezieht sich dabei auf GPT-5.6: Laut Unternehmensangaben soll die Quote der Faktenfehler gegenüber Vorgängermodellen um 68 Prozent gesunken sein. Selbst wenn solche Verbesserungen real sind, bleibt das zugrunde liegende Problem: Ein Modell kann Text plausibel formulieren, ohne dass jede Aussage automatisch eine belastbare Quelle hat. Deshalb plädieren die Berichtsangaben dafür, KI-generierte Quellenbelege grundsätzlich manuell zu verifizieren. Für Organisationen heißt das: Verifikationsprozesse, Quellenstandards und klare Qualitätskriterien müssen fester Bestandteil der KI-Pipeline werden – insbesondere dort, wo Ergebnisse in rechtliche oder geschäftskritische Dokumente einfließen.
Für Entscheiderinnen und Entscheider ergibt sich aus dem hessischen Fall eine klare Priorisierung: Erstens müssen Freigabewege für KI-Tools existieren, damit produktive Nutzung nicht in unkontrollierte Umwege kippt. Zweitens braucht es überprüfbare Prüfmechanismen, die nicht nur die inhaltliche Plausibilität, sondern auch den Quellenstatus abprüfen. Drittens sollten Schulungen und Arbeitsanweisungen so gestaltet werden, dass Mitarbeitende unter Zeitdruck nicht reflexhaft zu nicht verifizierten Belegen greifen. Der Vorfall zeigt damit weniger ein „KI-versus-Mensch“-Narrativ, sondern eine Prozessfrage: Wer KI nutzt, muss sicherstellen, dass Belege und Entscheidungsgrundlagen auch ohne KI-„Glanz“ bestehen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Gericht nutzte ChatGPT: fehlerhafte Quellenbelege werfen KI in der Justiz auf die Probe" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Gericht nutzte ChatGPT: fehlerhafte Quellenbelege werfen KI in der Justiz auf die Probe" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Gericht nutzte ChatGPT: fehlerhafte Quellenbelege werfen KI in der Justiz auf die Probe« bei Google Deutschland suchen, bei Bing oder Google News!