DFKI warnt vor Risiken der Erklärbarkeit in KI-Systemen

LONDON (IT BOLTWISE) – Auf der International Conference on Machine Learning (ICML) 2025 wurde eine neue Studie des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) vorgestellt, die auf ein bisher wenig beachtetes Risiko in der erklärbaren KI hinweist.

Die Forschung des DFKI hebt ein Phänomen hervor, das als „X-Hacking“ bezeichnet wird und die Vertrauenswürdigkeit von KI-Systemen in Frage stellt. In einer Zeit, in der Künstliche Intelligenz zunehmend Entscheidungen erklärt, ohne diese vollständig zu verstehen, wird die Verantwortung der Wissenschaft für die Tiefe und Grenzen dieser Erklärungen betont. Prof. Sebastian Vollmer, Leiter des Forschungsbereichs Data Science and its Applications am DFKI, plädiert für eine reflektierte Nutzung von AutoML-Tools in Forschung und Praxis.

Die Studie zeigt, dass AutoML-Systeme nicht nur die Vorhersageleistung optimieren, sondern auch Modelle mit bestimmten Erklärungsmustern finden können. Dies birgt das Risiko, dass Erklärungen manipuliert werden, um gewünschte Ergebnisse zu unterstützen. Besonders in sensiblen Bereichen wie der medizinischen Forschung oder Sozialwissenschaften, wo erklärbare Modelle die Grundlage für kritische Entscheidungen bilden, kann dies problematisch sein.

Das DFKI-Team um Prof. Vollmer, bestehend aus Rahul Sharma, Sumantrak Mukherjee, Andrea Šipka, Eyke Hüllermeier, Sergey Redyuk und David Antony Selby, identifizierte mit dem Begriff X-Hacking ein strukturelles Risiko für die Vertrauenswürdigkeit von KI. Der Begriff lehnt sich an das aus der Statistik bekannte p-Hacking an und beschreibt Mechanismen wie Cherry-Picking und gerichtete Suche, die die Erklärbarkeit von Modellen beeinflussen können.

AutoML, die automatisierte Entwicklung und Optimierung von ML-Modellen, verspricht schnellere Entwicklung und niedrigere Zugangshürden. Doch gerade diese Automatisierung erschwert das Nachvollziehen von Modellentscheidungen, was bei erklärbarer KI kritisch ist. Bekannte AutoML-Frameworks wie auto-sklearn, Google Cloud AutoML und Microsoft Azure AutoML stehen im Fokus dieser Diskussion.

Das DFKI schlägt keine technischen Kontrollmechanismen vor, sondern eine wissenschaftlich reflektierte Praxis, die auf Transparenz und methodischer Sorgfalt basiert. Empfohlen werden unter anderem Explanation Histograms, die die Verteilung der Modell-Erklärungen zeigen, und eine vollständige Pipeline-Dokumentation, die den gesamten Suchraum an Modellen offenlegt.

Die Studie unterstreicht den Forschungsansatz des DFKI, Künstliche Intelligenz nicht nur leistungsstark, sondern auch transparent und gesellschaftlich vertrauenswürdig zu gestalten. Im Kontext des strategischen Schwerpunkts „Trustworthy AI“ zeigt diese Arbeit, wie wissenschaftliche Exzellenz und methodische Verantwortung zusammengedacht werden können.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!