KI-Modelle scheitern an grundlegenden Aufgaben: Uhrzeit und Kalender

MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz (KI) gibt es immer wieder Überraschungen. Eine aktuelle Studie hat nun gezeigt, dass KI-Modelle bei Aufgaben versagen, die für Menschen selbstverständlich sind, wie das Ablesen einer analogen Uhr oder das Bestimmen eines Kalendertages.

Die jüngste Forschung hat eine weitere Schwäche der Künstlichen Intelligenz (KI) aufgedeckt: das Lesen von analogen Uhren und das Berechnen von Kalendertagen. Während KI in der Lage ist, komplexe Aufgaben wie das Schreiben von Code oder das Erstellen lebensechter Bilder zu bewältigen, scheitert sie oft an grundlegenden Aufgaben, die für Menschen selbstverständlich sind.

Forscher präsentierten diese unerwarteten Schwächen auf der International Conference on Learning Representations (ICLR) 2025 und veröffentlichten ihre Ergebnisse auf dem Preprint-Server arXiv. Diese Erkenntnisse sind noch nicht peer-reviewed, werfen jedoch ein Licht auf die Herausforderungen, die bei der Integration von KI in zeitkritische Anwendungen auftreten können.

Rohit Saxena, der Hauptautor der Studie und Forscher an der Universität Edinburgh, betont, dass die Fähigkeit, die Zeit zu lesen und Kalender zu nutzen, für Menschen von klein auf selbstverständlich ist. Diese grundlegenden Fähigkeiten fehlen jedoch den KI-Systemen, was ihre Integration in reale Anwendungen wie Terminplanung und Automatisierung erschwert.

Um die Zeitmessfähigkeiten der KI zu untersuchen, fütterten die Forscher verschiedene multimodale große Sprachmodelle (MLLMs) mit einem speziellen Datensatz von Uhren- und Kalenderbildern. Zu den Modellen gehörten Meta’s Llama 3.2-Vision, Anthropic’s Claude-3.5 Sonnet, Google’s Gemini 2.0 und OpenAI’s GPT-4o. Die Ergebnisse waren ernüchternd: Die Modelle konnten mehr als die Hälfte der Zeit nicht die richtige Uhrzeit oder den Wochentag bestimmen.

Ein Grund für diese Schwäche liegt laut Saxena in der Art und Weise, wie KI trainiert wird. Während frühe Systeme auf gekennzeichneten Beispielen basierten, erfordert das Ablesen einer Uhr räumliches Denken. Die Modelle müssen überlappende Zeiger erkennen, Winkel messen und verschiedene Designs wie römische Ziffern oder stilisierte Zifferblätter navigieren.

Auch bei der Berechnung von Kalendertagen versagten die Modelle. Bei Aufgaben wie „Welcher Tag ist der 153. des Jahres?“ lag die Fehlerquote ähnlich hoch. Dies ist überraschend, da Arithmetik eine grundlegende Säule der Informatik ist, aber KI verwendet einen anderen Ansatz. Anstatt mathematische Algorithmen auszuführen, sagt KI die Ergebnisse basierend auf Mustern in den Trainingsdaten voraus.

Diese Forschung zeigt erneut die Unterschiede zwischen der „Verständnisweise“ von KI und der von Menschen auf. Modelle leiten Antworten aus bekannten Mustern ab und sind erfolgreich, wenn es genügend Beispiele in ihren Trainingsdaten gibt. Sie scheitern jedoch, wenn sie verallgemeinern oder abstraktes Denken anwenden müssen.

Die Studie verdeutlicht auch das Problem, das KI hat, wenn sie mit begrenzten Daten trainiert wird, insbesondere bei seltenen Phänomenen wie Schaltjahren oder obskuren Kalenderberechnungen. Obwohl LLMs viele Beispiele haben, die Schaltjahre als Konzept erklären, bedeutet das nicht, dass sie die notwendigen Verbindungen herstellen, um eine visuelle Aufgabe zu lösen.

Insgesamt zeigt die Forschung, dass es notwendig ist, gezieltere Beispiele in den Trainingsdaten zu verwenden und zu überdenken, wie KI die Kombination aus logischem und räumlichem Denken handhabt, insbesondere bei Aufgaben, die sie nicht oft antrifft. Es wird deutlich, dass wir bei der Nutzung von KI in Bereichen, die Wahrnehmung mit präzisem Denken verbinden, weiterhin rigorose Tests, Rückfalllogik und in vielen Fällen einen menschlichen Kontrollmechanismus benötigen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!