KI-Support-Bot von Cursor AI sorgt für Verwirrung und Kundenverlust

MÜNCHEN (IT BOLTWISE) – Ein Vorfall bei Cursor AI zeigt die Risiken von KI-gestütztem Kundensupport auf. Ein KI-Bot erfand eine nicht existierende Richtlinie, was zu einem Aufschrei unter den Nutzern führte.

Der Einsatz von Künstlicher Intelligenz im Kundensupport birgt erhebliche Risiken, wie ein aktueller Vorfall bei Cursor AI zeigt. Ein Entwickler bemerkte, dass das Wechseln zwischen verschiedenen Geräten zu einer sofortigen Abmeldung führte, was den Arbeitsablauf störte. Als er den Support kontaktierte, erhielt er von einem KI-Bot namens Sam die Auskunft, dass dies eine neue Sicherheitsrichtlinie sei. Diese Richtlinie existierte jedoch nicht, was zu einem Sturm der Entrüstung auf Plattformen wie Hacker News und Reddit führte.

Diese Art von Fehlverhalten, bei dem KI-Modelle plausible, aber falsche Informationen generieren, wird als Konfabulation bezeichnet. Solche Vorfälle können für Unternehmen, die KI-Systeme ohne menschliche Aufsicht in kundenorientierten Rollen einsetzen, erhebliche Konsequenzen haben. Die Verärgerung der Kunden und der Vertrauensverlust können zu unmittelbaren und kostspieligen Folgen führen, wie im Fall von Cursor, wo Abonnements gekündigt wurden.

Der Vorfall begann, als ein Reddit-Nutzer namens BrokenToasterOven bemerkte, dass das Anmelden bei Cursor auf einem Gerät die Sitzung auf anderen Geräten ungültig machte. Der Nutzer kontaktierte den Support und erhielt eine Antwort von Sam, die die nicht existierende Richtlinie bestätigte. Diese Antwort wurde von vielen Nutzern als offizielle Bestätigung eines tatsächlichen Richtlinienwechsels angesehen, was zu zahlreichen Kündigungen führte.

Einige Stunden später klärte ein Vertreter von Cursor auf Reddit auf, dass es keine solche Richtlinie gebe und dass die Antwort von einem KI-Support-Bot stamme. Der Mitbegründer von Cursor, Michael Truell, entschuldigte sich auf Hacker News für die Verwirrung und erklärte, dass das Problem durch eine Backend-Änderung verursacht wurde, die die Sitzungsverwaltung verbessern sollte, aber unbeabsichtigt Probleme verursachte.

Der Vorfall wirft Fragen zur Offenlegung auf, da viele Nutzer glaubten, mit einem Menschen zu kommunizieren. Die Verwendung von KI-Modellen in kundenorientierten Rollen ohne angemessene Sicherheitsvorkehrungen und Transparenz birgt erhebliche Risiken. Für ein Unternehmen, das KI-Produktivitätstools an Entwickler verkauft, ist es besonders peinlich, wenn das eigene KI-Support-System eine Richtlinie erfindet, die die Kernnutzer entfremdet.

Der Vorfall erinnert an einen ähnlichen Fall bei Air Canada, wo ein KI-Chatbot eine Rückerstattungsrichtlinie erfand, die das Unternehmen später einhalten musste. Solche Vorfälle zeigen, dass Unternehmen für die Informationen verantwortlich sind, die ihre KI-Tools bereitstellen. Cursor hat Maßnahmen ergriffen, um sicherzustellen, dass KI-generierte Antworten klar als solche gekennzeichnet sind, um zukünftige Missverständnisse zu vermeiden.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!