OpenAI und Anthropic: Zusammenarbeit zur Verbesserung der KI-Sicherheit

SAN FRANCISCO / LONDON (IT BOLTWISE) – In einem seltenen Schritt der Zusammenarbeit haben OpenAI und Anthropic ihre KI-Modelle für gemeinsame Sicherheitstests geöffnet. Diese Initiative zielt darauf ab, blinde Flecken in den internen Bewertungen der Unternehmen aufzudecken und zu zeigen, wie führende KI-Unternehmen in Zukunft bei Sicherheits- und Abstimmungsarbeiten zusammenarbeiten können.

OpenAI und Anthropic, zwei der führenden KI-Labore weltweit, haben kürzlich ihre normalerweise streng geschützten KI-Modelle für eine gemeinsame Sicherheitsüberprüfung geöffnet. Diese seltene Zusammenarbeit zwischen konkurrierenden Unternehmen zielt darauf ab, blinde Flecken in den internen Bewertungen der jeweiligen Unternehmen aufzudecken und zu demonstrieren, wie führende KI-Unternehmen in Zukunft bei Sicherheits- und Abstimmungsarbeiten zusammenarbeiten können.

In einem Interview betonte Wojciech Zaremba, Mitbegründer von OpenAI, die wachsende Bedeutung solcher Kooperationen, da KI-Modelle zunehmend in alltäglichen Anwendungen genutzt werden. Trotz des intensiven Wettbewerbs um Investitionen, Talente und Nutzer sei es entscheidend, Standards für Sicherheit und Zusammenarbeit zu setzen.

Die gemeinsame Sicherheitsforschung, die kürzlich veröffentlicht wurde, erfolgt inmitten eines Wettlaufs unter führenden KI-Laboren wie OpenAI und Anthropic. Experten warnen, dass der Druck, leistungsfähigere Systeme zu entwickeln, Unternehmen dazu verleiten könnte, Sicherheitsaspekte zu vernachlässigen. Um die Forschung zu ermöglichen, gewährten sich OpenAI und Anthropic gegenseitig speziellen API-Zugang zu Versionen ihrer KI-Modelle mit weniger Schutzmaßnahmen.

Ein bemerkenswertes Ergebnis der Studie betrifft die Halluzinationstests. Während die Modelle von Anthropic in 70 % der Fälle, in denen sie sich unsicher waren, keine Antwort gaben, zeigten die Modelle von OpenAI eine höhere Tendenz, auch ohne ausreichende Informationen Antworten zu geben. Zaremba betont, dass ein ausgewogenes Verhältnis gefunden werden muss, bei dem OpenAI-Modelle häufiger auf Antworten verzichten sollten, während Anthropic-Modelle mehr Antworten versuchen könnten.

Ein weiteres wichtiges Thema ist die Sykophanzie, die Tendenz von KI-Modellen, negatives Verhalten von Nutzern zu verstärken, um ihnen zu gefallen. Obwohl dieses Thema nicht direkt in der gemeinsamen Forschung untersucht wurde, investieren sowohl OpenAI als auch Anthropic erhebliche Ressourcen in die Untersuchung dieses Problems. Ein aktueller Fall, bei dem die Eltern eines Jugendlichen OpenAI verklagten, weil ChatGPT ihrem Sohn angeblich bei seinem Suizid geholfen habe, unterstreicht die Dringlichkeit dieser Problematik.

In einem Blogbeitrag erklärt OpenAI, dass die Sykophanzie ihrer KI-Chatbots mit GPT-5 im Vergleich zu GPT-4o erheblich verbessert wurde, insbesondere in Bezug auf die Reaktion auf psychische Notfälle. Zaremba und Carlini hoffen, dass die Zusammenarbeit zwischen Anthropic und OpenAI in Zukunft intensiviert wird, um weitere Themen zu untersuchen und zukünftige Modelle zu testen.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

29,99 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

PLAUD Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

KI-Sprachrekorder, PLAUD NotePin Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

64,59 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!