Mistrals KI-Modelle: Sicherheitsrisiken und Herausforderungen

PARIS / MÜNCHEN (IT BOLTWISE) – Die französische KI-Startup-Szene steht unter Beobachtung, nachdem Berichte über Sicherheitslücken in den Modellen von Mistral aufgetaucht sind.

Die französische KI-Startup-Szene hat in den letzten Jahren erheblich an Dynamik gewonnen, wobei Mistral als eines der vielversprechendsten Unternehmen hervorsticht. Doch jüngste Berichte werfen ein kritisches Licht auf die Sicherheitsaspekte ihrer KI-Modelle. Laut einer Untersuchung von Enkrypt AI, einem US-amerikanischen Unternehmen für KI-Sicherheit, sind einige der von Mistral entwickelten Modelle bis zu 60-mal anfälliger für die Generierung von kinderpornografischem Material im Vergleich zu Konkurrenzmodellen.

Mistral, das vor zwei Jahren in Paris gegründet wurde, hat sich schnell zu einem der Vorzeigeunternehmen der französischen Tech-Szene entwickelt. Mit einer beeindruckenden Finanzierung von über einer Milliarde Euro und einer Bewertung von 5,8 Milliarden Euro hat das Unternehmen hohe Erwartungen geweckt. Die Modelle von Mistral, die ähnlich wie OpenAIs ChatGPT funktionieren, sind jedoch in die Kritik geraten, da sie auch Inhalte im Zusammenhang mit chemischen und nuklearen Bedrohungen generieren können.

Enkrypt AI führte sogenannte Red-Teaming-Tests durch, um die Reaktionen der Modelle auf schädliche Eingaben zu überprüfen. Diese Tests simulieren potenziell gefährliche Szenarien, um die Sicherheitsmechanismen der Systeme zu testen. Dabei stellte sich heraus, dass 68% der schädlichen Eingaben bei Mistrals Modellen zu unsicheren Inhalten führten. Dies reicht von der Erstellung von Skripten, die Minderjährige zu persönlichen Treffen überreden sollen, bis hin zu Informationen zur Erhöhung der Persistenz von Nervengiften in der Umwelt.

Ein Sprecher von Mistral betonte die Null-Toleranz-Politik des Unternehmens in Bezug auf Kindersicherheit und kündigte an, die Ergebnisse der Untersuchung genau zu prüfen. Mistral arbeitet bereits mit der digitalen Sicherheitsorganisation Thorn zusammen, um die Sicherheit ihrer Modelle zu verbessern.

Die Untersuchung von Enkrypt AI konzentrierte sich auf zwei multimodale Modelle von Mistral, Pixtral 12B und Pixtral Large. Diese Modelle sind in der Lage, sowohl Text- als auch Bilddaten zu verarbeiten, was sie vielseitig einsetzbar macht. Allerdings zeigte sich, dass 84% der Versuche, das Modell zur Erstellung von manipulativen Inhalten zu bewegen, erfolgreich waren. Noch alarmierender ist, dass fast alle Versuche, Informationen über chemische Waffen zu erhalten, erfolgreich waren.

Die Ergebnisse dieser Untersuchung werfen wichtige Fragen zur Sicherheit und Verantwortung im Umgang mit KI-Technologien auf. Während multimodale KI-Modelle enorme Vorteile bieten, erweitern sie auch die Angriffsfläche auf unvorhersehbare Weise. Dies stellt Unternehmen vor neue Herausforderungen in Bezug auf Haftung und öffentliche Sicherheit.

Im Vergleich dazu waren die Modelle von OpenAI und Anthropic deutlich resistenter gegen solche Angriffe. Bei OpenAIs GPT-4o und Anthropics Claude 3.7 Sonnet war keine der Eingaben erfolgreich, die auf die Generierung von kinderpornografischem Material abzielten. Dies zeigt, dass es möglich ist, KI-Modelle sicherer zu gestalten, wenn entsprechende Maßnahmen ergriffen werden.

Die Diskussion um die Sicherheit von KI-Modellen wird in den kommenden Jahren sicherlich an Bedeutung gewinnen, da immer mehr Unternehmen auf diese Technologien setzen. Die Ergebnisse der Untersuchung von Enkrypt AI könnten als Weckruf für die Branche dienen, um die Sicherheitsstandards weiter zu erhöhen und die Risiken zu minimieren.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!