Der 30-Tage-Plan: ChatGPT und Künstliche Intelligenz im Alltag erfolgreich nutzen!Angebot abrufen!

LONDON (IT BOLTWISE) – OpenAI führt eine neue Bildklassifizierung ein, die CSAM auch bei KI-generierten Bildern erkennen soll. Dazu kommen in ChatGPT Warnbildschirme und zeitweise Kontosperren, wenn Nutzer nach sexualisierten Inhalten mit Kindern fragen. Für Entwickler veröffentlicht das Unternehmen ergänzende Leitlinien samt Funktionen zur Erkennung und Meldung. Parallel stellt OpenAI Strafverfolgungsbehörden spezialisierte Plugins und Trainingsmaterial zur Nutzung bereit.

OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen
OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen (Foto: IT BOLTWISE)
🧠 KI & Robotik auf Google News abonnieren

OpenAI setzt bei der Eindämmung von CSAM auf eine Kombination aus maschineller Erkennung, moderativen Interaktionsregeln und Werkzeugen für Dritte. Im Mittelpunkt steht ein neuer Bildklassifikator, der speziell darauf trainiert ist, CSAM-Verdachtsfälle in Bildmaterial zu identifizieren – ausdrücklich auch in Bildern, die durch KI-Systeme generiert wurden. Damit reagiert das Unternehmen auf das Problem, dass schädliche Inhalte nicht mehr nur aus klassischen Bilddatenbeständen stammen, sondern zunehmend aus generativen Workflows entstehen, bei denen sich Muster und Kontext anders verhalten als in „herkömmlichen“ Aufnahmen.

Technisch beschreibt OpenAI den Ansatz als Scanner, der visuelle Hinweise findet und dem gefundenen Muster eine Punktzahl zuweist. Diese Punktzahl soll laut Unternehmensangaben als Orientierung für menschliche Prüfer dienen, also nicht nur „ja oder nein“ melden, sondern den Review-Aufwand gezielt steuern. In frühen Tests mit Partnern nennt OpenAI eine messbare Effizienz: Der Klassifikator habe 48 % weniger Bilder markiert, während gleichzeitig die gleiche Anzahl missbräuchlicher Bilder gefunden worden sei. Zusätzlich soll die „Trefferquote“ bei markierten Bildern höher sein, denn OpenAI gibt an, dass so markierte Bilder doppelt so häufig tatsächlich CSAM enthalten. Die Logik dahinter ist typisch für anwendbare Moderationssysteme: Das Modell reduziert die Menge an Kandidaten, ohne die Erkennungsleistung bei den echten Fällen zu verlieren.

OpenAI bindet dabei mehrere externe Akteure ein und versucht, die Wirksamkeit des Systems über die eigene Produktumgebung hinaus zu verbreitern. Das Unternehmen sagt, es habe den Klassifikator gemeinsam mit dem National Center for Missing and Exploited Children (NCMEC) entwickelt, und es arbeite zudem mit Tech Coalition und ROOST daran, den Zugriff zu teilen. Für ausgewählte Unternehmen stellt OpenAI den Klassifikator über eine API bereit – laut Meldung kostenlos. Diese Form der Verteilung ist für die Praxis relevant, weil Moderations-Teams in Unternehmen oft bereits eigene Prüfpipelines betreiben und dann weniger Zeit verlieren, wenn ein spezialisierter Detektor als Baustein in bestehende Workflows integriert werden kann. Neben der API-Nutzung geht es laut OpenAI außerdem um eine unterstützende Bewertung: Das Modell soll Hinweise liefern, die Reviewer schneller zu den „richtigen“ Bildern führen.

In der Nutzerinteraktion verschiebt sich der Schwerpunkt von der Erkennung hin zur Abschreckung. OpenAI ergänzt in ChatGPT neue Warnbildschirme, wenn Nutzer Prompts eingeben, die sexualisierte Inhalte mit Kindern zum Ziel haben. Das System soll Nutzer zunächst per Alert stoppen, sie auf spezialisierte Hilfe- und Support-Angebote verweisen und in Fällen, die als Wiederholung eingeordnet werden, auch temporär handeln: OpenAI nennt eine 24-stündige Suspendierung als Warnmaßnahme. Das ChatGPT-System blockiert CSAM-Inhalte und entsprechende Anfragen bereits; die Neuerung ist vor allem die zusätzliche Eskalations- und Beratungslogik. Laut OpenAI können wiederholte Verstöße schließlich dazu führen, dass ein Konto dauerhaft entfernt wird. Damit folgt OpenAI einem Muster, das man aus anderen sicherheitskritischen Moderationsbereichen kennt: Neben dem technischen „Stoppen“ tritt ein Prozess aus Transparenz, Hilfeangeboten und abgestufter Durchsetzung.

Für Entwickler liefert OpenAI parallel eine neue Anleitung, wie sich OpenAI-Tools so einsetzen lassen, dass CSAM verhindert, erkannt und gemeldet werden kann. In der frühen Testphase, so das Unternehmen, habe diese Orientierung dabei geholfen, dass mehr Entwickler entsprechende Kinderschutz-Mechanismen in ihre eigenen Anwendungen integrieren und sich für die Meldung an NCMEC registrieren. Besonders interessant ist dabei, dass OpenAI nicht nur „Policy-Text“ beschreibt, sondern einen operativen Pfad für das Melden bereitstellt. Ergänzend rüstet OpenAI Strafverfolgungsbehörden mit KI-gestützten Funktionen aus, etwa über dedizierte Plugins, investigative Tools und die Analyse komplexer Daten. Der Zugriff soll dabei über Programmverwalter gesteuert werden, und OpenAI bietet laut Meldung außerdem Training für Ermittler sowie einen Feldleitfaden zur praktischen Nutzung an.

Die Ankündigungen stehen jedoch in einem Umfeld, in dem OpenAI seit Monaten und Jahren juristisch wie gesellschaftlich unter besonderer Beobachtung steht. In mehreren Klagen wird OpenAI mutmaßlich vorgeworfen, durch die eigene Technologie Schaden – insbesondere an Kindern – ermöglicht zu haben; laut Angaben in diesen Klagen soll der Einsatz der Systeme zu problematischen Ergebnissen beitragen. Auch andere Organisationen haben die Sicherheitsrisiken öffentlich kritisiert, und aus der breiteren Diskussion ist bekannt, dass generative KI-Systeme grundsätzlich Missbrauchswege eröffnen können. OpenAI erwähnt in diesem Kontext zudem die Nutzung anderer Chatbots, darunter Grok, für die Erstellung nicht einvernehmlicher sexualisierter Bildinhalte, inklusive Darstellungen von Kindern. Solche Beispiele zeigen, warum die Kombination aus Erkennung, Interaktionswarnungen und Meldewegen in der Praxis nicht isoliert betrachtet werden kann.

Ein weiterer Aspekt der Meldung ist der Hinweis auf eine kontinuierliche Sicherheitsarbeit im Verlauf der letzten zwölf Monate. OpenAI nennt dafür unter anderem die Veröffentlichung eines Safety-Blueprints, Updates der Content-Guidelines, ein „Retuning“ des Modells, um die Generierung schädlicher Inhalte zu verhindern, sowie eine spezielle ChatGPT-Variante für Jugendliche. Für Unternehmen, die KI einsetzen, lässt sich daraus ableiten, dass Sicherheitsfunktionen zunehmend als Bestandteil der Produktarchitektur verstanden werden: Detektoren werden über APIs verfügbar gemacht, Chat-Interaktionen erhalten abgestufte Durchsetzung, und Entwickler erhalten konkrete Implementierungsleitfäden. Kurzfristig wird entscheidend sein, wie schnell sich diese Bausteine in bestehende Moderations- und Compliance-Workflows integrieren lassen – mittel- bis langfristig geht es darum, dass Schutzmaßnahmen skalieren, ohne Review-Teams bei der täglichen Arbeit auszubremsen.

💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!


Sense Robot Go KI-Go-Brett mit Roboterarm – Automatische Steinplatzierung, interaktives Lernen, Spielwiederholung – Intelligenter Weiqi-Trainer für Kinder & Erwachsene
152 Bewertungen
Sense Robot Go KI-Go-Brett mit Roboterarm – Automatische Steinplatzierung, interaktives Lernen, Spielwiederholung – Intelligenter Weiqi-Trainer für Kinder & Erwachsene
  • ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
ENERGIZE LAB Eiliko Coral Pink - Ihr winziger KI-Charm-Roboter, der zu jedem täglichen Outfit passt, lustiges elektronisches Anhängerspielzeug, für Paare und beste Freunde
334 Bewertungen
ENERGIZE LAB Eiliko Coral Pink - Ihr winziger KI-Charm-Roboter, der zu jedem täglichen Outfit passt, lustiges elektronisches Anhängerspielzeug, für Paare und beste Freunde
  • IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
Eilik – Interaktiver Desktop Roboter mit Persönlichkeit, lebendigen Animationen & Reaktionen, Touch-Steuerung, Mini-Spiele, emotionaler Roboter Freund und besonderes Geschenk für Kinder & Erwachsene
1.501 Bewertungen
Eilik – Interaktiver Desktop Roboter mit Persönlichkeit, lebendigen Animationen & Reaktionen, Touch-Steuerung, Mini-Spiele, emotionaler Roboter Freund und besonderes Geschenk für Kinder & Erwachsene
  • 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
Plantbot Upgraded Large Smart Flower Pot Pet Planter Robot with Artificial Intelligence, Time Temperature Display, and Numerous Expressive Animations Based, for Indoor Decoration, Gifts (White)
53 Bewertungen
Plantbot Upgraded Large Smart Flower Pot Pet Planter Robot with Artificial Intelligence, Time Temperature Display, and Numerous Expressive Animations Based, for Indoor Decoration, Gifts (White)
  • 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
Loona KEYI Premium Haustier-Roboter mit Ladestation (Smarte AI ChatGPT-4o, Stimmen- & Gestensteuerung, Echtzeit-Interaktion, Heimüberwachung)
946 Bewertungen
Loona KEYI Premium Haustier-Roboter mit Ladestation (Smarte AI ChatGPT-4o, Stimmen- & Gestensteuerung, Echtzeit-Interaktion, Heimüberwachung)
  • V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.

Hat Ihnen der Artikel bzw. die News - OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen - gefallen? Dann abonnieren Sie uns doch auf Insta: AI News, Tech Trends & Robotics - Instagram - Boltwise

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!





Folgen Sie aktuellen Beiträge über KI & Robotik auf Twitter, Telegram, Facebook oder LinkedIn!
Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. IT BOLTWISE® schließt jegliche Regressansprüche aus.









Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de. Da wir bei KI-erzeugten News und Inhalten selten auftretende KI-Halluzinationen nicht ausschließen können, bitten wir Sie bei Falschangaben und Fehlinformationen uns via eMail zu kontaktieren und zu informieren. Bitte vergessen Sie nicht in der eMail die Artikel-Headline zu nennen: "OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen".
Stichwörter AI API Artificial Intelligence Bildklassifikation ChatGPT Csam Entwicklerleitfaden KI Konto-sperre Künstliche Intelligenz Moderation Ncmec OpenAI Sicherheit Strafverfolgung

Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen" für unsere Leser?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

  • Die aktuellen intelligenten Ringe, intelligenten Brillen, intelligenten Uhren oder KI-Smartphones auf Amazon entdecken! (Sponsored)


  • Es werden alle Kommentare moderiert!

    Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.

    Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.

    Du willst nichts verpassen?

    Du möchtest über ähnliche News und Beiträge wie "OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
    Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »OpenAI startet CSAM-Detektion und neue ChatGPT-Warnungen« bei Google Deutschland suchen, bei Bing oder Google News!


    653 Leser gerade online auf IT BOLTWISE
    KI-Schutz gegen Hacker #Sophos
    Filme über KI #AmazonPrime
    Das ChatGPT-Handbuch #Bestseller
    KI-Jobs