Neue Sicherheitsansätze zur Verhinderung von Jailbreaks bei KI-Modellen
Mindverse News
KI-gestützt erstellt 9 Quellen Arbeitsweise
// Inhalt · 4 Abschnitte
Neue Sicherheitsmethode von Anthropic soll KI-Modelle vor Jailbreaks schützen
Das KI-Unternehmen Anthropic hat eine neue Sicherheitsmethode namens "Constitutional Classifiers" entwickelt, um KI-Sprachmodelle vor Manipulationsversuchen zu schützen. Diese Technologie zielt speziell auf sogenannte "Universal Jailbreaks" ab – Eingaben, die darauf ausgelegt sind, systematisch alle Sicherheitsmaßnahmen zu umgehen und das KI-Modell zu unerwünschten Antworten zu verleiten.
Um die Wirksamkeit des Systems zu testen, führte Anthropic über zwei Monate hinweg einen Wettbewerb mit 183 Teilnehmern durch. Diese versuchten, das KI-Modell Claude 3.5 dazu zu bringen, zehn verbotene Fragen zu beantworten. Trotz eines Preisgeldes von 15.000 US-Dollar und rund 3.000 Teststunden gelang es keinem der Teilnehmer, alle Sicherheitsmaßnahmen zu überwinden.
Anfängliche Herausforderungen und Verbesserungen
Die erste Version der "Constitutional Classifiers" wies zwei wesentliche Nachteile auf: Sie stufte zu viele harmlose Anfragen als gefährlich ein und benötigte zu viel Rechenleistung. Eine verbesserte Version behob diese Probleme, wie automatisierte Tests mit 10.000 Jailbreak-Versuchen zeigten. Dennoch bleiben einige Herausforderungen bestehen.
Die Tests ergaben, dass ein ungeschütztes Claude-Modell 86 Prozent der Manipulationsversuche zuließ, während die geschützte Version mehr als 95 Prozent blockierte. Das System stufte lediglich zusätzliche 0,38 Prozent der harmlosen Anfragen fälschlicherweise als gefährlich ein, benötigt aber immer noch 23,7 Prozent mehr Rechenleistung.
Funktionsweise der "Constitutional Classifiers"
Das Sicherheitssystem basiert auf vordefinierten Regeln darüber, welche Inhalte erlaubt oder verboten sind. Anhand dieser "Verfassung" erstellt es synthetische Trainingsbeispiele in verschiedenen Sprachen und Stilen. Diese Beispiele trainieren dann die Klassifikatoren, verdächtige Eingaben zu erkennen.
Die Forscher räumen ein, dass das System nicht gegen jeden universellen Jailbreak immun ist und neue Angriffsmethoden entstehen könnten, mit denen es nicht umgehen kann. Daher empfiehlt Anthropic, es zusammen mit anderen Sicherheitsmaßnahmen zu verwenden.
Öffentliche Testphase für Sicherheitsexperten
Um die Robustheit des Systems weiter zu testen, hat Anthropic eine öffentliche Demo-Version veröffentlicht. Sicherheitsexperten konnten vom 3. bis 10. Februar 2025 versuchen, das System zu überlisten. Die Ergebnisse sollen in einem Update veröffentlicht werden.
Die Entwicklung von robusten Sicherheitsmechanismen ist entscheidend für den verantwortungsvollen Einsatz von KI-Sprachmodellen. Anthropics "Constitutional Classifiers" stellen einen vielversprechenden Ansatz dar, um Missbrauch zu verhindern und die Sicherheit von KI-Systemen zu gewährleisten. Die weitere Forschung und Entwicklung in diesem Bereich wird entscheidend sein, um mit den sich ständig weiterentwickelnden Bedrohungen Schritt zu halten.
Bibliography:
- https://venturebeat.com/security/anthropic-claims-new-ai-security-method-blocks-95-of-jailbreaks-invites-red-teamers-to-try/
- https://the-decoder.com/anthropics-ai-security-system-blocks-95-of-jailbreak-attempts-in-tests/
- https://www.anthropic.com/news/constitutional-classifiers
- https://cybernews.com/security/anthropic-system-guarding-ai-models-against-jailbreaks/
- https://www.techzine.eu/news/applications/128391/anthropic-challenges-users-to-jailbreak-ai-model/
- https://arstechnica.com/ai/2025/02/anthropic-dares-you-to-jailbreak-its-new-ai-model/
- https://www.marktechpost.com/2025/02/03/anthropic-introduces-constitutional-classifiers-a-measured-ai-approach-to-defending-against-universal-jailbreaks/
- https://bgr.com/tech/anthropic-dares-you-to-try-to-jailbreak-claude-ai/
- https://opentools.ai/news/anthropic-unveils-revolutionary-constitutional-classifiers-to-combat-ai-jailbreaking
//Nächster Artikel
Bild & Video
FlashVSR+: Effiziente 4K-Video-Super-Resolution durch hybride Attention und Reward-DistillationFlashVSR+ ermöglicht ungekachelte 4K-Video-Super-Resolution auf einer RTX 4090 durch hybride Attention und Reward-Yield Distribution Matching.

// Artikel teilen
Mehr zu KI & Cybersicherheit
Alle Cybersicherheit-News- Rechenleistung statt Direktkapital: Wie Nvidia mit 250 Millionen US-Dollar die britische Sicherheitsforschung für KI-Agenten prägt
Nvidia sagt Großbritannien 250 Mio. US-Dollar an Rechenleistung für die Sicherheitsforschung zu KI-Agenten zu. Analyse der Technik und Strategie.
- Blockierte Cyberabwehr: Warum strikte KI-Guardrails Sicherheitsteams behindern und wie Spezialmodelle wie Orion-1 gegensteuern
Artemis Security stellt das Abwehrmodell Orion-1 vor, während strikte KI-Guardrails von OpenAI und Anthropic Sicherheitsteams im Alltag blockieren.
- Autonome KI-Agenten, Sicherheitsvorfälle und neue Spitzenmodelle: Strategische Analyse zu Muse Wonder, OpenAI und globaler Regulierung
Analyse aktueller KI-Entwicklungen: Metas Muse Wonder, Sicherheitsvorfälle bei OpenAI, selbstreplizierende Agenten, Chip-Strategien und KI-Regulierung.
- KI-Sicherheit und autonome Cyberrisiken: Warum offene Briefe den Technologiewettlauf nicht bremsen
Von KI-Appellen seit 2015 bis zum autonomen Hackerangriff 2026: Warum offene Briefe den KI-Wettlauf nicht bremsen und was das für Ihre IT-Sicherheit bedeutet.
// Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Passend dazu in Mindverse Studio
- KI-Chat mit allen führenden ModellenGPT, Claude und Gemini in einer Oberfläche — mit Websuche und Quellenangaben.
- Eigene Modelle und Assistenten trainierenBilden Sie einen digitalen Marken-Experten auf Ihrem Wissen aus.
- Prozesse mit KI-Workflows automatisierenVisuelle Automatisierung wiederkehrender Abläufe — mit Freigabeschritten.
Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.
7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.
//Chronik
Aus dem Archiv · rund um den 7. Februar 2025
← Davor erschienen