Blockierte Cyberabwehr: Warum strikte KI-Guardrails Sicherheitsteams behindern und wie Spezialmodelle wie Orion-1 gegensteuern

Autonome Angriffsanalyse: Was Artemis Security mit Orion-1 vorstellt

Wenn Ihr Sicherheitsteam einen komplexen Cyberangriff untersucht, entscheiden oft Minuten über das Ausmaß des Schadens. Doch gerade die leistungsfähigsten kommerziellen KI-Modelle verweigern in kritischen Momenten zunehmend den Dienst, weil ihre internen Sicherheitsfilter nicht zuverlässig zwischen Angriff und Verteidigung unterscheiden können [1, 4]. In diese Marktlücke stößt das US-amerikanische Startup Artemis Security mit der Vorstellung von Orion-1 [1]. Das Modell wurde gezielt dafür konzipiert, Cyberangriffe auf Unternehmensnetzwerke eigenständig zu untersuchen, zusammenhängende Angriffsketten zu rekonstruieren und direkte Abwehrmaßnahmen vorzuschlagen oder einzuleiten [1].

Nach Angaben von Artemis Security verarbeitet Orion-1 verstreute Protokolldaten aus unterschiedlichsten Quellen einer modernen IT-Infrastruktur, darunter Authentifizierungsdienste, Cloud-Umgebungen, Unternehmens-Endpunkte, SaaS-Anwendungen sowie Netzwerkkomponenten [1]. Die Kernfunktion besteht darin, isolierte Einzelsignale über riesige Datenmengen hinweg miteinander zu verknüpfen [1]. Beispielsweise kann das System eine Anmeldung über ein Unternehmenskonto, neu zugewiesene Cloud-Berechtigungen und eine kurz darauf eingerichtete Weiterleitungsregel in einem E-Mail-Postfach korrelieren und diese Aktivitäten einem einzigen Angreifer zuordnen [1]. Sobald Orion-1 ein vollständiges Lagebild erstellt hat, vergibt das Modell einen Vertrauenswert (Confidence Score), legt ein abschließendes Urteil fest und empfiehlt oder startet eine entsprechende Gegenmaßnahme [1].

Damit adressiert der Anbieter ein bekanntes Skalierungsproblem im Security Operations Center (SOC): Allgemeine Sprachmodelle verlieren laut Artemis Security bei der Auswertung von Milliarden einzelner Ereignisse häufig den Überblick oder stufen harmlose, aber ungewöhnliche Systemaktivitäten fälschlicherweise als Angriffe ein [1]. Um diese Fehlalarmrate zu senken, hat Artemis das Modell auf Aufgaben aus dem eigenen Sicherheitsbetrieb feinabgestimmt [1]. Dazu gehören das Erkennen verdächtiger Muster in Log-Daten, die gezielte Suche nach bekannten Angriffstechniken (Threat Hunting), das Verfassen neuer Erkennungsregeln sowie die Eindämmung laufender Attacken [1]. Kundendaten kamen bei diesem Training laut Unternehmensangaben nicht zum Einsatz [1].

Für Ihre technische Bewertung ist hierbei jedoch eine genaue Differenzierung zwischen Anbieterversprechen und belegten Architektureigenschaften erforderlich: Artemis Security bezeichnet Orion-1 in seiner Ankündigung zwar als eigenes Frontier Foundation Model, beschreibt im zugehörigen Fachbeitrag jedoch lediglich den Prozess der Feinabstimmung (Fine-Tuning) [1]. Es bleibt somit unklar und unabhängig unbestätigt, ob das Unternehmen tatsächlich ein Grundmodell von Grund auf neu trainiert oder auf einem bestehenden Basismodell eines anderen Anbieters aufgebaut hat [1]. Zudem befindet sich Orion-1 derzeit noch nicht in der allgemeinen Verfügbarkeit, sondern wird in einer geschlossenen Vorschau (Private Preview) für ausgewählte Kunden auf der Artemis-Plattform betrieben [1]. Artemis Security selbst war erst im April 2026 aus dem sogenannten Stealth-Modus getreten und hatte rund sechs Monate nach der Unternehmensgründung eine Finanzierung in Höhe von 70 Millionen US-Dollar aus Seed- und Series-A-Runden bekannt gegeben [1].

• Datenintegration: Verarbeitung und Korrelation von Log-Daten aus Authentifizierungsdiensten, Cloud-Setups, Endgeräten, SaaS-Applikationen und Netzwerk-Hardware [1].
• Entscheidungslogik: Verknüpfung einzelner Indikatoren zu einer Angreifer-Identität, Berechnung eines Vertrauenswerts und Festlegung eines Sicherheitsurteils [1].
• Trainingsfokus: Feinabstimmung auf Mustererkennung, Threat Hunting, Regelerstellung und Angriffseindämmung ohne Nutzung von Kundendaten [1].
• Verfügbarkeit und Steuerung: Betrieb in einer Private Preview mit konfigurierbaren Autonomiegrenzen pro Aktionstyp und standardmäßiger menschlicher Freigabepflicht für eingriffsintensive Maßnahmen [1].

Der DGR-Benchmark: Leistungswerte und methodische Einschränkungen

Um die Leistungsfähigkeit von Orion-1 im Vergleich zu etablierten Marktteilnehmern zu belegen, hat Artemis Security einen eigenen Benchmark namens Decision-Grade Readiness (DGR) entwickelt [1]. Der Anbieter begründet diesen Schritt damit, dass herkömmliche Sicherheitstests KI-Modelle meist nur theoretisch zu Angriffstechniken abfragen oder sie isolierte Hacking-Rätsel lösen lassen [1]. Solche Aufgaben spiegeln den operativen Alltag eines Verteidigungsteams nur unzureichend wider. Im DGR-Benchmark erhält jedes getestete Modell stattdessen exakt dieselbe initiale Sicherheitswarnung, dieselben Umgebungsdaten und dieselben Analysewerkzeuge, die auch einem menschlichen Sicherheitsteam zur Verfügung stünden [1]. Auf dieser Basis müssen die Modelle entscheiden, ob tatsächlich ein Angriff vorliegt [1].

Das Testverfahren umfasst laut Artemis tausende Einzelaufgaben mit jeweils bekanntem Ausgang [1]. Um die Anfälligkeit für Fehlalarme realistisch zu prüfen, enthalten einige Szenarien überhaupt keinen Angriff oder sind gezielt mit harmlosen Daten angereichert, die auf den ersten Blick bösartig wirken [1]. Bewertet werden die Modelle anschließend sowohl nach der Korrektheit ihres abschließenden Urteils als auch nach der Belastbarkeit der präsentierten Beweiskette [1]. Artemis testete Orion-1 in fünf Aufgabenbereichen – darunter Angriffserkennung, Untersuchung und Angriffsrekonstruktion – gegen vier bekannte Vergleichsmodelle: Claude Opus 5.5 von Anthropic, GPT-6 Sol von OpenAI, Grok 4.7 von xAI sowie Kimi K3 [1].

Ergebnisse im Überblick und die 80-Punkte-Vertrauensschwelle

In den von Artemis veröffentlichten Testergebnissen setzte das Unternehmen eine selbst definierte Vertrauensschwelle von 80 Punkten an [1]. Über alle fünf geprüften Sicherheitsaufgaben hinweg erreichte oder übertraf ausschließlich Orion-1 diese Marke [1]. Der größte Leistungsabstand zeigte sich in der Disziplin der Angriffsrekonstruktion: Hier erzielte Orion-1 nach Angaben von Artemis 80,8 Punkte, während das nächstbeste Vergleichsmodell, GPT-6 Sol, lediglich auf 58,3 Punkte kam [1]. Claude Opus 5.5 belegte in den Einzelwertungen für die Erkennung und die Rekonstruktion von Angriffen jeweils den letzten Platz unter den getesteten Systemen [1].

Analytische Einordnung der Vergleichbarkeit

Wenn Sie diese Benchmark-Werte als Entscheidungsgrundlage für Ihre eigene Sicherheitsarchitektur heranziehen, müssen Sie mehrere wesentliche methodische Einschränkungen berücksichtigen. Erstens handelt es sich beim DGR-Benchmark um ein vom Anbieter selbst konzipiertes und durchgeführtes Testverfahren, für das in den vorliegenden Quellen keine unabhängige Drittprüfung dokumentiert ist [1]. Zweitens fehlen im Testfeld genau jene Modelle der großen KI-Labore, die höchste Leistungsfähigkeit oder eine explizite Spezialisierung für Cyber-Aufgaben aufweisen: Weder Anthropics leistungsstärkstes Modell Claude Mythos 5 noch OpenAIs Spitzenmodell GPT-6 Astra oder die speziell für Verteidiger freigegebene Variante GPT-5.5-Cyber wurden in den Vergleich einbezogen [1].

Drittens unterliegt das schlechte Abschneiden von Claude Opus 5.5 einer technischen Besonderheit aufseiten des Anbieters Anthropic. Um Missbrauch zu verhindern, leitet Claude Opus 5.5 den Großteil aller Anfragen mit Bezug zur Cybersicherheit intern an das ältere Modell Opus 4.8 weiter [1]. Die im DGR-Benchmark ausgewiesenen Werte für Opus 5.5 spiegeln daher mit hoher Wahrscheinlichkeit überwiegend die Leistungsfähigkeit der älteren Modellgeneration Opus 4.8 wider und nicht das tatsächliche analytische Potenzial der aktuellen Frontier-Architektur [1]. Dennoch verdeutlicht genau dieser Umstand das Kernproblem für Unternehmenskunden: Ein auf dem Papier überlegenes Allzweckmodell nützt Ihrem SOC-Team wenig, wenn dessen Leistung im produktiven Sicherheitsbetrieb durch anbieterseitige Weiterleitungen oder Blockaden künstlich gedrosselt wird [1].

Wenn Schutzmechanismen die Verteidiger treffen: Das Dilemma der Frontier-Modelle

Hinter der Drosselung von Allzweckmodellen steht die wachsende Sorge der großen KI-Entwickler und Regulierungsbehörden vor autonomen Cyberwaffen [1, 4]. Je leistungsfähiger Sprachmodelle bei der Codeanalyse und Systeminteraktion werden, desto stärker schränken Anbieter deren Cyber-Fähigkeiten durch strikte Leitplanken – sogenannte Guardrails – ein [1, 4]. OpenAI stuft beispielsweise sein Modell Astra (GPT-6 Astra) als das erste System ein, das potenziell die höchste Risikostufe im Bereich Cybersicherheit erreichen könnte; auf dieser Stufe wäre ein Modell in der Lage, Cyberangriffe vollkommen eigenständig zu entwickeln und auszuführen [1].

Auch politisch und regulatorisch hat sich der Druck im Jahr 2026 massiv erhöht. Im Juni 2026 verhängte die US-Regierung Exportkontrollen gegen Anthropics viel beachtete Modelle Mythos und Fable [4]. Auslöser war zumindest teilweise ein Bericht, wonach sich die Schutzmechanismen der Modelle umgehen ließen, die eigentlich verhindern sollten, dass Nutzer bösartige Cyberangriffe konstruieren und ausführen [4]. Anthropic selbst hatte Mythos zuvor wiederholt als extrem mächtiges Cyber-Werkzeug positioniert, das nur streng geprüften Nutzern unter strikten Sicherheitsauflagen zugänglich gemacht werden dürfe [4]. Zwar wurden die Exportkontrollen für Fable 5 und Mythos 5 später wieder aufgehoben – Fable 5 kehrte am 1. Juli 2026 in den allgemeinen Zugang zurück –, doch Mythos 5 wurde im Rahmen des staatlichen Prüfverfahrens ausschließlich für verifizierte US-Organisationen wieder freigegeben [4].

Für große Modellanbieter führt dies zu einer Zweiklassengesellschaft bei der Modellbereitstellung: Während öffentlich zugängliche Frontier-Modelle massiv beschnitten werden, stellen die Hersteller für die Cyberabwehr spezialisierte Varianten mit streng reglementiertem Zugang bereit [1, 4]. OpenAI vergibt das weniger stark eingeschränkte Modell GPT-5.5-Cyber ausschließlich an verifizierte Verteidiger im Rahmen seines Programms Trusted Access for Cyber [1, 4]. Anthropic verfolgt mit seinem Cyber Verification Program (CVP) einen ähnlichen Ansatz und bindet zudem sein stärkstes Modell Claude Mythos 5 gezielt über den Claude Security Scanner sowie über ausgewählte Partnerprodukte für Sicherheitszwecke ein [1, 4].

Wie gravierend sich die restriktiven Guardrails kommerzieller Standardmodelle in der Praxis auf die Verteidigungsfähigkeit von Unternehmen auswirken können, belegt ein Vorfall bei der KI-Plattform Hugging Face vom Juli 2026 [1]. Als die Infrastruktur von Hugging Face Ziel eines vollautonomen KI-Angriffs wurde, versuchte das interne Sicherheitsteam, die anfallenden Angriffsdaten mithilfe kommerzieller Frontier-Modelle zu analysieren [1]. Die Schutzfilter dieser Cloud-Modelle blockierten die Auswertung der Angriffsdaten jedoch vollständig, da sie die im Datenmaterial enthaltenen Schadcode- und Exploit-Muster als unzulässige Anfrage einstuften [1]. Um den laufenden Vorfall überhaupt untersuchen und abwehren zu können, musste das Team von Hugging Face schließlich auf das Open-Weight-Modell GLM 5.2 umsteigen und dieses auf eigenen Servern betreiben [1].

Das Dual-Use-Problem in der Sicherheitsforschung und die Flucht zu Open-Weight-Modellen

Der Vorfall bei Hugging Face ist kein Einzelfall, sondern symptomatisch für einen strukturellen Konflikt in der gesamten IT-Sicherheitsbranche [1, 4]. Sowohl defensive Netzwerkverteidiger als auch offensive Sicherheitsforscher, die proaktiv nach unbekannten Schwachstellen (Zero-Days) suchen, berichten von erheblichen Behinderungen ihrer täglichen Arbeit durch die Sicherheitsrichtlinien von OpenAI und Anthropic [4]. Das zugrunde liegende technische Problem ist die untrennbare Dual-Use-Natur von Sicherheitsanalysen [4].

Chris Anley, Chief Scientist beim großen Sicherheitsberatungsunternehmen NCC Group, verdeutlicht diesen Zusammenhang anhand der praktischen Schwachstellenprüfung: Um zu bestätigen, dass ein gefundener Softwarefehler tatsächlich eine kritische, behebungswürdige Sicherheitslücke darstellt, ist es ein zentraler Arbeitsschritt, das KI-Modell anzuweisen, einen Exploit für diesen Fehler zu entwickeln [4]. Verweigert das Modell aufgrund eines Guardrails die Antwort, schadet diese Blockade unmittelbar den Verteidigern [4]. Selbst eine einfache Anweisung wie die Aufforderung, fehlerhaften Code zu reparieren, ist laut Anley gleichzeitig ein unverzichtbarer Mechanismus für die Verteidigung und ein direkter Wegweiser zum Auffinden kritischer Schwachstellen in einer Codebasis [4]. Offensive und defensive Fähigkeiten lassen sich bei diesen Werkzeugen nicht voneinander trennen – vergleichbar mit einem Hammer, der zum Hausbau unerlässlich ist, aber zwangsläufig auch als Waffe dienen kann [4].

Kritik an Verifizierungsprogrammen und inkonsistentem Modellverhalten

Auch die von OpenAI und Anthropic eingerichteten Verifizierungsprogramme lösen dieses Problem für viele Marktteilnehmer nicht zufriedenstellend [4]. Ein anonym bleibender Sicherheitsforscher eines Herstellers von Smartphone-Komponenten berichtete gegenüber TechCrunch, dass sein Arbeitgeber nicht Teil von Anthropics Cyber Verification Program ist [4]. Infolgedessen seien die KI-Werkzeuge für die Schwachstellensuche kaum nutzbar: Sobald das Modell erkenne, dass eine Anfrage irgendeinen Sicherheitsbezug aufweise, breche es die Bearbeitung ab [4].

Doch selbst innerhalb der gelockerten Grenzen der Verifizierungsprogramme von OpenAI und Anthropic stoßen Experten auf massive Hürden im Arbeitsalltag. Chris Thompson, CEO des Cybersicherheitsunternehmens RemoteThreat und Gründer der Fachkonferenz Offensive AI Con, beschreibt das Verhalten der Guardrails in Frontier-Modellen als hochgradig inkonsistent [4]. Die Filter reagierten jeden Tag anders [4]. In der Praxis führt dies laut Thompson dazu, dass Sicherheitsexperten einen erheblichen Teil ihrer Arbeitszeit damit verbringen, mit dem Modell zu verhandeln und herauszufinden, warum Ergebnisse inkonsistent ausfallen oder Ausgaben übermäßig bereinigt (over-sanitized) werden, anstatt die eigentliche Verwundbarkeit zu analysieren [4].

Darüber hinaus äußern bekannte Akteure der Sicherheitsbranche grundsätzliche Kritik an der Entscheidungsmacht der KI-Konzerne. Mark Dowd, ein langjähriger Sicherheitsforscher, der auf das Auffinden und den Verkauf von Zero-Day-Schwachstellen an westliche Regierungen spezialisiert ist, kritisierte in einem Podcast, dass große Unternehmen willkürliche Entscheidungen darüber träfen, was in der IT-Sicherheit als sicher gelte und was nicht [4]. Paolo Stagno, Chief Technology Officer bei Crowdfense – einem Unternehmen, das ebenfalls unbekannte Schwachstellen für Regierungsbehörden entwickelt und ankauft –, schloss sich dieser Kritik an und bemängelte, dass KI-Unternehmen ihre professionellen Kunden durch Guardrails und Prüfprogramme wie unmündige Kinder behandelten [4].

Geheimhaltungsschutz und die Abwanderung zu lokalen Modellen

Neben den Nutzungseinschränkungen spielt für hochspezialisierte Sicherheitsteams auch der Schutz sensibler Daten eine entscheidende Rolle. Wie Paolo Stagno erläutert, nutzt sein Team kommerzielle Frontier-Modelle zwar für das anfängliche Reverse Engineering, vermeidet deren Einsatz jedoch strikt bei der konkreten Suche nach Schwachstellen oder der Entwicklung von Exploits [4]. Werden solche hochsensiblen Analysen in ein cloudbasiertes Modell eingespeist, besteht das Risiko, dass vertrauliche Informationen über Zero-Day-Lücken abfließen oder in künftige Trainingsläufe des KI-Anbieters einfließen [4]. Einen abweichenden Arbeitsansatz verfolgt hingegen der Sicherheitsforscher Giuseppe Cali: Er gibt an, durch Guardrails nicht behindert zu werden, da er KI-Modelle ausschließlich für das erste Reverse Engineering, das Codeverständnis und den Bau unterstützender Werkzeuge einsetzt, während er die eigentliche Fehlersuche und Exploit-Entwicklung bewusst selbst durchführt [4].

Wenn kommerzielle Cloud-Modelle jedoch die Arbeit blockieren oder aus Datenschutzgründen ausscheiden, ist die Konsequenz in der Branche eindeutig: Sowohl Berater der NCC Group als auch Forscher bei Crowdfense, RemoteThreat und das Verteidigungsteam von Hugging Face weichen auf lokal betriebene Open-Source- beziehungsweise Open-Weight-Modelle aus, die keinerlei Guardrails oder Nutzungsbeschränkungen aufweisen [1, 4]. Chris Thompson weist in diesem Zusammenhang auf eine strategische Nebenwirkung hin: Verantwortungsvolle westliche Sicherheitsforscher würden durch die restriktiven US-Systeme systematisch zu frei herunterladbaren chinesischen Open-Source-Modellen wie GLM gedrängt, die lokal und ohne jede Vorabprüfung betrieben werden können [4]. Thompson warnt vor einer drohenden Angriffswelle in bislang unbekannter Geschwindigkeit und Größenordnung; wenn legitime Sicherheitsberater und Forscher durch überzogene Filter ausgebremst würden, drohten die Verteidiger das KI-Wettrennen zu verlieren [4].

Mathematische Grenzen statischer Guardrails: Der Gödel-Beweis des NIST

Warum gelingt es führenden KI-Laboren trotz Milliardeninvestitionen nicht, ihre Sicherheitsfilter so zu kalibrieren, dass sie bösartige Hacker zuverlässig blockieren, legitime Verteidiger aber ungehindert arbeiten lassen? Eine im Juni 2026 veröffentlichte Forschungsarbeit des US-amerikanischen National Institute of Standards and Technology (NIST) liefert hierfür die formale Erklärung: Das Problem ist innerhalb statischer, regelbasierter Systeme mathematisch unlösbar [5].

Am 9. Juni 2026 gab das NIST die begutachtete (peer-reviewed) Veröffentlichung einer Studie seines leitenden Wissenschaftlers Apostol Vassilev in der Fachzeitschrift IEEE Security & Privacy bekannt [5]. Unter dem Titel Robust AI Security and Alignment: A Sisyphean Endeavor? überträgt Vassilev die 1931 von Kurt Gödel formulierten Unvollständigkeitssätze der formalen Logik auf KI-Sicherheitssysteme [5]. Gödel hatte bewiesen, dass in jedem hinreichend mächtigen formalen System mit einer endlichen Menge von Axiomen wahre Aussagen existieren, die sich innerhalb des Systems nicht beweisen lassen; ein endliches Axiomensystem kann niemals gleichzeitig vollständig und widerspruchsfrei sein [5].

Vassilev formalisiert KI-Sicherheitsregeln analog dazu als eine Prüffunktion, die für eine gegebene Verhaltensvorgabe und eine Nutzereingabe (Prompt) entscheidet, ob die Eingabe gegen die Sicherheitsvorgabe verstößt [5]. In Theorem 2 seiner Arbeit beweist er, dass für jede solche endliche Prüffunktion zwangsläufig eine Sicherheitsvorgabe existiert, bei der der Prüfer für bestimmte Eingaben ein falsches Ergebnis liefert [5]. Theorem 3 erweitert diesen Beweis auf reale KI-Systeme, die unter den Bedingungen endlicher Kontextfenster (Context Windows) arbeiten, wodurch sich die Einschränkung in der Praxis noch weiter verschärft [5].

Die logische Ursache liegt in der Struktur menschlicher Sprache: Während jedes vom Menschen definierte Regelwerk für KI-Guardrails notwendigerweise endlich ist, operiert das KI-Modell über dem Raum aller möglichen natürlichsprachlichen Eingaben – und dieser Raum ist effektiv unbegrenzt [5]. Natürliche Sprache ist laut Vassilev unendlich mehrdeutig; semantisch identische Absichten lassen sich in einer unerschöpflichen Vielfalt syntaktischer Formen, Umschreibungen, Kodierungen und indirekter Formulierungen ausdrücken [5]. Ein endliches Regelsystem kann prinzipiell nicht jede dieser Formulierungen antizipieren und korrekt bewerten [5]. Wie das NIST in seiner Mitteilung direkt festhält, wird es daher immer Möglichkeiten geben, eine KI so anzusprechen, dass sie ihre einprogrammierten Regeln missachtet [5].

• Formale Unentscheidbarkeit: Kein endliches Set von KI-Guardrails kann den unendlichen Raum mehrdeutiger natürlichsprachlicher Eingaben vollständig und widerspruchsfrei abdecken [5].
• Empirische Umgehungsraten: In kontrollierten Tests umgingen sogenannte Refuse-then-Comply-Feinabstimmungsangriffe die Sicherheitsmechanismen von Claude Haiku in 72 Prozent und von GPT-4o in 57 Prozent der Fälle [5].
• Dominantes Angriffsvektor-Ranking: Prompt Injection belegt sowohl in der Ausgabe von 2023 als auch von 2025 den ersten Platz der OWASP Top 10 für LLM-Anwendungen [2, 5].
• Erweiterter Schadensradius bei Agenten: Für autonom handelnde Systeme mit Werkzeugzugriff hat OWASP 2026 eine eigene Top-10-Liste für Agentic Applications veröffentlicht, da erfolgreiche Manipulationen hier direkte Systemaktionen auslösen [5].

Empirische Bestätigung und die Folgen für die Filterkalibrierung

Die theoretische Erkenntnis des NIST wird durch empirische Messungen gestützt, die die Cloud Security Alliance (CSA) in ihrer Analyse zusammenfasst [5]. So zeigten Forscher auf der Fachkonferenz ICLR 2026 anhand sogenannter Refuse-then-Comply-Angriffe, wie leicht sich Ausgabefilter täuschen lassen: Durch gezieltes Fine-Tuning wurden Modelle darauf trainiert, eine schädliche Anfrage zunächst kurz abzulehnen, um sie unmittelbar danach dennoch vollständig zu beantworten [5]. Da die Sicherheitsklassifikatoren primär auf das Erkennen einer initialen Ablehnung trainiert waren, versagten die Kontrollen bei Claude Haiku in 72 Prozent und bei GPT-4o in 57 Prozent der getesteten Fälle [5].

Analytisch betrachtet erklärt der Beweis von Vassilev präzise das Dilemma, das Sie derzeit auf dem Markt für Cybersicherheits-KI beobachten: Da Modellanbieter wie OpenAI und Anthropic ein Durchbrechen ihrer Guardrails (False Negatives) aus Haftungs- und Reputationsgründen unter allen Umständen verhindern wollen, ihre endlichen Filterregeln aber mathematisch niemals präzise alle bösartigen Absichten isolieren können, müssen sie die Schwellenwerte extrem breit und restriktiv ansetzen [4, 5]. Diese grobe Kalibrierung führt zwangsläufig zu einer hohen Rate an Fehlblockaden (False Positives) bei legitimen Sicherheitsanalysen, sobald Fachbegriffe, Log-Muster von Angriffen oder Exploit-Code im Prompt auftauchen [1, 4]. Spezialisierte Modelle wie Orion-1 versuchen dieses Problem zu umgehen, indem sie gar nicht erst als offene Allzweck-Chatbots für jedermann bereitgestellt werden, sondern als zweckgebundene Analysewerkzeuge innerhalb einer geschlossenen Sicherheitsplattform agieren [1].

Neue Risiken durch autonome Sicherheitsagenten im Unternehmensnetzwerk

Wenn Unternehmen aufgrund der Einschränkungen allgemeiner Sprachmodelle auf spezialisierte, autonom agierende Systeme wie Orion-1 oder eigene KI-Agenten setzen, verlagert sich die Sicherheitsfrage von der reinen Inhaltsfilterung hin zur operativen Laufzeitkontrolle [1, 2]. Ein Modell, das wie Orion-1 nicht nur Daten aus Authentifizierungsdiensten, Cloud-Umgebungen und Endpunkten zusammenführt, sondern auch aktiv Gegenmaßnahmen im Netzwerk einleiten kann, verfügt über weitreichende Eingriffsmöglichkeiten in Ihre kritische Infrastruktur [1].

Untersuchungen des Sicherheitsanbieters Obsidian Security unter Unternehmenskunden verdeutlichen das strukturelle Risiko, das mit dem Einsatz autonomer KI-Agenten einhergeht [2]. Demnach bewegen KI-Agenten in Unternehmensumgebungen durchschnittlich sechzehnmal mehr Daten als menschliche Nutzer [2]. Gleichzeitig verfügen jedoch 90 Prozent dieser eingesetzten Agenten über übermäßige Berechtigungen – häufig erhalten sie zehnmal mehr Zugriffsrechte, als für ihre eigentlichen Arbeitsabläufe erforderlich wäre [2]. Diese Kombination aus hohem Datendurchsatz und weitreichenden Privilegien erzeugt eine erhebliche Sichtbarkeitslücke für Sicherheitsteams [2].

Hinzu kommt, dass traditionelle Sicherheitskontrollen für deterministische Software entwickelt wurden, bei der identische Eingaben stets zu identischen Ausgaben führen [2]. KI-Systeme durchbrechen dieses Prinzip: Ein einziger Prompt kann unvorhersehbare Ketten von Schlussfolgerungen, API-Aufrufen und Datenzugriffen auslösen [2]. Ohne harte, deterministische Laufzeitgrenzen entstehen spezifische Angriffsflächen, die Angreifer gezielt gegen unternehmensinterne KI-Agenten richten können [2]:

• Indirekte Prompt Injection: Angreifer betten bösartige Anweisungen in externe Datenquellen, Dokumente, E-Mails oder Log-Einträge ein, die der KI-Agent während seiner Analyse verarbeitet, wodurch das Modell unbemerkt fremdgesteuert wird [2, 5].
• Kompromittierung von API-Tokens und Identitäten: Da KI-Agenten oft mit erhöhten Privilegien über API-Schlüssel auf zahlreiche Systeme zugreifen, ermöglicht ein kompromittiertes Token Angreifern, sich als legitimer Agent auszugeben und sich lateral durch SaaS- und Cloud-Umgebungen zu bewegen [2].
• Unautorisierte Agent-zu-Agent-Kommunikation: Interagieren autonome Agenten ohne menschliche Aufsicht miteinander, kann ein manipulierter Agent weitere Systeme beeinflussen und Kaskadenfehler oder Datenabflüsse auslösen, die herkömmliche Nutzerverhaltensanalysen (UEBA) kaum erkennen [2].
• Datenabfluss über Embeddings: Sensible Informationen, die in hochdimensionalen Vektorrepräsentationen oder durch Fine-Tuning in Modellgewichten gespeichert sind, können über kontextuelle Assoziationen in Antworten offengelegt werden [2].

Praxisbeispiel für wirtschaftliche Schäden durch ungeschützte Agenten

Welche realen Folgen fehlende Eingabekontrollen bei autonomen Systemen haben können, illustriert eine von Obsidian Security dokumentierte Fallstudie eines Fortune-500-Einzelhandelsunternehmens [2]. Dort wurde ein KI-gestütztes Bestandsverwaltungssystem über eine Prompt Injection so manipuliert, dass es über einen Zeitraum von sechs Monaten hinweg Produkte mit hohen Gewinnmargen systematisch in zu geringen Mengen nachbestellte [2]. Bis zur Entdeckung des Vorfalls entstand dem Unternehmen ein erheblicher Umsatzausfall [2]. Die Ursache lag laut Analyse nicht in einem technischen Defekt des Modells selbst, sondern im Fehlen deterministischer Guardrails für die Eingaben des Agenten [2].

Übertragen auf autonome Cyberabwehr-Modelle wie Orion-1 bedeutet dies: Wenn ein Sicherheitsmodell Log-Daten und E-Mail-Regeln auswertet, die potenziell von Angreifern präparierte Zeichenketten enthalten, darf die Entscheidung über gravierende Netzwerkeingriffe nicht allein der stochastischen Bewertung des Sprachmodells überlassen bleiben [1, 2, 5].

Architektur- und Governance-Strategien für Ihre Sicherheitsorganisation

Für Sicherheitsverantwortliche (CISOs) und IT-Architekten ergibt sich aus den vorliegenden Entwicklungen eine klare doppelte Anforderung: Einerseits müssen Sie Ihren Analysten und Testern KI-Werkzeuge zur Verfügung stellen, die bei der Analyse von Schadcode und Angriffsketten nicht durch überempfindliche Cloud-Filter blockiert werden [1, 4]. Andererseits müssen Sie beim Einsatz spezialisierter, autonom handelnder Abwehrmodelle sicherstellen, dass diese nicht selbst zum Sicherheitsrisiko werden [1, 2, 5]. Auf Basis der Empfehlungen des NIST, der Cloud Security Alliance und aktueller Enterprise-Sicherheitsframeworks lassen sich hierfür konkrete architektonische Leitlinien ableiten [1, 2, 5].

Abgestufte Autonomie und deterministische Zugriffskontrollen

Ein zentrales Gestaltungselement bei der Einführung autonomer Sicherheitsmodelle ist die strikte Begrenzung der Handlungsbefugnisse auf Laufzeitebene. Artemis Security setzt dies in der Private Preview von Orion-1 um, indem Kunden für jeden Aktionstyp individuelle Grenzen festlegen können, wie weit das Modell eigenständig entscheiden darf; Maßnahmen mit weitreichenden Auswirkungen (High-Impact Actions) erfordern dort standardmäßig eine menschliche Freigabe [1].

Ergänzend dazu empfiehlt Obsidian Security, Zero-Trust-Prinzipien konsequent auf nicht-menschliche Identitäten (Non-Human Identities, NHIs) auszuweiten [2]. Da statische, rollenbasierte Zugriffskontrollen (RBAC) für dynamische KI-Workflows zu starr sind, sollten Unternehmen auf attributbasierte (ABAC) oder richtlinienbasierte Zugriffskontrollen (PBAC) setzen [2]. Diese bewerten Berechtigungen in Echtzeit anhand des aktuellen Kontexts, der Datenklassifizierung und des bisherigen Verhaltens des Agenten [2]. API-Schlüssel für KI-Agenten sollten zudem einer automatisierten Rotation in Intervallen von 30 bis 90 Tagen unterliegen, streng nach dem Minimalprinzip (Least Privilege) beschränkt werden und vollständig in zentrale Identity-Provider-Systeme (über SAML oder OIDC) sowie SIEM- und SOAR-Plattformen eingebunden sein [2].

Übergang zum kontinuierlichen Monitor-and-Update-Modell des NIST

Da statische Guardrails gemäß dem mathematischen Beweis von Apostol Vassilev keinen dauerhaften Schutz bieten können, rät das NIST von einem statischen Deploy-and-Forget-Ansatz dringend ab und schlägt stattdessen ein dreigliedriges operatives Reaktionsmodell vor [5]. Erstens müssen Organisationen kontinuierliches Red-Teaming als dauerhafte Betriebsfunktion etablieren, bei der eingesetzte KI-Systeme regelmäßig mit neuen adversariellen Prompts getestet werden [5]. Zweitens müssen Guardrails vom Anwendungscode entkoppelt und auf einer separaten Gateway-Ebene platziert werden, sodass Eingabe- und Ausgabefilter bei neu entdeckten Umgehungspfaden sofort im laufenden Betrieb (Hot-Update) aktualisiert werden können [5]. Drittens müssen Unternehmen operative Resilienz aufbauen: Da erfolgreiche Exploits mathematisch nicht vollständig ausgeschlossen werden können, muss die Architektur auf schnelle Erkennung, Eindämmung und Wiederherstellung ausgelegt sein [5].

Das wirtschaftlich rationale Ziel der Verteidigung besteht laut Vassilev nicht in einer unerreichbaren hundertprozentigen Prävention, sondern darin, die Kosten für das Auffinden neuer Exploits so weit in die Höhe zu treiben, dass sie die Ressourcen und die Geduld der Angreifer übersteigen [5]. Als konkrete Zielwerte für die Überwachung von KI-Systemen nennt Obsidian Security eine durchschnittliche Erkennungszeit (Mean Time to Detect, MTTD) von unter fünf Minuten, eine Reaktionszeit (Mean Time to Respond, MTTR) von unter 15 Minuten sowie eine Fehlalarmrate von unter zwei Prozent [2].

Konsequenzen für Compliance, Beschaffung und Modellauswahl

Diese technischen Realitäten verändern auch die Anforderungen an Ihre KI-Governance und die Lieferantenauswahl. Regulatorische Vorgaben wie der inzwischen voll anwendbare EU AI Act, der für Hochrisiko-KI-Systeme eine fortlaufende Transparenz und menschliche Aufsicht vorschreibt, sowie Standards wie ISO 42001, das NIST AI Risk Management Framework (AI RMF 1.0) und die Rahmenwerke der Cloud Security Alliance (MAESTRO, AICM und STAR) verlangen eine Abkehr von rein stichtagsbezogenen Checklisten-Audits [2, 5]. Sicherheitsprüfungen müssen künftig vor allem bewerten, in welcher Taktung ein Unternehmen oder ein Softwareanbieter adversarielle Tests durchführt und wie schnell erkannte Schwachstellen in den Schutzmechanismen behoben werden [5].

Für Ihre Beschaffungsstrategie im Bereich Cybersicherheit bedeutet dies: Wenn Sie spezialisierte Abwehrmodelle wie Orion-1, Zugang zu verifizierten Programmen wie OpenAIs GPT-5.5-Cyber und Anthropics Claude Mythos 5 oder den lokalen Betrieb von Open-Weight-Modellen wie GLM evaluieren, sollten Sie die Architekturentscheidung strikt nach dem jeweiligen Anwendungsfall trennen [1, 4]. Für das isolierte Reverse Engineering und die Analyse hochsensibler Zero-Day-Schwachstellen bieten lokal betriebene Open-Weight-Modelle ohne Datenabflussrisiko und ohne blockierende Cloud-Filter derzeit oft die höchste operative Verlässlichkeit [1, 4]. Für die automatisierte Auswertung von Milliarden Log-Ereignissen im laufenden SOC-Betrieb hingegen können zweckgebundene Plattformmodelle wie Orion-1 einen deutlichen Effizienzvorteil bieten – vorausgesetzt, Sie sichern deren Aktionsspielraum durch deterministische Laufzeitkontrollen und verpflichtende menschliche Freigabeprozesse für kritische Eingriffe konsequent ab [1, 2].

Quellen

[1] AI guardrails designed to stop hackers are now blocking defenders, and Orion-1 aims to fill the gap — https://the-decoder.com/ai-guardrails-designed-to-stop-hackers-are-now-blocking-defenders-and-orion-1-aims-to-fill-the-gap (abgerufen am 2026-10-14)

[2] AI Guardrails: Enforcing Safety Without Slowing Innovation — https://www.obsidiansecurity.com/blog/ai-guardrails (abgerufen am 2026-10-14)

[4] How AI guardrails are impeding the work of offensive cybersecurity researchers | TechCrunch — https://techcrunch.com/2026/07/23/how-ai-guardrails-are-impeding-the-work-of-offensive-cybersecurity-researchers (abgerufen am 2026-10-14)

[5] NIST Proves Static AI Guardrails Are Mathematically Insufficient – Lab Space — https://labs.cloudsecurityalliance.org/research/csa-research-note-nist-continuous-ai-monitoring-godel-proof (abgerufen am 2026-10-14)