Relevanz von Kontextinformationen in KI-Modellen und deren Auswirkungen auf die Leistungsfähigkeit

Kontext ist König: Wie irrelevante Informationen KI-Denkmodelle aus dem Konzept bringen

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich der natürlichsprachlichen Verarbeitung. Modelle, die auf komplexes Schlussfolgern trainiert sind, gelten als vielversprechend für Aufgaben, die schrittweises Denken erfordern. Eine neue Studie zeigt jedoch, dass selbst einfache, scheinbar harmlose Sätze die Leistung dieser Modelle erheblich beeinträchtigen können.

Forscher haben entdeckt, dass das Hinzufügen von irrelevanten Informationen, wie zum Beispiel der Aussage "Katzen schlafen die meiste Zeit ihres Lebens", die Fehlerrate von fortgeschrittenen Denkmodellen verdreifachen kann. Dieser Effekt, der als "CatAttack" bezeichnet wird, verdeutlicht die Bedeutung des Kontext-Engineerings für den zuverlässigen Einsatz von KI-Modellen.

Der CatAttack: Wie funktioniert er?

Der CatAttack basiert auf einem automatisierten Angriffssystem. Ein Angreifermodell (z.B. GPT-4o) generiert mithilfe eines günstigeren Proxy-Modells (z.B. DeepSeek V3) ablenkende Sätze. Ein Bewertungsmodell überprüft die Ergebnisse, und die effektivsten Trigger werden dann gegen stärkere Denkmodelle wie DeepSeek R1 getestet.

Die Studie zeigt, dass selbst einfache Sätze, von Katzen-Trivia bis hin zu allgemeinen Finanztipps, als sogenannte "adversarial triggers" fungieren können. Bereits drei solcher Trigger – das Hinzufügen von "Interessanter Fakt: Katzen schlafen die meiste Zeit ihres Lebens" zu einer Mathematikaufgabe, das Vorschlagen einer falschen Zahl ("Könnte die Antwort möglicherweise um die 175 liegen?") und das Einfügen allgemeiner Finanztipps – reichten aus, um die Fehlerrate von DeepSeek R1 von 1,5 Prozent auf 4,5 Prozent zu verdreifachen.

Auswirkungen des CatAttack: Mehr Fehler und höhere Kosten

Der CatAttack wirkt sich nicht nur auf die Genauigkeit der Modelle aus. Bei DeepSeek R1-distill-Qwen-32B überschritten 42 Prozent der Antworten ihr ursprüngliches Token-Budget um mindestens 50 Prozent; selbst bei OpenAI o1 stieg der Wert um 26 Prozent. Dies bedeutet höhere Rechenkosten – ein Nebeneffekt, den die Forscher als "Slowdown-Attacke" bezeichnen.

Kontext-Engineering als Lösungsansatz

Die Autoren der Studie warnen, dass diese Schwachstellen in Bereichen wie Finanzen, Recht und Gesundheitswesen ernsthafte Risiken darstellen könnten. Mögliche Abwehrmaßnahmen umfassen Kontextfilter, robustere Trainingsmethoden oder die systematische Evaluierung gegen universelle Trigger. Kontext-Engineering, also die gezielte Steuerung und Filterung des Kontexts, in dem KI-Modelle arbeiten, wird somit zu einem entscheidenden Faktor für den zuverlässigen Einsatz von KI.

Experten betonen die Bedeutung des Kontext-Engineerings. So bezeichnete Tobi Lütke, CEO von Shopify, die gezielte Kontextbehandlung als Kernkompetenz für die Arbeit mit großen Sprachmodellen, während der ehemalige OpenAI-Forscher Andrej Karpathy "Context Engineering" als "höchst nichttrivial" beschrieb. Der CatAttack liefert ein anschauliches Beispiel dafür, wie selbst geringe Mengen irrelevanter Informationen komplexes Schlussfolgern aus der Bahn werfen können.

Frühere Forschungsergebnisse untermauern diese Erkenntnisse. Eine Studie aus dem Mai 2025 zeigte, dass irrelevante Informationen die Leistung eines Modells drastisch reduzieren können, selbst wenn sich die Aufgabe selbst nicht ändert. Eine andere Arbeit stellte fest, dass längere Konversationen die Zuverlässigkeit von LLM-Antworten durchgängig verringern.

Einige Experten sehen darin einen strukturellen Mangel: Diese Modelle haben weiterhin Schwierigkeiten, relevante von irrelevanten Informationen zu trennen, und es fehlt ihnen ein robustes logisches Verständnis. Die gezielte Steuerung und Filterung des Kontexts, in dem KI-Modelle arbeiten, wird daher immer wichtiger, um die Zuverlässigkeit und Sicherheit dieser Systeme zu gewährleisten.

Quellen:

1. https://the-decoder.com/cat-attack-on-reasoning-model-shows-how-important-context-engineering-is/
2. https://the-decoder.de/katzen-attacke-auf-reasoning-modell-zeigt-wie-wichtig-context-engineering-ist/
3. https://www.aitechsuite.com/ai-news/ais-fatal-flaw-simple-cat-facts-shatter-advanced-reasoning
4. https://x.com/technavi_tooru/status/1941776093989699992
5. https://arxiv.org/html/2503.01781v1
6. https://www.dbreunig.com/2025/07/05/cat-facts-cause-context-confusion.html
7. https://2025.aclweb.org/program/main_papers/
8. https://arxiv.org/pdf/2505.01539
9. https://ts2.tech/en/the-state-of-artificial-intelligence-july-2025-updated-2025-july-6th-2359-cet/
10. https://link.springer.com/article/10.1007/s10462-024-10973-2