Sicherheitsrisiken durch die Methode der Präferenzmanipulation in multimodalen Sprachmodellen
Mindverse News
KI-gestützt erstellt 10 Quellen Arbeitsweise
Das Wichtigste in Kürze
- Eine neue Studie enthüllt die Methode „Preference Hijacking“ (Phi), die die Ausgabepräferenzen multimodaler großer Sprachmodelle (MLLMs) manipuliert.
- Phi nutzt speziell gestaltete Bilder, um die Antworten von MLLMs zu beeinflussen, ohne Modelländerungen vorzunehmen.
- Die Studie demonstriert die Wirksamkeit von Phi in verschiedenen Aufgaben und stellt die Herausforderungen für die Sicherheit von MLLMs heraus.
- Ein universeller Angriff, eine übertragbare Komponente, die in verschiedene Bilder eingebettet werden kann, verstärkt die Effektivität der Manipulation.
- Die Forschung unterstreicht die Notwendigkeit robuster Sicherheitsmechanismen für MLLMs, insbesondere angesichts subtiler, schwer zu erkennender Angriffe.
Manipulation multimodaler Sprachmodelle: Die Methode „Preference Hijacking“
Die rasante Entwicklung multimodaler großer Sprachmodelle (MLLMs) hat zu erheblichen Fortschritten in verschiedenen Anwendungsbereichen geführt. Gleichzeitig wächst die Besorgnis über die Sicherheit dieser Systeme. Eine kürzlich veröffentlichte Studie beleuchtet ein neues Sicherheitsrisiko: die Manipulation der Ausgabepräferenzen von MLLMs mittels gezielt erstellter Bilder. Die Forscher bezeichnen diese Methode als „Preference Hijacking“ (Phi).
Funktionsweise von Phi
Im Gegensatz zu herkömmlichen Angriffen, die auf offenkundig schädliche oder unethische Ausgaben abzielen, zeichnet sich Phi durch seine Subtilität aus. Die manipulierten Antworten bleiben kontextuell relevant, wirken jedoch durch die Beeinflussung der Präferenzen verzerrt. Diese Verzerrung ist oft schwer zu erkennen, was die Abwehrmaßnahmen erschwert. Phi funktioniert zur Inferenzzeit, d.h. ohne Veränderungen am Modell selbst. Die Manipulation erfolgt allein durch die Eingabe eines speziell präparierten Bildes.
Der universelle Angriff
Ein besonders besorgniserregender Aspekt von Phi ist die Einführung einer universellen Angriffskomponente, einer Art „Hijacking-Perturbation“. Diese Komponente kann in verschiedene Bilder eingebettet werden und die MLLM-Antworten in Richtung der vom Angreifer gewünschten Präferenzen lenken. Dieser universelle Ansatz erhöht die Effektivität und Skalierbarkeit des Angriffs erheblich, da er nicht auf spezifische Bildinhalte angewiesen ist.
Ergebnisse und Auswirkungen
Die Studie präsentiert experimentelle Ergebnisse, die die Wirksamkeit von Phi in verschiedenen Aufgaben belegen. Die Ergebnisse unterstreichen die Notwendigkeit, die Sicherheit von MLLMs zu verbessern und robuste Abwehrmechanismen gegen solche subtilen Manipulationen zu entwickeln. Die einfache Anwendbarkeit und die Schwierigkeit der Erkennung stellen eine erhebliche Herausforderung dar.
Forschungslücke und zukünftige Herausforderungen
Die Forschung hebt eine wichtige Forschungslücke hervor: die Entwicklung von Methoden zur Erkennung und Abwehr von Phi-Angriffen. Zukünftige Forschungsarbeiten sollten sich auf die Entwicklung von robusten Sicherheitsmechanismen konzentrieren, die sowohl die Erkennung subtiler Manipulationen als auch die Entwicklung von Abwehrstrategien umfassen. Dies beinhaltet die Untersuchung von Methoden zur Verbesserung der Robustheit von MLLMs gegenüber solchen Angriffen und die Entwicklung von Detektionsalgorithmen, die die manipulierten Ausgaben identifizieren können.
Implikationen für die Praxis
Für Unternehmen, die MLLMs in ihren Anwendungen einsetzen, ergeben sich aus dieser Forschung wichtige Implikationen. Die Ergebnisse unterstreichen die Notwendigkeit, die Sicherheitsaspekte von MLLMs sorgfältig zu prüfen und geeignete Schutzmaßnahmen zu implementieren. Dies umfasst nicht nur die Auswahl robuster Modelle, sondern auch die Entwicklung von Prozessen zur Erkennung und Reaktion auf potenzielle Manipulationen. Eine kontinuierliche Überwachung der Modellleistung und die regelmäßige Überprüfung der Sicherheitsmaßnahmen sind unerlässlich.
Fazit
Die Studie zu „Preference Hijacking“ liefert wertvolle Erkenntnisse über die Sicherheitsrisiken multimodaler großer Sprachmodelle. Die präsentierte Methode und die Ergebnisse verdeutlichen die Notwendigkeit, die Sicherheit dieser Systeme umfassend zu bewerten und robuste Abwehrmechanismen zu entwickeln. Die Forschung trägt dazu bei, das Bewusstsein für die Herausforderungen im Bereich der MLLM-Sicherheit zu schärfen und den Weg für zukünftige Forschungsaktivitäten zu ebnen.
Bibliography
- https://arxiv.org/abs/2509.12521
- https://openreview.net/forum?id=e0uaB95224
- https://arxiv.org/html/2509.12521v1
- https://huggingface.co/papers/2509.12521
- https://dl.acm.org/doi/10.1145/3703155
- https://huggingface.co/papers/2411.10442
- https://aclanthology.org/2025.findings-acl.808.pdf
- https://archiv.ub.uni-marburg.de/diss/z2009/0695/pdf/dpf.pdf
- https://www.researchgate.net/publication/384167300_The_Benefits_and_Challenges_of_Using_ChatGPT_to_Develop_Programming_Codes
- https://link.springer.com/content/pdf/10.1007/3-540-49478-2.pdf
//Nächster Artikel
Open Source
Direkteinreichung von Fachpublikationen: Workflows auf Hugging Face und regulatorische Vorgaben im Open-Access-VerlagswesenAnalyse der Einreichungsprozesse für Forschungsarbeiten über Hugging Face Daily Papers sowie der KI- und Lizenzvorgaben im Open-Access-Verlagswesen.

// Artikel teilen
Mehr zu KI & Cybersicherheit
Alle Cybersicherheit-News- Rechenleistung statt Direktkapital: Wie Nvidia mit 250 Millionen US-Dollar die britische Sicherheitsforschung für KI-Agenten prägt
Nvidia sagt Großbritannien 250 Mio. US-Dollar an Rechenleistung für die Sicherheitsforschung zu KI-Agenten zu. Analyse der Technik und Strategie.
- Blockierte Cyberabwehr: Warum strikte KI-Guardrails Sicherheitsteams behindern und wie Spezialmodelle wie Orion-1 gegensteuern
Artemis Security stellt das Abwehrmodell Orion-1 vor, während strikte KI-Guardrails von OpenAI und Anthropic Sicherheitsteams im Alltag blockieren.
- Autonome KI-Agenten, Sicherheitsvorfälle und neue Spitzenmodelle: Strategische Analyse zu Muse Wonder, OpenAI und globaler Regulierung
Analyse aktueller KI-Entwicklungen: Metas Muse Wonder, Sicherheitsvorfälle bei OpenAI, selbstreplizierende Agenten, Chip-Strategien und KI-Regulierung.
- KI-Sicherheit und autonome Cyberrisiken: Warum offene Briefe den Technologiewettlauf nicht bremsen
Von KI-Appellen seit 2015 bis zum autonomen Hackerangriff 2026: Warum offene Briefe den KI-Wettlauf nicht bremsen und was das für Ihre IT-Sicherheit bedeutet.
// Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Passend dazu in Mindverse Studio
- KI-Chat mit allen führenden ModellenGPT, Claude und Gemini in einer Oberfläche — mit Websuche und Quellenangaben.
- Firmenwissen als KI-WissensdatenbankDokumente und Daten durchsuchbar machen — semantisch, mit Quellenangabe.
- Die KI-Plattform für UnternehmenRollen, Freigaben und Abrechnung für den KI-Einsatz im ganzen Unternehmen.
Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.
7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.
//Chronik
Aus dem Archiv · rund um den 22. September 2025
← Davor erschienen