Datenschutzbedenken bei Retrieval-Augmented Generation und der Interrogation Attack

Datenschutzrisiken bei Retrieval-Augmented Generation: Der Interrogation Attack

Retrieval-Augmented Generation (RAG) ermöglicht es großen Sprachmodellen (LLMs), fundierte Antworten zu generieren, indem sie auf externe Wissensdatenbanken zurückgreifen, ohne die Modellparameter zu verändern. Obwohl das Fehlen einer Gewichtsanpassung ein Durchsickern von Informationen über die Modellparameter verhindert, birgt es das Risiko, dass Angreifer durch die Analyse der abgerufenen Dokumente im Kontext des Modells Rückschlüsse auf die im System gespeicherten Daten ziehen können.

Bisherige Methoden zur Mitgliedschaftsinferenz und Datenextraktion beruhen oft auf Jailbreaking oder speziell gestalteten, unnatürlichen Abfragen. Diese können jedoch leicht erkannt oder durch Umschreibungstechniken, die in RAG-Systemen üblich sind, abgewehrt werden. Ein neuer Ansatz, der sogenannte Interrogation Attack (IA), zielt auf die Dokumente im RAG-Datenspeicher ab. Durch das Formulieren von natürlichsprachlichen Fragen, die nur mit dem Vorhandensein des Zieldokuments beantwortet werden können, ermöglicht dieser Angriff eine erfolgreiche Inferenz mit nur 30 Abfragen und bleibt dabei unauffällig.

Einfache Detektoren identifizieren bösartige Eingabeaufforderungen von bestehenden Methoden bis zu 76-mal häufiger als die vom IA generierten. Der IA zeigt eine zweifache Verbesserung der True-Positive-Rate bei einer False-Positive-Rate von 1% im Vergleich zu früheren Inferenzangriffen über verschiedene RAG-Konfigurationen hinweg, und das bei Kosten von weniger als 0,02 US-Dollar pro Dokumentinferenz. Die Stealthiness des IA liegt in der Natürlichkeit der generierten Fragen. Anstatt das System mit ungewöhnlichen oder manipulierten Anfragen zu konfrontieren, werden Fragen gestellt, die im Kontext einer normalen Nutzung des RAG-Systems plausibel erscheinen.

Wie funktioniert der Interrogation Attack?

Der Kern des Interrogation Attack besteht darin, Fragen zu formulieren, die spezifische Informationen aus dem Zieldokument abfragen. Diese Informationen müssen so gewählt sein, dass sie einerseits im Zieldokument vorhanden sind, andererseits aber nicht in anderen Dokumenten der Wissensdatenbank vorkommen. Durch die geschickte Kombination von Informationen aus dem Zieldokument können Fragen erstellt werden, die nur dann korrekt beantwortet werden können, wenn das Dokument im Datenspeicher des RAG-Systems vorhanden ist.

Die Herausforderung besteht darin, diese Fragen so natürlich wie möglich zu gestalten, um nicht die Aufmerksamkeit von Detektionsmechanismen zu erregen. Dies erfordert eine sorgfältige Analyse des Zieldokuments und der übrigen Dokumente im Datenspeicher. Durch die Verwendung von Synonymen, Umschreibungen und anderen sprachlichen Mitteln können die Fragen so formuliert werden, dass sie unauffällig und dennoch eindeutig auf das Zieldokument verweisen.

Implikationen für die Sicherheit von RAG-Systemen

Der Interrogation Attack verdeutlicht die potenziellen Sicherheitsrisiken von RAG-Systemen und die Notwendigkeit robusterer Schutzmechanismen. Die Fähigkeit, mit natürlichsprachlichen Fragen Rückschlüsse auf den Inhalt des Datenspeichers zu ziehen, stellt eine ernsthafte Bedrohung für den Datenschutz dar. Zukünftige Forschung sollte sich auf die Entwicklung von effektiven Detektionsmethoden konzentrieren, die in der Lage sind, auch subtilere Angriffe wie den IA zu erkennen.

Darüber hinaus sollten Strategien zur Verbesserung der Sicherheit von RAG-Systemen entwickelt werden, die über die bloße Erkennung von Angriffen hinausgehen. Dazu gehören beispielsweise Methoden zur Anonymisierung von Daten im Datenspeicher oder zur Beschränkung des Zugriffs auf sensible Informationen.

Bibliographie:

1. https://www.arxiv.org/abs/2502.00306
2. https://arxiv.org/html/2502.00306v1
3. https://paperreading.club/page?id=281371
4. https://www.researchgate.net/figure/Training-shadow-models-using-the-same-machine-learning-platform-as-was-used-to-train-the_fig2_317002535
5. https://github.com/mtuann/llm-updated-papers
6. https://openreview.net/forum?id=jBXq5UIov4&referrer=%5Bthe%20profile%20of%20Cheng%20Long%5D(%2Fprofile%3Fid%3D~Cheng_Long1)
7. https://aaai.org/wp-content/uploads/2025/01/AAAI-25-Poster-Schedule.pdf
8. https://neurips.cc/virtual/2024/calendar
9. https://papers.nips.cc/paper_files/paper/2024
10. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf