Neutrale Betrachtung der Toxizitätserkennung in großen Sprachmodellen

Methode

ToxicDetector setzt auf eine Kombination aus LLMs und maschinellen Lernverfahren zur Erkennung toxischer Prompts. Die Methode umfasst:

• Erstellung toxischer Konzept-Prompts mithilfe von LLMs
• Verwendung von Einbettungsvektoren zur Bildung von Merkmalsvektoren
• Einsatz eines Multi-Layer Perceptron (MLP) Klassifikators zur Prompt-Klassifikation

Diese Kombination ermöglicht eine präzise und effiziente Erkennung toxischer Prompts, wobei ToxicDetector eine hohe Genauigkeit von 96,39% und eine niedrige Falsch-Positiv-Rate von 2,00% erreicht.

Evaluation

Die Evaluierung von ToxicDetector erfolgte anhand verschiedener Versionen der LLama-Modelle, Gemma-2 und mehreren Datensätzen. Die Ergebnisse zeigen, dass ToxicDetector die Genauigkeit und Effizienz bestehender Methoden übertrifft. Mit einer Verarbeitungszeit von 0,0780 Sekunden pro Prompt ist ToxicDetector besonders für Echtzeitanwendungen geeignet.

Bedrohungen für die Gültigkeit

Wie bei jeder neuen Methode gibt es auch bei ToxicDetector potenzielle Bedrohungen für die Gültigkeit der Ergebnisse. Dazu gehören:

• Die Möglichkeit, dass die Methode bei neuen oder unbekannten toxischen Prompts nicht dieselbe hohe Genauigkeit erreicht
• Technische Einschränkungen, die die Skalierbarkeit und Effizienz der Methode beeinträchtigen könnten

Diese Bedrohungen müssen in zukünftigen Arbeiten weiter untersucht und adressiert werden, um die Robustheit und Zuverlässigkeit von ToxicDetector zu gewährleisten.

Verwandte Arbeiten

Die Erkennung toxischer Inhalte ist ein aktives Forschungsfeld, und es gibt mehrere verwandte Ansätze, die in der Literatur untersucht wurden. Beispielsweise haben Jiang Zhang et al. (2023) einen Ansatz namens BD-LLM vorgeschlagen, der LLMs für die Erkennung toxischer Inhalte verwendet. Dieser Ansatz umfasst die Verwendung von Entscheidung-Bäumen und die Destillation von LLMs, um die Genauigkeit und Effizienz zu verbessern.

Andere Arbeiten haben sich auf die Entwicklung von Benchmarks wie OR-Bench konzentriert, die die Überverweigerung von LLMs messen, oder auf die Untersuchung von Jailbreaking-Techniken, wie von Yi Liu et al. (2024) beschrieben, um die Herausforderungen und Risiken im Zusammenhang mit der Erkennung toxischer Prompts zu adressieren.

Fazit

ToxicDetector stellt einen bedeutenden Fortschritt in der Erkennung toxischer Prompts in großen Sprachmodellen dar. Mit hoher Genauigkeit, Effizienz und Skalierbarkeit bietet es eine praktikable Methode zur Identifizierung und Abwehr schädlicher Inhalte in Echtzeitanwendungen. Die kontinuierliche Weiterentwicklung und Validierung dieser Methode wird dazu beitragen, die Sicherheit und Zuverlässigkeit von LLMs zu verbessern.

Bibliographie

1. https://arxiv.org/abs/2408.11727
2. https://bytez.com/docs/arxiv/2408.11727/paper
3. https://arxiv.org/abs/2312.08303
4. https://arxiv-sanity-lite.com/?rank=pid&pid=2408.11727
5. https://assets.amazon.science/29/72/2c9b990944c7944f1f3a7c790798/efficient-toxic-content-detection-by-bootstrapping-and-distilling-large-language-models.pdf
6. https://ojs.aaai.org/index.php/AAAI/article/view/30178/32091
7. https://publications.cispa.de/articles/conference_contribution/You_Only_Prompt_Once_On_the_Capabilities_of_Prompt_Learning_on_Large_Language_Models_to_Tackle_Toxic_Content/25195610/1
8. https://www.promptingguide.ai/papers
9. https://yangzhangalmo.github.io/papers/SP24-ToxicPrompt.pdf
10. https://openreview.net/pdf/71aad921ec144a189aa4015835cc54f5d3097a1e.pdf