Multimodale Sprachmodelle und die Herausforderungen der Bildbeschreibung

Multimodale Sprachmodelle und die Herausforderung der faktischen Bildbeschreibung

Multimodale große Sprachmodelle (MLLMs) haben die Bildbeschreibung revolutioniert. Sie können detaillierte und nuancierte Beschreibungen von Bildern generieren, die weit über die Fähigkeiten herkömmlicher Methoden hinausgehen. Diese Detailgenauigkeit birgt jedoch eine Herausforderung: die zunehmende Tendenz zu Halluzinationen, also der Beschreibung von Objekten oder Details, die im Bild gar nicht vorhanden sind.

Das Problem der Halluzinationen

Aktuelle Studien zeigen, dass bestehende Methoden zur Halluzinationserkennung bei sehr detaillierten Bildbeschreibungen an ihre Grenzen stoßen. Je länger die generierte Beschreibung, desto stärker scheint sich das MLLM auf den bereits generierten Text zu stützen und weniger auf die visuellen Informationen des Bildes. Dies führt zu einem sich selbst verstärkenden Effekt, bei dem frühere Halluzinationen die Wahrscheinlichkeit weiterer Halluzinationen erhöhen.

Ein neuer Ansatz: Multiagenten-Systeme

Um diesem Problem zu begegnen, wurde ein neuer Ansatz entwickelt: Caption factuality enhancing MultiAgent System (CapMAS). Dieses System nutzt die Zusammenarbeit zwischen einem großen Sprachmodell (LLM) und einem multimodalen Sprachmodell (MLLM), um generierte Bildbeschreibungen auf ihre Faktizität zu überprüfen und zu korrigieren. Das LLM zerlegt die Beschreibung in einzelne Aussagen, die dann vom MLLM anhand des Bildes verifiziert werden. Das LLM überarbeitet anschließend die Beschreibung basierend auf den Ergebnissen der Verifikation.

Die Herausforderung der Evaluation

Die Bewertung der Faktizität von detaillierten Bildbeschreibungen gestaltet sich komplex. Herkömmliche Metriken wie BLEU, ROUGE, METEOR oder CIDEr, die sich auf die Übereinstimmung mit Referenzbeschreibungen konzentrieren, sind für die Beurteilung der Faktizität ungeeignet. Auch neuere Methoden zeigen Schwächen bei der Erfassung von Halluzinationen. Deshalb wurde im Rahmen der Forschung zu CapMAS eine GPT-basierte Methode zur Faktizitätsbewertung entwickelt und durch menschliche Evaluationen validiert.

Abdeckung der visuellen Information

Neben der Faktizität ist auch die Abdeckung der visuellen Information ein wichtiges Kriterium für die Qualität einer Bildbeschreibung. Eine Beschreibung kann zwar faktisch korrekt sein, aber dennoch wichtige Details des Bildes auslassen. Um die Abdeckung zu messen, wurde ein detaillierter VQA-Datensatz (Visual Question Answering) erstellt. Die Idee dahinter: Wenn eine Bildbeschreibung alle relevanten Informationen enthält, sollten Fragen zum Bild allein anhand der Beschreibung korrekt beantwortet werden können, ohne das Bild selbst zu betrachten.

Überraschende Ergebnisse und Ausblick

Die Ergebnisse der Experimente zeigen, dass einige etablierte Methoden zur Verbesserung der Faktizität von MLLMs, die sich bei VQA-Aufgaben bewährt haben, bei der hyper-detaillierten Bildbeschreibung weniger effektiv sind. CapMAS hingegen verbessert die Faktizität signifikant und kann auf jedes Bildbeschreibungsmodell angewendet werden, einschließlich fortschrittlicher Modelle wie GPT-4V. Die Forschungsergebnisse unterstreichen zudem die Grenzen von VQA-zentrierten Benchmarks: Die Leistung eines MLLM bei VQA-Aufgaben korreliert nicht zwangsläufig mit seiner Fähigkeit, detaillierte und faktisch korrekte Bildbeschreibungen zu generieren.

Die Entwicklung von CapMAS und den dazugehörigen Evaluationsmethoden stellt einen wichtigen Schritt auf dem Weg zu robusteren und zuverlässigeren Bildbeschreibungssystemen dar. Die Kombination von Multiagenten-Systemen und fortschrittlichen Evaluationsmetriken eröffnet neue Möglichkeiten für die Anwendung von MLLMs in Bereichen, die hohe Anforderungen an die Faktizität und Vollständigkeit von Bildbeschreibungen stellen.

Bibliographie

1. Lee, S., Yoon, S., Bui, T., Shi, J., & Yoon, S. (2024). Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage. arXiv preprint arXiv:2412.15484.
2. https://arxiv.org/html/2412.15484v1
3. https://paperreading.club/page?id=274372
4. https://openreview.net/pdf/ebcb918d13e3eafa217010c3682d304fa49f6300.pdf
5. https://aclanthology.org/E17-1019
6. https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136960165.pdf
7. https://proceedings.neurips.cc/paper_files/paper/2023/file/45e604a3e33d10fba508e755faa72345-Paper-Datasets_and_Benchmarks.pdf
8. https://www.jair.org/index.php/jair/article/download/12025/26597/24190
9. https://pure.tudelft.nl/ws/portalfiles/portal/181325643/Thesis_Peide_Full.pdf