Herausforderungen visueller Sprachmodelle bei einfachen logischen Aufgaben

Die Grenzen visueller Sprachmodelle: KI-Systeme scheitern an einfachen visuellen Rätseln

Künstliche Intelligenz (KI) hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, insbesondere im Bereich der visuellen Sprachmodelle (VLMs). Diese Modelle können Bilder erkennen, beschreiben und sogar Fragen dazu beantworten. Eine neue Studie der Technischen Universität Darmstadt zeigt jedoch, dass selbst die fortschrittlichsten KI-Bildmodelle bei einfachen Aufgaben der visuellen Logik versagen.

Bongard-Probleme stellen KI-Modelle vor Herausforderungen

Die Forscher testeten verschiedene VLMs anhand von Bongard-Problemen – einfachen visuellen Rätseln, die die meisten Menschen intuitiv lösen können. Diese Rätsel, entwickelt vom russischen Wissenschaftler Michail Bongard, präsentieren zwölf einfache Bilder, die in zwei Gruppen unterteilt sind. Die Herausforderung besteht darin, die Regel zu identifizieren, die diese Gruppen trennt – eine Aufgabe, die abstraktes Denkvermögen erfordert.

Die Ergebnisse der Studie sind verblüffend: Die Modelle hatten Schwierigkeiten mit grundlegenden Aufgaben, die die meisten Menschen als einfach empfinden. So fiel es ihnen beispielsweise schwer, zwischen vertikalen und horizontalen Linien zu unterscheiden oder die Drehrichtung einer Spirale zu bestimmen. Diese grundlegenden visuellen Konzepte stellten selbst die fortschrittlichsten KI-Modelle vor Herausforderungen.

GPT-4o und andere Modelle zeigen Schwächen

GPT-4o, das derzeit als das fortschrittlichste multimodale Modell gilt, konnte nur 21 von 100 visuellen Rätseln lösen. Andere bekannte KI-Modelle, darunter Claude, Gemini und LLaVA, schnitten noch schlechter ab. Selbst als die Forscher Multiple-Choice-Optionen bereitstellten, verbesserten sich die Ergebnisse nur geringfügig. Die KI-Modelle zeigten nur dann eine signifikante Verbesserung, wenn die Anzahl der möglichen Antworten stark eingeschränkt war – unter diesen Bedingungen schafften es GPT-4 und Claude, 68 bzw. 69 von 100 Rätseln zu lösen.

Wahrnehmungsprobleme als mögliche Ursache

Die Forscher untersuchten die Gründe für das Scheitern der Modelle im Detail an vier ausgewählten Problemen. Sie fanden heraus, dass KI-Systeme manchmal bereits auf der grundlegenden Ebene der visuellen Wahrnehmung scheitern, noch bevor sie die eigentlichen Stufen des "Denkens" und "Schlussfolgerns" erreichen. Eine einzige klare Ursache konnten sie jedoch nicht ausmachen.

Überdenken von KI-Evaluierungsmaßstäben

Die Studie wirft Fragen zur Evaluierung von KI-Systemen auf und legt nahe, dass bestehende Benchmarks die tatsächlichen Denkfähigkeiten von Modellen möglicherweise nicht genau messen. Das Forschungsteam empfiehlt, diese Benchmarks zu überdenken, um die visuellen Denkfähigkeiten von KI besser beurteilen zu können.

Die Ergebnisse verdeutlichen, dass es eine signifikante Lücke zwischen menschlicher und maschineller visueller Intelligenz gibt. Während Menschen in der Lage sind, komplexe visuelle Muster zu erkennen und zu interpretieren, kämpfen KI-Modelle noch immer mit grundlegenden Aufgaben. Die Studie unterstreicht die Notwendigkeit weiterer Forschung, um die visuellen Fähigkeiten von KI-Systemen zu verbessern und ihnen ein tieferes Verständnis für die visuelle Welt zu ermöglichen.

Quellen

1. https://arxiv.org/html/2403.04732v3
2. https://www.linkedin.com/pulse/vision-language-models-blind-vlad-bogolin-z5q0e
3. https://arxiv.org/html/2406.15736v1
4. https://www.researchgate.net/publication/374846461_BRAINTEASER_Lateral_Thinking_Puzzles_for_Large_Language_Models
5. https://www.linkedin.com/posts/pavlo-molchanov-08738a63_can-vision-language-models-improve-themselves-activity-7222280565318676481-DNoq
6. https://cs231n.stanford.edu/2024/papers/understanding-how-vision-language-models-reason-when-solving-vis.pdf
7. https://jdmeier.com/knowledge-hacking/
8. https://medium.com/@AriaLeeNotAriel/numbynum-understanding-vision-language-models-typology-image-as-a-foreign-language-beit-03c3c6910773
9. https://onlinelibrary.wiley.com/doi/10.1111/cogs.13432
10. https://thenextweb.com/news/human-intuition-machine-reasoning-ais-helping-us-solve-giant-math-puzzles-syndication