Schwächen aktueller KI-Modelle bei der Beantwortung faktischer Fragen

OpenAIs eigene Modelle schwächeln bei der Beantwortung faktischer Fragen

Eine neue Studie von OpenAI, die den unternehmensinternen SimpleQA-Benchmark verwendet, zeigt, dass selbst die fortschrittlichsten KI-Sprachmodelle bei der Beantwortung faktischer Fragen häufiger scheitern als sie Erfolg haben. Der SimpleQA-Test umfasst 4.326 Fragen aus den Bereichen Wissenschaft, Politik und Kunst, wobei jede Frage so konzipiert ist, dass sie eine eindeutig richtige Antwort hat. Zwei unabhängige Gutachter haben die Richtigkeit der Antworten überprüft.

Das beste Modell von OpenAI, o1-preview, erreichte nur eine Erfolgsquote von 42,7 Prozent. GPT-4o folgte mit 38,2 Prozent richtigen Antworten, während das kleinere GPT-4o-mini nur eine Genauigkeit von 8,6 Prozent erzielte. Die Claude-Modelle von Anthropic schnitten noch schlechter ab. Ihr Top-Modell, Claude-3.5-sonnet, lag bei 28,9 Prozent richtigen und 36,1 Prozent falschen Antworten. Kleinere Claude-Modelle lehnten es jedoch häufiger ab zu antworten, wenn sie unsicher waren – eine erwünschte Reaktion, die zeigt, dass sie ihre Wissensgrenzen erkennen.

Kontext ist entscheidend

Es ist wichtig zu beachten, dass der Test speziell das während des Trainings erworbene Wissen misst. Er bewertet nicht die allgemeine Fähigkeit der Modelle, korrekte Antworten zu liefern, wenn ihnen zusätzlicher Kontext, Internetzugang oder Datenbankverbindungen zur Verfügung stehen. Die wichtigste Erkenntnis: Nutzer sollten KI-Modelle als Informationsverarbeiter betrachten, nicht als eigenständige Wissensquellen. Um optimale Ergebnisse zu erzielen, sollten sie mit zuverlässigen Daten versorgt werden, anstatt sich ausschließlich auf ihr integriertes Wissen zu verlassen.

Die Ergebnisse von OpenAI werfen jedoch Bedenken hinsichtlich der aktuellen Nutzungsmuster von KI auf. Viele Menschen, insbesondere Studenten, verwenden diese Systeme als eigenständige Recherche- und Lernwerkzeuge, da sie glauben, dass sie zumindest in den meisten Fällen richtige Antworten liefern – eine Praxis, die nach diesen Ergebnissen problematisch ist. Die Daten zeigen, dass KI-Modelle für die unabhängige Faktenfindung oder -überprüfung schlichtweg nicht zuverlässig genug sind.

KI-Modelle überschätzen sich selbst

Die Studie zeigt auch, dass KI-Sprachmodelle ihre eigenen Fähigkeiten bei der Beantwortung von Fragen deutlich überschätzen. Als die Forscher die Modelle baten, ihre Zuversicht in ihre Antworten einzuschätzen, gaben die KIs durchweg überhöhte Werte über ihre eigene Genauigkeit an. Um diese Selbstüberschätzung systematisch zu messen, ließen die Forscher die Modelle identische Fragen jeweils 100 Mal beantworten. Sie stellten fest, dass ein Modell, das wiederholt dieselbe Antwort gab, mit größerer Wahrscheinlichkeit korrekt war – aber selbst dann blieben die tatsächlichen Erfolgsquoten niedriger als die von den Modellen vorhergesagte eigene Leistung. Diese Erkenntnis deckt sich mit der häufigen Kritik, dass Sprachmodelle völligen Unsinn antworten können, während sie so tun, als wüssten sie, dass es richtig ist.

Die Forscher stellen fest, dass es erhebliche Lücken in der Faktengenauigkeit aktueller KI-Systeme gibt, die behoben werden müssen. Sie weisen auch auf eine offene Forschungsfrage hin: ob die Leistung einer KI bei kurzen Faktenantworten vorhersagt, wie gut sie mit längeren, detaillierteren Antworten umgeht, die mehrere Fakten enthalten. OpenAI hat seinen SimpleQA-Benchmark auf Github veröffentlicht, um Forscher bei der Entwicklung zuverlässigerer Sprachmodelle zu unterstützen.

Bibliographie:

1. https://www.reddit.com/r/OpenAI/comments/1dxsl2q/has_anyone_else_noticed_that_4o_gets_more_things/
2. https://community.openai.com/t/gpt4o-has-become-unusable/831997
3. https://www.nature.com/articles/d41586-024-03169-9
4. https://www.technologyreview.com/2024/10/15/1105558/openai-says-chatgpt-treats-us-all-the-same-most-of-the-time/
5. https://openai.com/index/learning-to-reason-with-llms/
6. https://community.openai.com/t/has-there-been-a-recent-decrease-in-gpt-4-quality/207392
7. https://www.technologyreview.com/2024/05/22/1092763/openais-gpt4o-chinese-ai-data/
8. https://www.youtube.com/watch?v=WkB2bvYi73k
9. https://www.youreverydayai.com/how-openais-shot-at-google-and-gpt-4o-model-will-change-how-we-all-work/
10. https://www.constellationr.com/blog-news/insights/openais-gpt-4o-look-short-term-mid-term-and-long-term-implications