Menschliche Kognition übertrifft weiterhin KI-Systeme im neuen ARC-AGI-3 Benchmark

Menschliche Kognition weiterhin überlegen: KI-Systeme scheitern an ARC-AGI-3 Benchmark

Ein neuer Benchmark namens ARC-AGI-3 stellt die Fähigkeiten von KI-Systemen auf die Probe und zeigt, dass menschliche Denkprozesse, selbst bei einfachen Aufgaben, für Künstliche Intelligenz noch immer eine Herausforderung darstellen. Der Benchmark wurde von KI-Forscher François Chollet und seinem Team entwickelt, um zu evaluieren, inwieweit KI-Systeme in der Lage sind, eigenständig in völlig unbekannten Situationen zu lernen, ohne jegliches Hintergrundwissen oder Hinweise. Im Gegensatz zu bisherigen Tests, die oft auf sprachlichem Verständnis oder kulturellem Wissen basieren, konzentriert sich ARC-AGI-3 auf sogenannte "Kernwissens-Prioren" - grundlegende kognitive Fähigkeiten wie Objektpermanenz und Kausalität.

Interaktive Spiele als neuer Prüfstein

Die größte Neuerung von ARC-AGI-3 ist das interaktive Format. Anstatt statischer Probleme bietet die neue Version Minispiele in einer Grid-Welt. Um zu gewinnen, müssen KI-Agenten die Regeln und Ziele selbst herausfinden und durch Ausprobieren lernen, wie sie erfolgreich sein können. Dieser Ansatz soll die Art und Weise widerspiegeln, wie Menschen lernen: durch Erkunden, Planen und Anpassen an neue Umgebungen - Fähigkeiten, die für heutige KI-Systeme größtenteils unerreichbar sind. "Solange diese Lücke besteht, haben wir keine Allgemeine Künstliche Intelligenz (AGI)", schreibt das Projektteam auf arcprize.org.

Die "Developer Preview" bietet drei interaktive Testspiele, die laut den Entwicklern und der Bestenliste von Menschen schnell und einfach gelöst werden können. Bisher sind KI-Systeme jedoch durchweg daran gescheitert, eines der Spiele zu meistern, mit Ausnahme eines Eintrags unbekannter Herkunft. Obwohl der OpenAI-Forscher Zhiqing Sun auf X behauptet, dass der neue ChatGPT-Agent bereits das erste Spiel lösen kann, ist unklar, ob der Agent von OpenAI tatsächlich den Spitzenplatz belegt.

HuggingFace Sprint-Wettbewerb und Ausblick

Parallel zur Vorschauversion sponsert HuggingFace einen Sprint-Wettbewerb mit einem Preisgeld von 10.000 US-Dollar. Die Teilnehmer haben vier Wochen Zeit, den leistungsstärksten Agenten mithilfe der bereitgestellten API zu entwickeln und einzureichen. Bis Anfang 2026 soll der vollständige Benchmark etwa hundert verschiedene Spiele umfassen, aufgeteilt in öffentliche und private Testdatensätze. Weitere Details zum Benchmark, zur Teilnahme und zur API sind auf arcprize.org verfügbar.

Die Ergebnisse von ARC-AGI-3 unterstreichen die anhaltenden Herausforderungen bei der Entwicklung von AGI. Während KI-Systeme in spezifischen Bereichen beeindruckende Fortschritte erzielen, zeigen Benchmarks wie ARC-AGI-3, dass die menschliche Kognition in ihrer Flexibilität und Anpassungsfähigkeit weiterhin überlegen ist. Die Fähigkeit, in unbekannten Situationen zu lernen und Probleme zu lösen, ohne explizite Anweisungen, bleibt ein wichtiges Unterscheidungsmerkmal und ein zentrales Forschungsfeld auf dem Weg zur Allgemeinen Künstlichen Intelligenz.

Quellen:

1. https://the-decoder.com/new-arc-agi-3-benchmark-shows-that-humans-still-outperform-llms-at-pretty-basic-thinking/
2. https://x.com/EpicPlain/status/1946884978836402472
3. https://arcprize.org/arc-agi/3/
4. https://www.linkedin.com/posts/the-decoder-en_new-arc-agi-3-benchmark-shows-that-humans-activity-7352632816704069633-fiVQ
5. https://the-decoder.com/artificial-intelligence-news/ai-research/
6. https://www.reddit.com/r/agi/comments/1m13o2e/can_somebody_convince_how_llms_will_lead_us_to_agi/
7. https://www.youtube.com/watch?v=3vFu79ccDcc
8. https://www.facebook.com/THEDECODERAI/posts/google-has-published-a-free-white-paper-that-outlines-how-ai-agents-work-and-wha/563924529793960/
9. https://lewish.io/posts/arc-agi-2025-research-review