Ein neuer Ansatz zur Überwindung der Grenzen künstlich nützlicher Intelligenz hin zu künstlich allgemeiner Intelligenz

Von künstlich nützlicher zu künstlich allgemeiner Intelligenz: Ein neuer Ansatz für das Schlussfolgern

Große Sprachmodelle (LLMs) haben in den letzten Jahren bemerkenswerte Fortschritte erzielt und demonstrieren ein beeindruckendes praktisches Anwendungspotenzial – künstlich nützliche Intelligenz (AUI). Dennoch bleiben ihre Fähigkeiten im adaptiven und robusten Schlussfolgern, den Kennzeichen künstlich allgemeiner Intelligenz (AGI), begrenzt. Während LLMs scheinbar in Bereichen wie Alltagslogik, Programmierung und Mathematik erfolgreich sind, kämpfen sie mit der Verallgemeinerung von algorithmischem Verständnis in neuen Kontexten.

Experimente mit algorithmischen Aufgaben in esoterischen Programmiersprachen zeigen, dass das Schlussfolgern von LLMs an die Trainingsdaten angepasst ist und in seiner Übertragbarkeit eingeschränkt ist. Die Kernursache für diese eingeschränkte Übertragbarkeit liegt vermutlich in der Kopplung von Wissen und Schlussfolgern innerhalb der LLMs. Um den Übergang von AUI zu AGI zu ermöglichen, schlagen Forscher einen neuen Ansatz vor: die Entkopplung von Wissen und Schlussfolgern.

Drei Schlüsselrichtungen für die Weiterentwicklung von KI-Systemen

Dieser neue Ansatz konzentriert sich auf drei Schlüsselrichtungen:

Erstens, anstelle des weit verbreiteten Next-Token-Prediction-Pretrainings, soll das Schlussfolgern durch Reinforcement Learning (RL) von Grund auf neu trainiert werden. Dieser Ansatz zielt darauf ab, dem Modell beizubringen, eigenständig Schlussfolgerungen zu ziehen, anstatt nur statistische Zusammenhänge in den Trainingsdaten zu erkennen.

Zweitens, soll ein Curriculum synthetischer Aufgaben verwendet werden, um das Erlernen einer "Schlussfolgerungs-Priori" für RL zu erleichtern. Diese Priori kann dann auf natürlichsprachliche Aufgaben übertragen werden. Durch den Einsatz synthetischer Aufgaben können komplexe Szenarien geschaffen werden, die es dem Modell ermöglichen, robuste Schlussfolgerungsstrategien zu entwickeln.

Drittens, sollen durch die Verwendung eines kleinen Kontextfensters allgemeinere Schlussfolgerungsfunktionen gelernt werden. Dies reduziert das Ausnutzen von falschen Korrelationen zwischen Token und fördert die Entwicklung von robusteren und verallgemeinerbaren Schlussfolgerungsfähigkeiten.

Ein neues Architekturkonzept für KI-Systeme

Ein solches auf RL basierendes Schlussfolgerungssystem, gekoppelt mit einem trainierten Retrieval-System und einem großen externen Speicher als Wissensspeicher, könnte die derzeitigen Einschränkungen bestehender Architekturen beim Erlernen von Schlussfolgerungen in neuen Szenarien überwinden. Durch die Trennung von Wissen und Schlussfolgern können Modelle flexibler auf unbekannte Situationen reagieren und komplexere Probleme lösen.

Die vorgeschlagenen Richtungen bieten eine vielversprechende Grundlage für die zukünftige Entwicklung von KI-Systemen. Die Entkopplung von Wissen und Schlussfolgern könnte der Schlüssel zur Entwicklung von AGI sein und den Weg für leistungsfähigere und anpassungsfähigere KI-Systeme ebnen.

Für Unternehmen wie Mindverse, die sich auf die Entwicklung von maßgeschneiderten KI-Lösungen spezialisiert haben, bieten diese Forschungsergebnisse wertvolle Impulse. Die Entwicklung von Chatbots, Voicebots, KI-Suchmaschinen und Wissenssystemen könnte durch die Integration dieser neuen Ansätze für das Schlussfolgern erheblich verbessert werden. Die Fähigkeit, robust und adaptiv in neuen Situationen zu schlussfolgern, ist entscheidend für die Entwicklung von KI-Systemen, die den Anforderungen einer sich ständig verändernden Welt gerecht werden.

Bibliographie:

1. https://arxiv.org/abs/2502.19402
2. https://www.arxiv.org/pdf/2502.19402
3. https://chatpaper.com/chatpaper/paper/115625
4. https://deeplearn.org/arxiv/580500/general-reasoning-requires-learning-to-reason-from-the-get-go
5. https://www.oneusefulthing.org/p/the-end-of-search-the-beginning-of
6. https://openreview.net/forum?id=BGnm7Lo8oW
7. https://www.researchgate.net/publication/384938802_Reasoning_Paths_Optimization_Learning_to_Reason_and_Explore_From_Diverse_Paths
8. https://huggingface.co/papers/2502.07374
9. https://www.scribbr.com/methodology/inductive-reasoning/
10. https://www.assessmentday.co.uk/aptitudetests_logical.htm