System-1.5 Reasoning: Effiziente Schlussfolgerung durch dynamische Abkürzungen in latenten Räumen

Effizienteres Schlussfolgern mit System-1.5 Reasoning: Dynamische Abkürzungen in Sprach- und latenten Räumen

Große Sprachmodelle (LLMs) haben die Art und Weise, wie wir mit Informationen umgehen, revolutioniert. Sie ermöglichen komplexe Aufgaben wie Textgenerierung, Übersetzung und Beantwortung von Fragen. Ein besonders interessantes Gebiet ist das sogenannte "Chain-of-Thought" (CoT) Reasoning, welches LLMs erlaubt, über das schnelle, intuitive Denken (System 1) hinauszugehen und deliberative, schrittweise Schlussfolgerungen (System 2) zu ziehen. CoT bringt jedoch einen erheblichen Nachteil mit sich: Die ausführliche Zwischenausgabe führt zu Ineffizienz und hohem Rechenaufwand.

Um diese Herausforderung zu bewältigen, wurden in letzter Zeit Verfahren entwickelt, die im latenten Raum operieren, also auf den internen Repräsentationen des Modells, ohne diese in Sprache zu dekodieren. Dies steigert die Effizienz, da die Verarbeitung von Textdaten entfällt. Allerdings behandeln diese Methoden alle Schritte im Denkprozess gleichwertig, ohne zwischen wichtigen Deduktionen und Hilfsschritten zu unterscheiden. Dies führt zu einer suboptimalen Nutzung der Rechenressourcen.

Eine neue Forschungsarbeit stellt nun "System-1.5 Reasoning" vor, ein adaptives Framework, das die Berechnung dynamisch über die Denkschritte verteilt, indem es Abkürzungen im latenten Raum nutzt. System-1.5 Reasoning verwendet zwei Arten von dynamischen Abkürzungen:

Der Modelltiefen-Shortcut (DS) ermöglicht eine adaptive Verarbeitung entlang der Modelltiefe. Unkritische Token werden durch leichte Adapterzweige frühzeitig ausgegeben, während kritische Token die tieferen Transformer-Schichten durchlaufen. Der Schritt-Shortcut (SS) hingegen ermöglicht die Wiederverwendung von Hidden States über die Dekodierschritte hinweg, um triviale Schritte zu überspringen und horizontal im latenten Raum zu schlussfolgern.

Das Training von System-1.5 Reasoning erfolgt in zwei Phasen. Zunächst wird das natürlichsprachliche CoT in ein kontinuierliches Denken im latenten Raum destilliert. Anschließend wird das vollständige System-2-Denken im latenten Raum in adaptive Abkürzungspfade (System-1.5 Reasoning) destilliert.

Experimente mit verschiedenen Schlussfolgerungsaufgaben zeigen die Leistungsfähigkeit dieses Ansatzes. Beispielsweise erreicht System-1.5 Reasoning auf dem Datensatz GSM8K eine vergleichbare Leistung wie traditionelle CoT-Finetuning-Methoden, beschleunigt aber die Inferenz um mehr als das 20-fache und reduziert die Tokengenerierung im Durchschnitt um 92,31%.

Diese Ergebnisse sind besonders relevant für Unternehmen wie Mindverse, die KI-gestützte Content-Tools entwickeln. Schnellere Inferenz und reduzierte Tokengenerierung bedeuten geringere Kosten und eine verbesserte Benutzererfahrung. Darüber hinaus eröffnen sich neue Möglichkeiten für die Entwicklung maßgeschneiderter KI-Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Die dynamische Ressourcenallokation von System-1.5 Reasoning könnte die Effizienz dieser Systeme erheblich steigern und sie für ein breiteres Anwendungsspektrum zugänglich machen.

Die Forschungsergebnisse zu System-1.5 Reasoning unterstreichen das Potenzial von adaptiven Rechenmethoden für große Sprachmodelle. Durch die intelligente Nutzung von Abkürzungen im latenten Raum lassen sich sowohl die Leistung als auch die Effizienz von LLMs deutlich verbessern. Dies ebnet den Weg für neue, innovative Anwendungen im Bereich der künstlichen Intelligenz.

Bibliographie:

1. Wang, X., Wang, S., Zhu, Y., & Liu, B. (2025). System-1.5 Reasoning: Traversal in Language and Latent Spaces with Dynamic Shortcuts. arXiv preprint arXiv:2505.18962. https://arxiv.org/abs/2505.18962
2. https://arxiv.org/html/2505.18962v1
3. https://www.themoonlight.io/en/review/system-15-reasoning-traversal-in-language-and-latent-spaces-with-dynamic-shortcuts
4. https://chatpaper.com/chatpaper/de/paper/141544
5. https://www.themoonlight.io/fr/review/system-15-reasoning-traversal-in-language-and-latent-spaces-with-dynamic-shortcuts
6. https://www.aimodels.fyi/papers/arxiv/system-15-reasoning-traversal-language-latent-spaces
7. https://huggingface.co/papers
8. https://www.aimodels.fyi/author-profile/suyuchen-wang-9e0a5185-3889-43f0-a529-bbd26f0c9197
9. https://www.researchgate.net/profile/Suyuchen-Wang