Fortschritte in der Integration von Suchprozessen und mehrstufigem Schlussfolgern in Künstlicher Intelligenz

Künstliche Intelligenz lernt mehrstufiges Schlussfolgern durch Suchprozesse

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte im Bereich des logischen Schlussfolgerns erzielt. Beispiele hierfür sind Modelle wie OpenAI-o1 und DeepSeek-R1. Trotz dieser Fortschritte bleibt die Integration von Schlussfolgerungsprozessen mit externen Suchvorgängen eine Herausforderung, insbesondere bei komplexen, mehrstufigen Fragestellungen, die mehrere Suchschritte erfordern.

Ein vielversprechender Ansatz zur Bewältigung dieser Herausforderung ist ReSearch, ein neuartiges Framework, das LLMs trainiert, mithilfe von Reinforcement Learning (bestärkendes Lernen) mit Suchprozessen zu arbeiten. Der innovative Aspekt von ReSearch liegt darin, dass es ohne jegliche überwachten Daten über die notwendigen Suchschritte auskommt. Stattdessen werden Suchvorgänge als integrale Bestandteile der Argumentationskette betrachtet. Das LLM lernt, wann und wie Suchen durchgeführt werden sollen, indem es durch textbasiertes Denken gesteuert wird. Die Suchergebnisse beeinflussen dann den weiteren Verlauf des Schlussfolgerungsprozesses.

Die Entwickler von ReSearch trainierten das System mit den Modellen Qwen2.5-7B(-Instruct) und Qwen2.5-32B(-Instruct) und führten umfangreiche Experimente durch. Obwohl das Training nur auf einem einzigen Datensatz erfolgte, zeigten die Modelle eine bemerkenswerte Generalisierbarkeit über verschiedene Benchmarks hinweg. Die Analysen der Ergebnisse deuten darauf hin, dass ReSearch während des Reinforcement-Learning-Prozesses auf natürliche Weise fortgeschrittene Denkfähigkeiten wie Reflexion und Selbstkorrektur hervorbringt.

Wie ReSearch funktioniert

ReSearch basiert auf der Idee, dass der Suchprozess eng mit dem Denkprozess verknüpft sein sollte. Anstatt Suchanfragen als separate Aktionen zu betrachten, werden sie in den Denkprozess des LLMs integriert. Das Modell lernt, Suchanfragen aus dem Kontext der Frage und den bisherigen Suchergebnissen abzuleiten. Dieser Ansatz ermöglicht es dem LLM, mehrstufige Schlussfolgerungen zu ziehen, indem es Informationen aus verschiedenen Quellen kombiniert.

Potenzial und zukünftige Anwendungen

Die Fähigkeit von LLMs, komplexe Schlussfolgerungen durch die Integration von Suchprozessen zu ziehen, eröffnet eine Vielzahl von Anwendungsmöglichkeiten. Von der Beantwortung komplexer Forschungsfragen bis hin zur Unterstützung bei der Entscheidungsfindung in Unternehmen – ReSearch könnte die Art und Weise, wie wir mit Informationen interagieren, grundlegend verändern. Die vielversprechenden Ergebnisse der ersten Experimente legen nahe, dass Reinforcement Learning ein Schlüssel zur Entwicklung noch leistungsfähigerer und flexiblerer LLMs sein könnte.

Für Mindverse, ein deutsches Unternehmen, das sich auf die Entwicklung von KI-gestützten Content-Lösungen spezialisiert hat, sind diese Entwicklungen von besonderem Interesse. Die Integration von ReSearch-ähnlichen Technologien in die Produktpalette von Mindverse könnte die Leistungsfähigkeit ihrer KI-Tools, wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme, erheblich steigern. Dies würde es den Nutzern ermöglichen, komplexere Aufgaben zu bewältigen und wertvollere Erkenntnisse aus ihren Daten zu gewinnen.

Bibliographie:

1. https://arxiv.org/abs/2503.09516
2. https://github.com/Agent-RL/ReSearch
3. https://openai.com/index/learning-to-reason-with-llms/
4. https://arxiv.org/abs/2503.16219
5. https://huggingface.co/papers/2503.16219
6. https://huggingface.co/papers
7. https://github.com/volcengine/verl
8. https://chatpaper.com/chatpaper/?id=2&date=1742918400&page=1
9. https://artgor.medium.com/paper-review-deepseek-r1-incentivizing-reasoning-capability-in-llms-via-reinforcement-learning-edf4343dcf3a
10. https://www.linkedin.com/posts/nir-diamant-ai_research-learning-to-reason-with-search-activity-7304572366397853697-PdFN