Optimierung von Reinforcement Learning für große Sprachmodelle

Die Optimierung von Reinforcement Learning für großskalige Anwendungen in der KI

Die rapide Entwicklung im Bereich der Künstlichen Intelligenz (KI) hat die Bedeutung von Reinforcement Learning (RL) für das Training von Large Language Models (LLMs) erheblich gesteigert. Insbesondere bei der Verbesserung der Schlussfolgerungsfähigkeiten und agentischen Interaktionen von LLMs spielt RL eine zentrale Rolle. Dieser Artikel beleuchtet die Herausforderungen und Fortschritte bei der Skalierung von RL-Optimierungen für großskalige Lernprozesse, wobei der Fokus auf effizienten und benutzerfreundlichen Lösungen liegt, die der komplexen Natur moderner KI-Systeme gerecht werden.

Herausforderungen bei der Skalierung von Reinforcement Learning für LLMs

Das Training von LLMs mittels Reinforcement Learning ist ein rechenintensiver Prozess, der den koordinierten Einsatz mehrerer Modelle und mehrstufiger Pipelines erfordert. Die Implementierung solcher Systeme stößt auf signifikante Herausforderungen hinsichtlich Effizienz, Skalierbarkeit und Benutzerfreundlichkeit. Ein typischer RL-Trainingsworkflow umfasst mehrere LLMs – wie den Actor, Critic, Ref und Reward Models – die in Phasen der Generierung, Inferenz und des Trainings interagieren. Jede dieser Phasen birgt spezifische Anforderungen an Rechenleistung und Speicher, was die Entwicklung effizienter und skalierbarer Lösungen erschwert.

Die Generierungsphase, in der der Actor Antworten auf Prompts erzeugt und mit der Umgebung interagiert, kann insbesondere bei Multi-Turn-Aufgaben zu einem Leistungsengpass werden. Die Inferenzphase, bei der die generierten Sequenzen von den anderen Modellen bewertet werden, und die Trainingsphase, in der die Modellparameter aktualisiert werden, erfordern ebenfalls erhebliche Ressourcen und ausgeklügelte Parallelisierungsstrategien.

ROLL: Eine effiziente und benutzerfreundliche Skalierungsbibliothek

Als Antwort auf diese Herausforderungen wurde ROLL (Reinforcement Learning Optimization for Large-scale Learning) entwickelt. ROLL ist eine Bibliothek, die darauf abzielt, die Effizienz, Skalierbarkeit und Benutzerfreundlichkeit von RL-Optimierungen für großskaliges Lernen zu verbessern. Die Bibliothek richtet sich an drei Hauptnutzergruppen:

• Technologiepioniere: Sie suchen nach kostengünstigen, fehlertoleranten Lösungen für großskaliges Training.
• Entwickler: Sie benötigen flexible Kontrolle über Trainingsworkflows.
• Forscher: Sie streben agile Experimentiermöglichkeiten an.

ROLL basiert auf einer modularen Architektur, die mehrere Schlüsselkomponenten integriert:

• Single-Controller-Architektur mit Parallel Worker Abstraktion: Dies vereinfacht die Entwicklung von Trainingspipelines.
• Parallele Strategie und Datenübertragungsmodule: Diese ermöglichen effizientes und skalierbares Training.
• Rollout Scheduler: Bietet ein feingranulares Management des Lebenszyklus jedes Samples während der Rollout-Phase.
• Environment Worker und Reward Worker: Unterstützen schnelle und flexible Experimente mit agentischen RL-Algorithmen und Belohnungsdesigns.
• AutoDeviceMapping: Ermöglicht die flexible Zuweisung von Ressourcen zu verschiedenen Modellen über verschiedene Stufen hinweg.

Die interne Schulung eines Mixture-of-Experts (MoE)-Modells mit über 200 Milliarden Parametern unter Verwendung von ROLL über Tausende von GPUs für etwa zwei Wochen ohne Unterbrechung demonstrierte dessen Skalierbarkeit und Fehlertoleranz. Benchmarks auf Multi-Domain-Aufgaben und agentischen RL-Aufgaben bestätigten die Benutzerfreundlichkeit und Effektivität von ROLL.

ScaleRL: Vorhersagbare Skalierung von RL-Berechnungen

Eine weitere wichtige Entwicklung ist ScaleRL, eine Rezeptur, die auf einem umfassenden empirischen Studium der RL-Skalierung basiert. ScaleRL zielt darauf ab, die Skalierung von RL-Berechnungen vorhersehbarer zu gestalten, ähnlich den etablierten Skalierungsgesetzen im Pre-Training. Die Forschung hinter ScaleRL umfasste über 400.000 GPU-Stunden und identifizierte kritische Prinzipien für die Skalierung von RL:

• Asymptotische Leistungsgrenzen sind nicht universell: Unterschiedliche Methoden erreichen unterschiedliche Leistungsgrenzen, die durch Designentscheidungen wie Verlusttyp und Batch-Größe beeinflusst werden können.
• Effizienz überwindet anfängliche Vorteile: Methoden, die bei geringer Rechenleistung überlegen erscheinen, können bei größeren Skalierungen schlechter abschneiden. Die Schätzung der Skalierungsparameter (asymptotische Leistung und Recheneffizienz) aus frühen Trainingsdynamiken ist entscheidend.
• Neubewertung gängiger Annahmen: Viele Interventionen, die die Spitzenleistung verbessern sollen (z.B. Verlustaggregation, Datenkurriculum), beeinflussen hauptsächlich die Recheneffizienz, ohne die Leistungsgrenze wesentlich zu verschieben.

ScaleRL kombiniert bestehende Methoden und integriert Techniken wie asynchrones Pipeline-RL, erzwungene Längenunterbrechungen, abgeschnittenes Importance Sampling RL (CISPO), prompt-level Verlustmittelung, batch-level Advantage Normalisierung, FP32-Präzision bei Logits und Zero-Variance-Filterung. Diese Kombination ermöglicht es ScaleRL, eine höhere asymptotische Leistung und Recheneffizienz zu erzielen.

Experimentelle Validierung und Anwendungsbereiche

Die Leistungsfähigkeit dieser Optimierungsframeworks wurde in verschiedenen Szenarien evaluiert. Im Kontext von ROLL wurden beispielsweise folgende Ergebnisse erzielt:

• RLVR-Pipeline (Reinforcement Learning with Verifiable Rewards): Bei Aufgaben zur mathematischen und Code-Generierung zeigte die Qwen2.5-7B-Base-Modell eine durchschnittliche Genauigkeitssteigerung von 0.18 auf 0.52 (2.89x Verbesserung). Die Qwen3-30B-A3B-Base-Modell verbesserte sich von 0.27 auf 0.62 (2.30x Steigerung).
• Agentische Pipeline: In Umgebungen wie Sokoban und FrozenLake demonstrierte die agentische Pipeline eine deutliche Steigerung der Erfolgsraten und der Effektivität der Aktionen. Im WebShop-Umfeld verbesserte sich die Erfolgsrate von 37% auf über 85%, während die durchschnittliche Anzahl der Schritte pro Episode von über 7 auf etwa 4 sank.

Für ScaleRL wurde eine Vorhersagefähigkeit über 100.000 GPU-Stunden hinweg nachgewiesen, wobei die Leistungskurven eng mit den extrapolierten Vorhersagen übereinstimmten. Dies unterstreicht die Stabilität und Vorhersagbarkeit der Methode, selbst bei extremen Rechenskalierungen. Die Forschung zeigte auch, dass größere Modellgrößen, längere Generierungslängen und größere Batch-Größen zu höheren asymptotischen Leistungen führen.

Fazit

Die Optimierung von Reinforcement Learning für großskaliges Lernen ist ein komplexes, aber entscheidendes Feld für die Weiterentwicklung von Large Language Models. Frameworks wie ROLL und ScaleRL tragen maßgeblich dazu bei, die Effizienz, Skalierbarkeit und Benutzerfreundlichkeit dieser Prozesse zu verbessern. Durch modulare Architekturen, fortschrittliche Parallelisierungsstrategien und datengetriebene Skalierungsgesetze ermöglichen sie es Technologiepionieren, Entwicklern und Forschern, die Grenzen dessen zu erweitern, was mit KI-Modellen erreicht werden kann. Die kontinuierliche Forschung und Entwicklung in diesem Bereich wird weitere Fortschritte in der KI vorantreiben und die Anwendung von LLMs in immer komplexeren und anspruchsvolleren Szenarien ermöglichen.

Die Fähigkeit, RL-Trainings vorhersehbar zu skalieren, ist dabei von großer Bedeutung, da sie nicht nur die Entwicklung neuer Algorithmen beschleunigt, sondern auch die Kosten und den Zeitaufwand für großskalige Experimente reduziert. Dies ist ein entscheidender Schritt, um die Lücke zwischen der theoretischen Leistungsfähigkeit von LLMs und ihrer praktischen Anwendung in realen Systemen zu schließen.

Bibliographie

1. Wang, W., Xiong, S., Chen, G., et al. (2025). Reinforcement Learning Optimization for Large-Scale Learning: An Efficient and User-Friendly Scaling Library. arXiv preprint arXiv:2506.06122.
2. alibaba/ROLL. (2025). An Efficient and User-Friendly Scaling Library for Reinforcement Learning with Large Language Models. GitHub.
3. Khatri, D., Madaan, L., Tiwari, R., et al. (2025). The Art of Scaling Reinforcement Learning Compute for LLMs. arXiv preprint arXiv:2510.13786.
4. Ma, C., Li, A., Du, Y., Dong, H., & Yang, Y. (2024). Efficient and scalable reinforcement learning for large-scale network control. Nature Machine Intelligence, 6(9), 1006-1020.