Vergleich der Generalisierungsfähigkeit von Supervised Fine-Tuning und Reinforcement Learning in KI-Modellen

Supervised Fine-Tuning vs. Reinforcement Learning: Ein Vergleich der Generalisierungsfähigkeit von KI-Modellen

In der Welt der Künstlichen Intelligenz spielen große Sprachmodelle eine immer wichtigere Rolle. Um diese Modelle für spezifische Aufgaben zu optimieren, werden verschiedene Nachtrainingsmethoden eingesetzt. Zwei der gängigsten Verfahren sind Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL). Während beide Methoden die Leistung von KI-Modellen verbessern können, unterscheiden sie sich grundlegend in ihrer Herangehensweise und ihren Auswirkungen auf die Generalisierungsfähigkeit der Modelle. Eine neue Studie untersucht nun die Stärken und Schwächen von SFT und RL im Hinblick auf Generalisierung und Memorierung.

SFT: Spezialist durch Auswendiglernen

Beim Supervised Fine-Tuning wird das Modell mit einem spezifischen Datensatz trainiert, der aus Eingabe-Ausgabe-Paaren besteht. Das Modell lernt, die gewünschten Ausgaben für bestimmte Eingaben zu reproduzieren. Diese Methode ist effektiv, um die Leistung des Modells für die trainierten Aufgaben zu verbessern. SFT ähnelt in gewisser Weise dem Auswendiglernen: Das Modell spezialisiert sich auf die im Trainingsdatensatz enthaltenen Informationen. Dies führt jedoch dazu, dass SFT-trainierte Modelle Schwierigkeiten haben, auf unbekannte Daten zu generalisieren, die nicht im Trainingsdatensatz enthalten waren.

RL: Generalist durch Erfahrung

Reinforcement Learning hingegen verfolgt einen anderen Ansatz. Das Modell lernt durch Interaktion mit einer Umgebung. Es erhält Belohnungen für erwünschtes Verhalten und Bestrafungen für unerwünschtes Verhalten. Durch diesen Prozess lernt das Modell, Strategien zu entwickeln, um die Belohnungen zu maximieren. Dieser Lernprozess ähnelt dem menschlichen Lernen durch Erfahrung und ermöglicht es dem Modell, generalisierbare Fähigkeiten zu entwickeln, die über den Trainingsdatensatz hinausgehen.

Studie: SFT memoriert, RL generalisiert

Die Studie untersucht die Generalisierungsfähigkeit von SFT und RL anhand von textbasierten und visuellen Aufgaben. Dafür wurden zwei Umgebungen verwendet: "GeneralPoints", ein Kartenspiel mit arithmetischen Regeln, und "V-IRL", eine Navigationsumgebung in der realen Welt. Die Ergebnisse zeigen, dass RL-trainierte Modelle, insbesondere solche, die mit ergebnisbasierten Belohnungen trainiert wurden, besser auf unbekannte Varianten der Aufgaben generalisieren. SFT-trainierte Modelle hingegen neigten dazu, die Trainingsdaten zu memorieren und hatten Schwierigkeiten mit Aufgaben, die nicht im Trainingsdatensatz enthalten waren.

RL verbessert visuelle Erkennungsfähigkeiten

Die Analyse ergab außerdem, dass RL die visuellen Erkennungsfähigkeiten des Modells verbessert, was zu einer besseren Generalisierung in der visuellen Domäne beiträgt. Trotz der überlegenen Generalisierung von RL zeigte die Studie, dass SFT weiterhin eine wichtige Rolle für ein effektives RL-Training spielt. SFT stabilisiert das Ausgabeformat des Modells, was es RL ermöglicht, seine Leistungsgewinne zu erzielen. Die Kombination aus SFT und RL ermöglicht es somit, die Stärken beider Methoden zu nutzen und die Generalisierungsfähigkeit von KI-Modellen zu maximieren.

Fazit: Synergieeffekte für optimale Ergebnisse

Die Ergebnisse der Studie unterstreichen die unterschiedlichen Stärken von SFT und RL. Während SFT die Spezialisierung auf bestimmte Aufgaben ermöglicht, fördert RL die Entwicklung generalisierbarer Fähigkeiten. Die Kombination beider Methoden bietet das Potenzial, KI-Modelle zu entwickeln, die sowohl in spezifischen Aufgaben exzellent sind als auch flexibel auf neue Herausforderungen reagieren können. Diese Erkenntnisse sind besonders relevant für Unternehmen wie Mindverse, die maßgeschneiderte KI-Lösungen entwickeln, darunter Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Durch die gezielte Anwendung von SFT und RL können diese Systeme optimiert werden, um den Anforderungen verschiedener Anwendungsbereiche gerecht zu werden.

Bibliographie:

1. Chu, T., Zhai, Y., Yang, J., Tong, S., Xie, S., Schuurmans, D., Le, Q. V., Levine, S., & Ma, Y. (2025). SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training. arXiv preprint arXiv:2501.17161.
2. Weitere Quellen:
3. https://chatpaper.com/chatpaper/zh-CN/paper/103149
4. https://arxiv.org/pdf/2411.15124
5. https://icml.cc/virtual/2024/papers.html
6. https://ml-research.github.io/
7. https://arxiv.org/html/2403.10131v1
8. https://nips.cc/virtual/2024/papers.html
9. https://openreview.net/attachment?id=w3iM4WLuvy&name=pdf
10. https://neurips.cc/virtual/2024/events/datasets-benchmarks-2024
11. https://iclr.cc/virtual/2024/events/oral
12. https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf