Studie findet keine durchgängigen Vorteile von Self-Distillation für KI-Agenten

Was die Verfahren dem Baseline-Training hinzufügen

Beim Reinforcement Learning erhält ein Agent Rückmeldung aus dem Ergebnis einer Aufgabe. Bei langen Interaktionen kann diese Rückmeldung spärlich sein: Ein Erfolg oder Misserfolg sagt nicht automatisch, welche einzelne Entscheidung innerhalb einer Handlungskette hilfreich war. GRPO dient in der Studie als Vergleichsverfahren, das sich auf die aufgabenbezogene Ergebnisrückmeldung stützt. Die untersuchten Self-Distillation-Ansätze ergänzen das Training um vom Modell selbst oder mit zusätzlichem Trainingskontext erzeugte Lehrsignale. [2]

Einige Varianten können dafür privilegierte Informationen im Training nutzen, also Kontext, der bei der späteren Auswertung nicht verfügbar ist. Laut Studienbeschreibung wurden sämtliche Methoden ohne diesen Zusatzkontext evaluiert. Das ist für den Vergleich relevant: Gemessen wird, ob ein während des Trainings verwendetes Lehrsignal in ein Verhalten übergeht, das auch ohne diese Hilfestellung funktioniert. [2]

Die Vergleichbarkeit hat zugleich Grenzen. Die Autoren vereinheitlichten Aufgaben, Modellgrößen und Evaluationsprotokoll, behielten aber methodenspezifische Trainingskonfigurationen bei, die sich an den jeweiligen Vorarbeiten und Implementierungen orientierten. Es handelt sich daher um eine gemeinsame Auswertung unterschiedlicher Rezepte, nicht um einen Versuch, in dem jede Methode mit identischen Trainingsdetails läuft. [2]

Zugewinne bleiben von Aufgabe und Modell abhängig

Die Hauptauswertung umfasst elf trainierte Verfahren einschließlich GRPO. Über die getesteten Kombinationen hinweg zeigt sich kein universeller Sieger: Laut Abstract bleiben Zugewinne gegenüber GRPO begrenzt und treten nicht konsistent über alle Einstellungen auf. Die Autoren berichten zugleich, dass jede der zehn Alternativen GRPO zumindest in einzelnen Situationen verbessert. Das ist ein differenzierterer Befund als die Aussage, Self-Distillation funktioniere grundsätzlich nicht. [1][2]

Als zusammenfassende Kennzahl bildet die Studie einen gleich gewichteten Mittelwert über zwölf Kombinationen aus Benchmark und Modellgröße. Auf dieser Aggregation erreicht PCSD 54,26 Punkte gegenüber 49,68 für GRPO; AgentOPSD ist die einzige weitere Alternative, die den GRPO-Mittelwert übertrifft. Die Kennzahl mittelt allerdings benchmarkeigene Metriken mit unterschiedlichen Skalen. Sie ist daher nicht ohne Weiteres als einheitliche, aufgabenübergreifende Leistungsgröße zu lesen. [2]

Auch der Spitzenwert von PCSD bedeutet keinen Sieg in jeder Einzelmessung: Das Verfahren übertrifft GRPO in sechs der zwölf Einstellungen, liegt in fünf darunter und erreicht in einer Gleichstand. Zudem führt es laut Studie in keiner einzelnen Einstellung. Der aggregierte Vorsprung hängt damit davon ab, wie Ergebnisse über verschiedene Aufgaben zusammengefasst werden. Für die praktische Auswahl eines Verfahrens ist der Mittelwert allein folglich keine ausreichende Entscheidungsgrundlage. [2]

Gute Endwerte können einen instabilen Verlauf verdecken

Die Studie betrachtet nicht nur die letzte Modellbewertung, sondern auch den Lernverlauf. Dafür protokollierten die Autoren 2.772 Validierungsauswertungen in den 132 Trainingsläufen. Sie vergleichen unter anderem den Endwert mit der Fläche unter der Validierungskurve, die hier den durchschnittlichen Fortschritt über den Trainingsverlauf zusammenfasst. Die Rangfolge ändert sich je nach Kennzahl: PCSD liegt beim mittleren Endergebnis vorn, OCSD bei der Kurvenfläche. AgentOPSD rangiert beim Endergebnis an zweiter, nach Kurvenfläche aber an neunter Stelle und damit hinter GRPO. [2]

Ein Beispiel zeigt, warum das relevant ist. Bei ALFWorld mit dem 4B-Modell erreicht AgentOPSD in Schritt 35 eine Validierungs-Erfolgsrate von 60 Prozent. Bei den einzelnen Auswertungen zwischen Schritt 45 und 70 liegt der Wert jeweils bei höchstens 4,3 Prozent; in Schritt 100 steigt er wieder auf 79,3 Prozent. Ein alleiniger Blick auf den letzten Messpunkt würde diesen zwischenzeitlichen Einbruch nicht erkennen lassen. Die Autoren weisen damit ein Risiko der Endpunktbewertung nach, nicht aber, dass ein solcher Verlauf in jeder Aufgabe oder bei jedem Lauf auftritt. [2]

Für den Betrieb eines Agenten ist diese Unterscheidung wichtig, wenn ein Trainingscheckpoint ausgewählt werden muss. Ein hoher Spitzenwert kann eine Fähigkeit zu einem bestimmten Zeitpunkt anzeigen, sagt aber nicht zwangsläufig, ob das Verfahren über den gesamten Lernprozess stabile Resultate liefert. Die Studie misst Trainingsvalidierung; sie belegt damit nicht automatisch Stabilität unter allen realen Einsatzbedingungen. Das ist eine Grenze, die bei der Übertragung auf Produktionssysteme berücksichtigt werden sollte. [2]

Mehr Trainingszeit führt nicht verlässlich zu mehr Leistung

Die Autoren erfassen den Rechenaufwand anhand der verstrichenen Trainingszeit auf acht H800-GPUs. Unterschiedliche Rollout-Längen und zusätzlicher Rechenbedarf für Lehrermodelle können dazu führen, dass zwei Verfahren bei gleicher Zahl von Trainingsschritten verschieden lange laufen. Ein Vergleich allein nach Schrittzahl würde diese Unterschiede ausblenden. Die berichteten Zeitwerte sind verstrichene Laufzeit und daraus abgeleitete GPU-Stunden, keine Messung der generierten Tokenzahl. [2]

In 120 paarweisen Methoden-GRPO-Vergleichen benötigen 112 Alternativen mehr Trainingszeit als GRPO. Unter diesen 112 Fällen erreichen 58 eine niedrigere mittlere Leistung über acht Seeds; sieben weitere liegen gleichauf. Diese Zahlen stützen die vorsichtige Schlussfolgerung der Autoren: Zusätzliche Trainingszeit übersetzt sich nicht zuverlässig in ein besseres Ergebnis. Sie zeigen ausdrücklich nicht, dass zusätzlicher Rechenaufwand niemals einen Leistungsgewinn bringt. [2]

Auch die beiden Verfahren mit einem höheren aggregierten Mittelwert sind nicht kostenneutral. PCSD benötigt im Mittel über gepaarte Trainingsläufe das 1,17-Fache der GRPO-Trainingszeit, AgentOPSD das 1,19-Fache. Das sind Messwerte aus dem untersuchten Versuchsaufbau und keine allgemeingültigen Kostenfaktoren für andere Hardware, Aufgaben oder Implementierungen. [2]

Der Zeitabgleich verändert einen Leistungsgewinn

Die Forschenden prüfen zusätzlich, was passiert, wenn nicht die Zahl der Trainingsschritte, sondern die verfügbare Laufzeit angeglichen wird. Als Budget gilt dabei die jeweilige Trainingszeit von GRPO; berücksichtigt wird der letzte Validierungscheckpoint, den ein anderes Verfahren innerhalb dieses Zeitfensters erreicht. Unter dieser Bedingung sinkt AgentOPSDs mittlere ALFWorld-Erfolgsrate über die drei Modellgrößen von 68,10 Prozent bei Schritt 100 auf 37,63 Prozent. GRPO erreicht in diesem Vergleich 58,10 Prozent. [2]

Das ist ein konkretes Beispiel dafür, wie die Bewertungsperspektive einen vermeintlichen Vorteil umkehren kann. Es ist kein Ergebnis für alle Aufgaben und Verfahren. Für Unternehmen lässt sich daraus als Analyse ableiten, dass ein Testbudget möglichst zur späteren Einsatzentscheidung passen sollte: Wenn verfügbare Trainingszeit begrenzt ist, ist ein Ergebnis nach festen Schritten nicht zwingend die aussagekräftigste Kennzahl. [2]

Was der Benchmark für die Bewertung von Agenten nahelegt

Der praktische Wert der Untersuchung liegt weniger in einer Empfehlung für einen einzelnen Trainingsansatz als in der Mehrdimensionalität des Vergleichs. Endleistung, Verlauf und gemessene Laufzeit ergeben zusammen ein anderes Bild als ein einzelner Endscore. Für eine interne Auswahl können Sie daher prüfen, ob ein Verfahren auf den für Sie relevanten Aufgaben konsistent besser abschneidet, ob starke Zwischenabfälle auftreten und welcher zusätzliche Rechenaufwand dafür anfällt. Das ist eine aus den Studienbefunden abgeleitete Bewertungslogik, kein Nachweis, dass ein bestimmtes Verfahren für Ihren Anwendungsfall geeignet ist. [1][2]

Auch die Zusammenfassung über Benchmarks sollte vorsichtig gelesen werden. Die berichtete Mittelwertbildung kombiniert die jeweils eigenen Metriken der vier Aufgaben. Ein höherer Gesamtwert ersetzt deshalb nicht die Prüfung der einzelnen Aufgabenresultate. Für eine B2B-Entscheidung ist insbesondere relevant, ob die Benchmark-Aufgaben dem vorgesehenen Einsatz ähneln; die Studie selbst testet ALFWorld, ScienceWorld, Search-QA und WebShop und weist damit keine Ergebnisse für beliebige Unternehmensprozesse nach. [2]

Die Autoren stellen ein öffentliches Repository mit Trainings-, Checkpoint-Konvertierungs- und Evaluationsabläufen für die untersuchten Modelle, Aufgaben und Methoden bereit. Das kann eine eigene Prüfung der Protokolle erleichtern. Die Existenz eines solchen Repositoriums ist jedoch nicht gleichbedeutend mit einer unabhängigen Replikation oder mit einem Nachweis, dass sich die angegebenen Ergebnisse unverändert auf andere Hardware übertragen lassen. [4]

Einordnung und Grenzen der Aussagekraft

Die Ergebnisse sind auf zehn repräsentative Verfahren, drei Größen der Qwen3.5-Modellfamilie, vier Benchmarks und den gewählten Versuchsaufbau begrenzt. Sie beantworten daher nicht, ob Self-Distillation in anderen Modellfamilien, bei weiteren Aufgaben oder mit anderen Trainingsrezepten nützlich sein kann. Auch der Gesamtaufwand von 12.124,4 H800-GPU-Stunden umfasst laut Studienübersicht Training, Validierung während des Trainings und das Speichern von Checkpoints; wiederholte abschließende Evaluationen sind darin nicht enthalten. [2]

Eine weitere arXiv-Arbeit vom Juli 2026 untersucht separat feedback-augmentierte Self-Distillation für Suchagenten auf sieben offenen Frage-Antwort-Benchmarks. Ihre Autoren berichten ebenfalls, dass sich Verbesserungen nicht über die untersuchten Varianten hinweg stabil halten; sie beschreiben außerdem ein Muster aus wiederkehrenden, wenig frageabhängigen Ausgabevorlagen und testen einen EMA-Lehrer zur Stabilisierung. Das ist keine direkte Replikation des hier behandelten Benchmarks: Fragestellung, Verfahren und Aufgaben unterscheiden sich. Es zeigt aber, dass Stabilität und Qualität des Lehrsignals auch in einer anderen Untersuchung als offene Probleme auftreten. [5]

Die belastbare Kernaussage bleibt damit eng umrissen: Im untersuchten Vergleich verbessert Self-Distillation GRPO punktuell, aber kein Verfahren über alle Einstellungen hinweg zuverlässig. Gute Endwerte können zwischenzeitliche Einbrüche verbergen, und ein höherer Rechenaufwand führt nicht automatisch zu besseren Resultaten. Für die Bewertung agentischer Trainingsverfahren spricht die Studie deshalb für gemeinsame Protokolle, wiederholte Auswertungen und einen expliziten Blick auf Kosten und Lernverläufe. [1][2]

Quellen

1. [1] [2610.19789v1] More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning — https://arxiv.org/abs/2610.19789v1 (abgerufen am 2026-10-16)
2. [2] More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning | alphaXiv — https://www.alphaxiv.org/abs/2610.19789 (abgerufen am 2026-10-16)
3. [4] GitHub - aim-uofa/Self-Distillation-AgentRL · GitHub — https://github.com/aim-uofa/Self-Distillation-AgentRL (abgerufen am 2026-10-16)
4. [5] Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents? — https://arxiv.org/html/2607.17558v1 (abgerufen am 2026-10-16)