SkillOS ein neuer Ansatz zur Fähigkeitskuration für selbst-entwickelnde KI-Agenten

Lernmechanismen und Belohnungsstrukturen

Die Optimierung des Skill-Curators erfolgt durch Reinforcement Learning. Eine zentrale Herausforderung dabei ist das indirekte und verzögerte Feedback für Kurationsentscheidungen, das sich erst durch die Leistung des Executors bei zukünftigen Aufgaben offenbart. SkillOS begegnet dem durch zwei Kernkonzepte:

Gruppierte Trainingsinstanzen

Jede Trainingsinstanz wird als eine Gruppe von miteinander verbundenen Aufgaben konstruiert, die sequenziell gelöst werden. Fähigkeiten, die aus früheren Erfahrungen gewonnen wurden, werden durch ihre Nützlichkeit bei der Lösung späterer, verwandter Aufgaben bewertet. Dies ermöglicht eine langfristige Nutzenbewertung der Fähigkeitskuration und bietet dichtere Lernsignale für komplexe Kurationsoperationen.

Zusammengesetzte Belohnungsfunktion

Die Belohnungsfunktion kombiniert vier Signale, um das Umweltfeedback besser den Kurationsentscheidungen zuzuordnen:

• Aufgabenerfolgsbelohnung (r^task): Misst den durchschnittlichen Erfolg bei den verbleibenden Aufgaben, nachdem das SkillRepo durch den Curator aktualisiert wurde.
• Funktionsaufruf-Belohnung (r^fc): Bewertet, ob der Curator gültige und erfolgreich ausgeführte Fähigkeitsoperationen erzeugt.
• Inhaltsqualitäts-Belohnung (r^cnt): Beurteilt, ob die kuratierten Fähigkeiten semantisch bedeutungsvoll und nützlich für zukünftige Aufgaben sind, oft durch einen externen Judge (z.B. Qwen3-32B).
• Kompressions-Belohnung (r^comp): Fördert prägnante Repository-Updates und entmutigt das wörtliche Kopieren von Trajektorien, indem die Kürze der kuratierten Fähigkeiten belohnt wird.

Durch die Optimierung des Skill-Curator mittels Grouped Reward Policy Optimization (GRPO) wird eine stabile und effiziente Lernweise für die Fähigkeitskuration ermöglicht.

Experimentelle Ergebnisse und Generalisierbarkeit

SkillOS wurde auf verschiedenen Benchmarks evaluiert, darunter Multi-Turn-Agentenaufgaben (ALFWorld, WebShop) und Single-Turn-Reasoning-Aufgaben (AIME24, AIME25, GPQA-Diamond). Die Ergebnisse zeigen eine konsistente Überlegenheit gegenüber speicherlosen und starken speicherbasierten Methoden:

• Aufgaben in ALFWorld und WebShop zeigten eine relative Leistungssteigerung von bis zu +9,8 % und eine Reduzierung der Interaktionsschritte um 6,0 % im Vergleich zur stärksten Baseline.
• Der trainierte Skill-Curator zeigte eine bemerkenswerte Generalisierungsfähigkeit über verschiedene Executor-Backbones und Aufgabenbereiche hinweg, selbst bei der Verwendung von Modellen wie Gemini-2.5-Pro.
• Interessanterweise übertraf ein 8B-Parameter-Curator, der mit SkillOS trainiert wurde, die Zero-Shot-Kurationsfähigkeiten von Gemini-2.5-Pro, wenn Letzteres direkt als Curator eingesetzt wurde. Dies unterstreicht den Wert des gezielten RL-Trainings gegenüber der reinen Modellgröße.

Qualitative Analysen der kuratierten Fähigkeiten zeigten, dass SkillOS nicht nur die Korrektheit des Inhalts verbessert, sondern auch dessen Spezifität und Benutzerfreundlichkeit. Der Curator lernt, Meta-Strategien zur Fehlerbehebung für agentische Aufgaben und verzweigtes Denken für Reasoning-Aufgaben zu destillieren, anstatt nur wortwörtliche Trajektorien zu kopieren.

Implikationen und zukünftige Forschungsrichtungen

SkillOS stellt einen bedeutenden Schritt in Richtung wirklich selbst-entwickelnder KI-Agenten dar. Die Fähigkeit, hochwertige, wiederverwendbare Fähigkeiten aus Erfahrungen zu lernen und dynamisch zu verwalten, eröffnet neue Möglichkeiten für autonome Systeme. Dennoch gibt es weiterhin Forschungsfelder, die auf diesem Ansatz aufbauen können:

• Verbesserte Retrieval-Mechanismen: Die aktuelle Implementierung verwendet relativ einfache keyword-basierte Retrieval-Methoden wie BM25. Fortgeschrittenere Methoden könnten die Relevanz der abgerufenen Fähigkeiten weiter steigern.
• Hierarchische und kompositionelle Fähigkeiten: Aktuelle Fähigkeiten sind flache Markdown-Einträge. Eine zukünftige Erweiterung könnte hierarchische Dekompositionen unterstützen, bei denen der Curator nicht nur Fähigkeiten einfügt, aktualisiert und löscht, sondern diese auch verknüpft, zusammensetzt und abstrahiert.
• Multi-Agenten- und geteilter Speicher: Die Erweiterung von SkillOS auf Szenarien, in denen mehrere Agenten parallel agieren und von einem geteilten Erfahrungsspeicher profitieren, birgt komplexe Herausforderungen bezüglich der Konfliktlösung und der Zuschreibung von Verdiensten.

Zusammenfassend lässt sich sagen, dass SkillOS einen praktischen, modularen und erfahrungsbasierten RL-Trainingsansatz für den Aufbau selbst-entwickelnder Agenten etabliert. Durch die effektive Kuration von Fähigkeiten können KI-Systeme ihre Leistung kontinuierlich verbessern und sich an neue Aufgaben und Umgebungen anpassen, was einen wichtigen Schritt in der Evolution der künstlichen Intelligenz darstellt.

Bibliographie

1. Ouyang, S., Yan, J., Chen, Y., Han, R., Wang, Z., Dalvi Mishra, B., Meng, R., Li, C.-L., Jiao, Y., Zha, K., Shen, M., Tirumalashetty, V., Lee, G., Han, J., Pfister, T., & Lee, C.-Y. (2026). SkillOS: Learning Skill Curation for Self-Evolving Agents. _arXiv preprint arXiv:2605.06614_.
2. EvolvingAgentsLabs/skillos. (n.d.). _README.md at main_. GitHub.
3. EvolvingAgentsLabs/skillos. (n.d.). _Boot.md at main_. GitHub.
4. Research Paper Review. (2026, May 9). _SkillOS: Learning Skill Curation for Self-Evolving Agents_ [Video]. YouTube.
5. ChatPaper. (2026, May 8). _SkillOS: Learning Skill Curation for Self-Evolving Agents_.