Neuer Ansatz zur Verbesserung von Vision-Language-Action Modellen in der Robotik

Die Entwicklung von generalistischen Robotern, die in der Lage sind, komplexe Aufgaben in der physischen Welt zu bewältigen, stellt eine der größten Herausforderungen in der Künstlichen Intelligenz dar. Ein zentrales Element hierbei sind Vision-Language-Action (VLA)-Modelle, die visuelle Informationen, Sprachbefehle und physische Aktionen miteinander verknüpfen. Bislang wurde angenommen, dass die Skalierung von Robotikdaten – also die Erhöhung der Datenmenge – der Schlüssel zur Verbesserung dieser Modelle ist. Jüngste Forschungsergebnisse deuten jedoch darauf hin, dass ein Paradigmenwechsel erforderlich sein könnte: weg von der reinen Datenskalierung hin zu einer repräsentationszentrierten Weiterentwicklung.

Herausforderungen der Datenskalierung in der Robotik

Die Datenerfassung für VLA-Modelle im Robotikbereich ist von Natur aus komplex und kostspielig. Im Gegensatz zu webbasierten Bild-Text-Daten, die in riesigen Mengen verfügbar sind, erfordert das Sammeln von Robotertrajektorien physische Interaktion und ist oft nur spärlich in der realen Welt repräsentiert. Dies führt dazu, dass das reine Skalieren von Robotikdaten an seine Grenzen stößt und die Qualität der Repräsentation zu einem zentralen Engpass wird. Unter einem festen Budget für Robotikdaten muss das kontinuierliche Vortraining von VLA-Modellen begrenzte Trajektorien in übertragbares visuell-aktionales Wissen umwandeln, anstatt lediglich Aktionen anzupassen.

Der repräsentationszentrierte Ansatz: VLAct

Ein vielversprechender Ansatz, der diese Herausforderung adressiert, ist VLAct. Hierbei handelt es sich um ein VLA-orientiertes Vision-Language Model (VLM)-Rückgrat, das auf breiten, heterogenen und Multi-Embodiment-Robotikdaten vortrainiert wird, bevor es für spezifische Aufgaben feinabgestimmt wird. Das Hauptziel von VLAct ist es, die breiten VLM-Prioritäten zu bewahren und gemeinsame Aktionssemantiken über verschiedene Embodiments hinweg zu fördern. Dies wird durch mehrere Mechanismen erreicht:

• VLM-Prioritäten-Bewahrung: Dieser Mechanismus stellt sicher, dass die bereits im VLM vorhandenen umfassenden visuellen und sprachlichen Kenntnisse erhalten bleiben und effektiv in den Robotikkontext übertragen werden.
• Multi-Head Continuous Action Co-Supervision: Durch die gleichzeitige Überwachung kontinuierlicher Aktionen über mehrere Ausgabeköpfe hinweg wird die Fähigkeit des Modells verbessert, komplexe und nuancierte Bewegungen zu erlernen.
• Partiell vereinheitlichtes Cross-Embodiment Action Layout: Dieser Ansatz ermöglicht es dem Modell, Aktionen über verschiedene Robotertypen hinweg zu verallgemeinern, indem es ein teilweise vereinheitlichtes Aktionsschema verwendet. Dies ist entscheidend für die Übertragbarkeit von Fähigkeiten auf neue, ungesehene Roboter.

Leistungsnachweise und Implikationen

Die Ergebnisse von VLAct sind bemerkenswert. Sowohl in Simulationen als auch in realen Szenarien sowie bei der Übertragung auf ungesehene Embodiments konnte VLAct die nachgelagerte Leistung unter festen Fine-Tuning-Protokollen konsistent verbessern. Auf den Benchmarks LIBERO-Plus und RoboTwin 2.0 übertrifft VLAct etablierte industrielle VLA-Systeme wie ABot-M0 und LingBot-VLA mit Erfolgsraten von 82,6 % bzw. 92,5 %. Im RoboDojo-Wettbewerb erreicht VLAct den sechsten Platz unter allen Richtlinien hinsichtlich der Erfolgsrate und übertrifft alle explizit als World-Action Model (WAM) ausgewiesenen Einträge in beiden Metriken.

Besonders hervorzuheben ist die Leistung auf RoboCasa-GR1, einem ungesehenen humanoiden Embodiment. VLAct erreicht mit nur 20 % der nachgelagerten Trajektorien eine bessere Leistung als die GR00T-N1.6-Baseline mit vollständigen Daten. Diese Ergebnisse wurden mit vollständig quelloffenen Daten und einem bescheidenen Trainings-Setup von nur 16 GPUs erzielt.

Fazit für B2B-Anwendungen

Die Erkenntnisse aus der Forschung zu VLAct haben weitreichende Implikationen für Unternehmen, die in der Entwicklung und Implementierung von KI-gesteuerten Robotiksystemen tätig sind. Sie zeigen, dass der Fokus auf die Qualität der Repräsentationen und auf effiziente kontinuierliche Vortrainingsmethoden einen Weg zu hochleistungsfähigen VLA-Modellen ebnet, der nicht zwangsläufig auf massive Datenskalierung angewiesen ist. Dies bedeutet für B2B-Anwender:

• Ressourceneffizienz: Die Fähigkeit, mit begrenzten Daten und moderatem Rechenaufwand überlegene Ergebnisse zu erzielen, kann die Kosten für die Entwicklung und Bereitstellung von Robotik-KI-Lösungen erheblich senken.
• Schnellere Iterationszyklen: Weniger Abhängigkeit von umfangreichen Datensammlungen ermöglicht schnellere Entwicklungs- und Testzyklen.
• Verbesserte Generalisierbarkeit: Modelle, die sich auf die Qualität der Repräsentation konzentrieren, sind besser in der Lage, auf neue und ungesehene Szenarien und Robotertypen zu verallgemeinern, was die Flexibilität und Anwendbarkeit von Robotersystemen erhöht.
• Zugang zu fortschrittlicher Technologie: Die Verfügbarkeit quelloffener Daten und Modelle senkt die Eintrittsbarrieren für Unternehmen, die diese fortschrittlichen Technologien nutzen möchten.

Die repräsentationszentrierte Weiterentwicklung für Vision-Language-Action-Modelle stellt somit einen wichtigen unabhängigen Fortschrittsvektor dar, der über die reine Datenskalierung hinausgeht und das Potenzial hat, die Entwicklung von generalistischen Robotern maßgeblich voranzutreiben.

Bibliographie

1. Yang, S., Wang, C., Chen, Y., Wang, Z., Tang, L., Gui, H., Ye, J., Lu, C., Wu, X., Zhu, M., Chen, P., Liu, S., Tian, Z., Zhao, H., Yu, B., & Jia, J. (2026). Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models. arXiv preprint arXiv:2608.27550.
2. VLAct Project Page: https://starvla.github.io/VLAct/
3. Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization. arXiv preprint arXiv:2602.09722.
4. Latent Action Pretraining From Videos. Proceedings of ICLR 2025.
5. Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning. arXiv preprint arXiv:2603.03818v2.
6. XR-1: Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion Representations. alphaXiv:2511.02776.