Multimodale Sensorintegration zur Verbesserung der allgemeinen Roboterfähigkeiten

Jenseits des Blickfelds: Erweiterung generalistischer Roboterfähigkeiten durch multimodale Sensorintegration und Sprachverankerung

Die Interaktion mit der Welt ist ein multisensorisches Erlebnis. Für eine effektive, allgemeine Interaktion müssen alle verfügbaren Modalitäten – Sehen, Tasten, Hören – genutzt werden, um Lücken in der Wahrnehmung zu schließen. Greift ein Roboter beispielsweise in eine Tasche, in der die Sicht eingeschränkt ist, sollte er sich auf seinen Tast- und Hörsinn verlassen. Derzeitige generalistische Roboterstrategien werden jedoch typischerweise mit großen Datensätzen trainiert, die vorwiegend visuelle und propriozeptive Daten verwenden, um Roboteraktionen vorherzusagen.

Dieser Artikel beleuchtet die Forschungsergebnisse von Jones et al. (2025) zu "FuSe", einem neuartigen Ansatz zur Feinabstimmung generalistischer Roboterstrategien. FuSe integriert heterogene Sensormodalitäten, für die oft nur begrenzte Datensätze verfügbar sind, durch die Nutzung von natürlicher Sprache als gemeinsame, modalitätsübergreifende Verankerung.

Die Herausforderung der multimodalen Integration

Die Entwicklung wirklich multimodaler, generalistischer Roboterstrategien wird durch die Datenlage erschwert. Während fast alle Robotik-Datensätze visuelle und propriozeptive Informationen enthalten, erfassen nur wenige zusätzliche Modalitäten wie Tast- oder Audiodaten. Die Herausforderung besteht darin, die Generalisierungsfähigkeit von auf großen Datensätzen vortrainierten Roboterstrategien zu erhalten und gleichzeitig deren semantisches Wissen mit heterogenen Sensordaten zu verknüpfen, für die große Datensätze fehlen.

FuSe: Ein innovativer Ansatz

FuSe nutzt die natürliche Sprache als Brücke zwischen verschiedenen Modalitäten. Durch die Verankerung aller Modalitäten in einer gemeinsamen Sprachmodalität mittels einer Hilfsverlustfunktion ermöglicht FuSe die gemeinsame Verarbeitung und Interpretation verschiedener Sinneswahrnehmungen. Dies erlaubt es dem Roboter, komplexe Manipulationsaufgaben zu lösen, die ein kombiniertes Schlussfolgern über Sehen, Tasten und Hören erfordern – und das sogar im Zero-Shot-Setting, also ohne vorheriges spezifisches Training für die jeweilige Aufgabe.

Konkret kombiniert FuSe einen multimodalen kontrastiven Verlust mit einem sensorisch fundierten Sprachgenerierungsverlust, um hochstufige Semantik zu kodieren. Dadurch kann der Roboter beispielsweise multimodalen Aufforderungen folgen ("Hebe den weichen, roten Gegenstand auf"), Beschreibungen von Objekten generieren, mit denen er interagiert ("Der Gegenstand fühlt sich glatt an"), und kompositionelle, modalitätsübergreifende Aufforderungen verarbeiten ("Hebe den Gegenstand auf, der die gleiche Farbe hat wie der Knopf, der Klavier spielt").

Experimentelle Ergebnisse

Die Forscher trainierten FuSe mit einem eigens erstellten Datensatz von 27.000 Robotertrajektorien, die visuelle, taktile, akustische, propriozeptive und sprachliche Informationen sowie Roboteraktionen für drei verschiedene Manipulationsaufgaben in realen Umgebungen umfassten. Die Ergebnisse zeigten, dass FuSe die Erfolgsraten im Vergleich zu herkömmlichen, nur auf visuellen Daten trainierten Strategien oder von Grund auf neu trainierten multimodalen Strategien um über 20% steigern konnte.

Darüber hinaus erwies sich FuSe als anwendbar auf verschiedene generalistische Roboterstrategien, darunter diffusionsbasierte Strategien und große Vision-Language-Action (VLA)-Modelle. Dies deutet auf das Potenzial von FuSe hin, die Fähigkeiten einer breiten Palette von Robotersystemen zu verbessern.

Ausblick

Die Forschungsergebnisse zu FuSe eröffnen vielversprechende Perspektiven für die Entwicklung robusterer und vielseitigerer Roboter. Die Fähigkeit, verschiedene Sensormodalitäten durch Sprachverankerung zu integrieren, könnte zu Robotern führen, die sich besser an neue Umgebungen und Aufgaben anpassen können. Die von den Forschern veröffentlichten Daten, der Code und die Modelle bieten eine wertvolle Grundlage für zukünftige Forschung in diesem Bereich.

Bibliographie:

1. https://arxiv.org/abs/2501.04693
2. https://arxiv.org/html/2501.04693v2
3. https://chatpaper.com/chatpaper/de/paper/96806
4. https://deeplearn.org/arxiv/566697/beyond-sight:-finetuning-generalist-robot-policies-with-heterogeneous-sensors-via-language-grounding
5. https://arxiv-sanity-lite.com/?rank=pid&pid=2501.04693
6. https://www.aimodels.fyi/papers/arxiv/beyond-sight-finetuning-generalist-robot-policies-heterogeneous
7. https://paperreading.club/page?id=277298
8. https://sferrazza.cc/
9. https://github.com/YanjieZe/Paper-List
10. https://www.researchgate.net/scientific-contributions/Sergey-Levine-2162794215