Neue Methoden im Robotik Lernen: Effizienz durch Next-Token Prediction und In-Context Imitation

Methodologie

Um die Beobachtungen des Roboters zu kodieren, werden die Bilddaten (linke und Handgelenkskamera) mit einem vortrainierten Vision Transformer verarbeitet. Die Propriozeption wird zusätzlich durch ein mehrschichtiges Perzeptron (MLP) kodiert. Die visuellen Latent- und Propriozeptions-Latents werden zusammengeführt und durch eine Aufmerksamkeits-Pooling-Schicht extrahiert, um den aktuellen Zustand zu repräsentieren. Ein weiteres MLP kodiert die Aktion, die in diesem Schritt ausgeführt wurde.

Mehrere Trajektorien derselben Aufgabe werden zusammengeführt, und die ersten k Trajektorien werden zufällig als Anreiz ausgewählt. Diese Trajektorien werden über einen kausalen Transformer kodiert, und das Modell dekodiert eine Serie von Tokens. Diese Tokens werden an den Positionen der Zustandsmerkmale dekodiert, um die nächsten 16 Aktionen über ein MLP zu generieren.

Modellarchitektur und Training

Das Transformer-Modell basiert auf einem zufällig initialisierten Llama2-Modell mit 12 Schichten und einer latenten Dimension von 768. Es nimmt eine Sequenz von Zustands- und Aktionsmerkmalen auf, die durch modalitätsspezifische Projektoren erzeugt werden. MLP-Dekoder produzieren Zustands- und Aktionsausgaben aus der letzten Schicht des Transformers an den entsprechenden Positionen.

Für das Training wird ein großes robotisches Datenset namens DROID sowie ein manuell erstelltes Multitask-Dataset (ICRT-Multi-Task) verwendet. Das ICRT-MT-Dataset umfasst 1098 Trajektorien und enthält 26 Aufgaben mit 6 Primitiven. ICRT wird auf dem DROID-Dataset vortrainiert und anschließend auf ICRT-MT feinabgestimmt.

Verlustfunktion

Während des Trainings werden n Trajektorien für eine Gesamtlänge von L als Eingabe verwendet. Die ersten k Trajektorien werden zufällig ausgewählt und als Anreiz innerhalb der Sequenz gekennzeichnet. Mindestens eine vollständige Trajektorie ist im Anreiz enthalten. Die Aktionsvorhersage wird nur für die Aktionen nach den Anreiztrajektorien mit L1-Verlust berechnet.

Experimente und Ergebnisse

Die Experimente umfassen zwei Aktionsprimitive: ein Pick-and-Place-Primitiv und ein Poking-Primitiv. Für jedes Aktionsprimitiv wurden sechs unbekannte Aufgaben entworfen, wobei drei Aufgaben die Generalisierung im Bereich und drei die Generalisierung auf nicht gesehene Objekte bewerten.

Die Ergebnisse zeigen, dass ICRT die anderen Varianten und Baselines übertrifft. ICRT kann auf unbekannte Aufgaben und Objekte generalisieren, selbst in Umgebungen, die vom Anreiz abweichen.

Fazit

Der In-Context Robot Transformer (ICRT) stellt einen signifikanten Fortschritt im Bereich der Robotik dar. Durch die Nutzung von Next-Token Prediction ermöglicht dieses Modell eine flexible und effektive Ausführung neuer Aufgaben ohne zusätzliche Trainingsanforderungen. Die Ergebnisse der Experimente belegen die Überlegenheit von ICRT gegenüber bestehenden Modellen und heben das Potenzial dieser innovativen Methode hervor, die zukünftige Entwicklungen in der Robotik zu beeinflussen.

Bibliographie

1. https://icrt.dev/
2. https://arxiv.org/pdf/2403.06963
3. https://boyuan.space/diffusion-forcing/
4. https://roboticsconference.org/program/papersession/?session=17.%20Imitation%20learning&c1=Rudolf%20Lioutikov&c2=Youngwoon%20Lee&c1a=&c2a=
5. https://www.arxiv.org/abs/2408.13442
6. https://groups.csail.mit.edu/robotics-center/public_papers/Chen24.pdf
7. https://roboticsconference.org/program/papersession/
8. https://github.com/dair-ai/ML-Papers-of-the-Week
9. https://openreview.net/pdf?id=suzMI2P1rT
10. https://people.ee.duke.edu/~lcarin/WSIL.pdf