Verbesserung der Token Integration in multimodalen Sprachmodellen durch Supervised Embedding Alignment

Einführung von Supervised Embedding Alignment (SEA)

Um dieses Problem anzugehen, wurde die Methode Supervised Embedding Alignment (SEA) entwickelt, eine Token-Level-Ausrichtungsmethode, die vision-language vortrainierte Modelle wie CLIP nutzt, um visuelle Token durch kontrastives Lernen an den Einbettungsraum des LLM anzupassen. Dieser Ansatz stellt sicher, dass visuelle und sprachliche Darstellungen kohärent integriert werden, wodurch die Leistung und Interpretierbarkeit von multimodalen LLMs verbessert wird, während ihre inhärenten Fähigkeiten erhalten bleiben.

Methodik

Token-Level-Labeling für feinkörnige Anpassung

Während der Vortrainingsphase wird eine Captioning-Aufgabe verwendet, um einen Adapter zu trainieren, visuelle Patches mit dem Einbettungsraum des LLM abzugleichen, wodurch visuelle Token wie Texttoken behandelt werden können. Derzeitige Methoden zur Anpassung auf Bildebene sind jedoch grob und bieten keine feingranulare Anleitung, was zu suboptimalen Ergebnissen führt.

Ein neues Supervised Alignment Paradigma

Herkömmliche Ansätze, die eine Supervision auf Bildebene am Ausgabeende des LLM anwenden, weichen von dem Ziel ab, visuelle und textuelle Token gleich zu behandeln, was es schwierig macht, die Lücke zwischen ihnen zu überbrücken. Um dies zu adressieren, schlagen wir ein neues Ausrichtungs-Supervisionsparadigma vor, das visuelle Token direkt mit textuellen Token abgleicht und es dem LLM ermöglicht, visuelle Token ähnlich wie textuelle Token zu verarbeiten. Durch die Nutzung semantischer Labels für jedes visuelle Token und den Einsatz von kontrastivem Lernen stellen wir sicher, dass visuelle Token-Darstellungen eng mit ihren entsprechenden semantischen Labels im Einbettungsraum des LLM übereinstimmen.

Experimente und Ergebnisse

Um die Effektivität von SEA zu testen, wurden umfangreiche Experimente durchgeführt, die gezeigt haben, dass SEA MLLMs erheblich verbessert, insbesondere bei kleineren Modellen, ohne zusätzliche Daten oder Rechenleistung für die Inferenz hinzuzufügen. Zudem bietet SEA eine universelle, kosteneffiziente Trainingsstrategie für Vision-Encoder, die auf Vision-Language-Aufgaben trainiert werden, und zeigt dabei hohe Renditen und außergewöhnliche Innovationen.

Schlussfolgerung

SEA stellt einen bedeutenden Fortschritt in der Entwicklung von MLLMs dar, indem es eine genauere Integration visueller und sprachlicher Darstellungen ermöglicht. Dies verbessert nicht nur die Leistung und Interpretierbarkeit der Modelle, sondern legt auch den Grundstein für die Entwicklung allgemeiner und anpassungsfähiger Lösungen zur Verbesserung multimodaler Systeme.

Bibliografie

1. https://arxiv.org/abs/2408.11813
2. https://arxiv.org/html/2408.11813v1
3. https://deeplearn.org/arxiv/520253/sea:-supervised-embedding-alignment-for-token-level-visual-textual-integration-in-mllms
4. https://synthical.com/article/SEA%3A-Supervised-Embedding-Alignment-for-Token-Level-Visual-Textual-Integration-in-MLLMs-552e1da5-ef70-4567-9508-89b00c10dbc0?
5. https://twitter.com/gm8xx8/status/1826436232873734200
6. https://huggingface.co/papers
7. https://chatpaper.com/chatpaper/zh-CN/paper/52524
8. https://arxiv-sanity-lite.com/
9. https://github.com/52CV/CVPR-2024-Papers