Neue Methoden zur effizienten Verarbeitung hochauflösender Vision-Language-Modelle

Die Lösung: HiRED

Um diese Herausforderungen zu bewältigen, wurde HiRED (High-Resolution Early Dropping) entwickelt. HiRED ist ein Token-Dropping-Schema, das innerhalb eines festen Token-Budgets arbeitet und vor der Phase des Large Language Models (LLM) angewendet wird. Es handelt sich um eine Plug-and-Play-Lösung, die keine zusätzliche Schulung erfordert und dennoch eine überlegene Genauigkeit beibehält.

Funktionsweise von HiRED

HiRED nutzt die Aufmerksamkeit des Vision Encoders in den Anfangsschichten, um den visuellen Inhalt jeder Bildpartition zu bewerten und das Token-Budget entsprechend zuzuweisen. In der letzten Schicht wird die Aufmerksamkeit genutzt, um die wichtigsten visuellen Tokens aus jeder Partition auszuwählen und den Rest zu verwerfen. Auf diese Weise wird die Anzahl der zu verarbeitenden visuellen Tokens reduziert, ohne die Genauigkeit des Modells wesentlich zu beeinträchtigen.

Empirische Ergebnisse

In Tests mit dem Modell LLaVA-Next-7B auf einer NVIDIA TESLA P40 GPU zeigte HiRED beeindruckende Ergebnisse:

- Eine Erhöhung des Token-Generierungsdurchsatzes um das 4,7-fache - Eine Reduktion der Latenzzeit für die Generierung des ersten Tokens um 15 Sekunden - Eine Einsparung von 2,3 GB GPU-Speicher für eine einzelne Inferenz

Vergleich mit anderen Methoden

Im Vergleich zu bestehenden Methoden bietet HiRED mehrere Vorteile:

- Unterstützung von hoher Auflösung - Einhaltung von Ressourcenbeschränkungen - Frühzeitiges Dropping von Tokens - Breite Aufgabenabdeckung

Zusammenfassung der Ergebnisse

Die folgende Tabelle zeigt den Vergleich zwischen HiRED und anderen Methoden:

- Methode: FastV, unterstützt hohe Auflösung: Nein, Ressourcenbeschränkt: Ja, Frühes Dropping: Nein, Aufgabenabdeckung: Ja - Methode: FlexAttention, unterstützt hohe Auflösung: Ja, Ressourcenbeschränkt: Nein, Frühes Dropping: Nein, Aufgabenabdeckung: Ja - Methode: TokenCorrCompressor, unterstützt hohe Auflösung: Ja, Ressourcenbeschränkt: Nein, Frühes Dropping: Ja, Aufgabenabdeckung: Nein - Methode: PruMerge, unterstützt hohe Auflösung: Nein, Ressourcenbeschränkt: Nein, Frühes Dropping: Ja, Aufgabenabdeckung: Ja - Methode: HiRED (Ours), unterstützt hohe Auflösung: Ja, Ressourcenbeschränkt: Ja, Frühes Dropping: Ja, Aufgabenabdeckung: Ja

Schlussfolgerung

HiRED stellt einen bedeutenden Fortschritt in der effizienten Verarbeitung von hochauflösenden Vision-Language-Modellen dar. Durch die strategische Verwendung von Aufmerksamkeit zur Reduktion der Anzahl visueller Tokens ermöglicht HiRED eine schnellere und speichereffizientere Verarbeitung, ohne die Genauigkeit des Modells zu beeinträchtigen. Diese Innovation könnte eine breite Anwendung in ressourcenbeschränkten Umgebungen finden und den Weg für weitere Fortschritte in der KI ebnen.

Bibliographie

1. http://www.arxiv.org/abs/2408.10945
2. https://arxiv.org/html/2408.10945v1
3. https://www.reddit.com/r/LocalLLaMA/comments/1eyau89/hired_attentionguided_token_dropping_for/
4. https://arxiv-sanity-lite.com/?rank=pid&pid=2408.10945
5. https://synthical.com/article/HiRED%3A-Attention-Guided-Token-Dropping-for-Efficient-Inference-of-High-Resolution-Vision-Language-Models-in-Resource-Constrained-Environments-ba9ad3aa-2cd0-420d-a9c5-8739cf8e2772?
6. https://github.com/XuzhaoLi/ro-arxiv-daily
7. https://www.catalyzex.com/s/Llava
8. https://www.mpi-inf.mpg.de/departments/computer-vision-and-machine-learning/publications
9. https://digi-ebf.de/system/files/2020-12/aegt_proceedings_upload.pdf
10. https://chatpaper.com/chatpaper/de?id=4&date=1724169600&page=1