Neue Ansätze zur effizienten Tokenisierung langer Videos durch koordinatenbasierte Rekonstruktion

Effiziente Tokenisierung langer Videos durch koordinatenbasierte Patch-Rekonstruktion

Die effiziente Verarbeitung von langen Videos stellt für KI-Modelle eine Herausforderung dar. Die schiere Menge an Daten in Form von Pixeln erfordert enorme Rechenleistung und Speicherkapazität. Ein vielversprechender Ansatz zur Bewältigung dieses Problems ist die Tokenisierung, bei der Videos in kompaktere Repräsentationen umgewandelt werden. Ein neues Verfahren namens CoordTok nutzt koordinatenbasierte Patch-Rekonstruktion, um die Tokenisierung langer Videos deutlich effizienter zu gestalten.

Herkömmliche Methoden zur Video-Tokenisierung, wie z.B. VQGAN, verwenden meist 2D-Latent-Grids mit festen Downsampling-Faktoren. Dies führt oft zu einer hohen Anzahl von Tokens, da die zeitliche Kohärenz von Videos nicht optimal genutzt wird. CoordTok hingegen nutzt die zeitliche Redundanz in Videos aus, indem es ein Mapping von koordinatenbasierten Repräsentationen zu den entsprechenden Patches lernt. Inspiriert von Fortschritten in 3D-generativen Modellen, kodiert CoordTok ein Video in faktorisierte Triplane-Repräsentationen. Diese Repräsentationen ermöglichen es, Patches anhand zufällig ausgewählter (x,y,t)-Koordinaten zu rekonstruieren.

Der entscheidende Vorteil dieses Ansatzes liegt in der Skalierbarkeit. CoordTok kann direkt auf langen Videos trainiert werden, ohne übermäßige Ressourcen zu benötigen. Im Gegensatz zu bestehenden Tokenizern, die alle Frames gleichzeitig rekonstruieren müssen, reduziert CoordTok den Trainingsaufwand erheblich. Experimente zeigen, dass CoordTok die Anzahl der Tokens für die Kodierung langer Videoclips drastisch reduzieren kann. Beispielsweise kann ein 128-Frame-Video mit einer Auflösung von 128x128 in nur 1280 Tokens kodiert werden, während herkömmliche Methoden 6144 oder 8192 Tokens für eine vergleichbare Rekonstruktionsqualität benötigen.

Diese effiziente Tokenisierung ermöglicht auch ein speichereffizientes Training von Diffusions-Transformern, die 128 Frames gleichzeitig generieren können. CoordTok eröffnet damit neue Möglichkeiten für die Verarbeitung und Generierung von langen Videos in verschiedenen Anwendungsbereichen, wie z.B. Videobearbeitung, -generierung und -analyse.

Die Entwicklung von effizienten Video-Tokenisierungsmethoden ist ein aktives Forschungsfeld. Neben CoordTok gibt es weitere Ansätze, die darauf abzielen, die Anzahl der Tokens zu reduzieren und gleichzeitig die Qualität der Rekonstruktion zu erhalten. Methoden wie Run-Length Tokenization (RLT) entfernen redundante Patches, die sich über die Zeit wiederholen, und verwenden eine Positionskodierung, um die Dauer des Tokens darzustellen. Auch Transformer-basierte 1D-Tokenisierer (TiTok) wurden entwickelt, die Bilder in 1D-Latent-Sequenzen umwandeln und so eine kompaktere Repräsentation erreichen.

Für Mindverse, ein deutsches Unternehmen, das eine All-in-One-Content-Plattform für KI-Texte, Bilder, Forschung und mehr anbietet, sind diese Entwicklungen von großer Bedeutung. Mindverse agiert als KI-Partner und entwickelt maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Die effiziente Verarbeitung von Videodaten ist ein wichtiger Bestandteil dieser Lösungen. CoordTok und ähnliche Verfahren können dazu beitragen, die Performance und Skalierbarkeit von KI-Anwendungen im Videobereich zu verbessern.

Die Forschung im Bereich der Video-Tokenisierung schreitet schnell voran. Es ist zu erwarten, dass in Zukunft noch effizientere und leistungsfähigere Methoden entwickelt werden, die die Möglichkeiten der KI im Umgang mit Videodaten weiter erweitern.

Bibliographie:

1. https://arxiv.org/abs/2411.05222
2. https://arxiv.org/html/2409.19429v1
3. https://github.com/52CV/CVPR-2024-Papers
4. https://openaccess.thecvf.com/content/ICCV2023/papers/Dou_TORE_Token_Reduction_for_Efficient_Human_Mesh_Recovery_with_Transformer_ICCV_2023_paper.pdf
5. https://rccchoudhury.github.io/rlt/
6. https://www.linkedin.com/posts/ahsenkhaliq_an-image-is-worth-32-tokens-for-reconstruction-activity-7206500583489372160-ghNs
7. https://nips.cc/virtual/2024/papers.html
8. https://www.researchgate.net/publication/381319136_Image_and_Video_Tokenization_with_Binary_Spherical_Quantization
9. https://eccv.ecva.net/virtual/2024/papers.html
10. https://openaccess.thecvf.com/content/WACV2024W/Pretrain/papers/Fang_E-ViLM_Efficient_Video-Language_Model_via_Masked_Video_Modeling_With_Semantic_WACVW_2024_paper.pdf