Tencent stellt Divot vor: Neuer Video-Tokenizer zur Verbesserung des Verständnisses und der Generierung von Videos

Die Architektur von Divot

Divot besteht aus einem vortrainierten Vision Transformer (ViT) Encoder, einem räumlich-zeitlichen Transformer und einem Perceiver Resampler. Diese Komponenten extrahieren Videorepräsentationen aus den Videoframes. Die Repräsentationen dienen dann als Grundlage für ein vortrainiertes Video-Diffusionsmodell (DynamiCrafter), das den Rauschanteil in den latenten Repräsentationen der Videoframes vorhersagt. Nach dem Training kann das Diffusionsmodell realistische Videoclips aus Rauschen generieren, indem es die von Divot bereitgestellten Videorepräsentationen als Bedingung verwendet.

Divot-LLM: Videos und Sprache vereint

Um das Verständnis und die Generierung von Videos in einem einzigen Framework zu ermöglichen, kombiniert Tencent Divot mit einem großen Sprachmodell (Mistral-7B) zu Divot-LLM. Für das Videoverständnis wird Divot-LLM mit einem Next-Word-Prediction-Ziel auf Video-Caption-Daten trainiert. Die Herausforderung besteht darin, die kontinuierlichen Videorepräsentationen für die Videogenerierung mit dem LLM zu modellieren. Hierfür verwendet Tencent ein Gaußsches Mischmodell (GMM), um die Verteilung der Videofeatures abzubilden. Das LLM lernt, die GMM-Parameter vorherzusagen, und während der Inferenz werden Stichproben aus der vorhergesagten GMM-Verteilung gezogen, um Videos mithilfe des De-Tokenizers zu dekodieren.

Beeindruckende Ergebnisse und zukünftiges Potenzial

Erste Tests von Divot-LLM zeigen vielversprechende Ergebnisse im Bereich Videoverständnis und Zero-Shot-Videogenerierung. Durch die Anpassung an spezifische Animationsdatensätze ermöglicht Divot-LLM sogar das "Video-Storytelling", bei dem zusammenhängende Erzählungen und dazugehörige Videos generiert werden. Das Potenzial von Divot ist enorm und eröffnet neue Möglichkeiten für die Interaktion mit und die Erstellung von Videomaterial durch KI.

Divot und Mindverse: Eine starke Kombination

Die Entwicklung von Divot unterstreicht die rasante Entwicklung im Bereich der multimodalen KI. Für Unternehmen wie Mindverse, die sich auf KI-gestützte Content-Erstellung spezialisiert haben, bieten solche Innovationen spannende Möglichkeiten. Die Integration von fortschrittlichen Video-Tokenizern wie Divot in die Mindverse-Plattform könnte die Erstellung von Videoinhalten revolutionieren und Nutzern völlig neue Wege eröffnen, ihre kreativen Visionen umzusetzen.

Ausblick

Divot steht noch am Anfang seiner Entwicklung, aber die bisherigen Ergebnisse sind vielversprechend. Die Kombination aus Diffusionsmodellen und großen Sprachmodellen eröffnet neue Horizonte für das Verständnis und die Generierung von Videos. Es bleibt spannend zu beobachten, wie sich diese Technologie weiterentwickelt und welche Anwendungen in Zukunft daraus entstehen.