Neue Ansätze zur Videogenerierung aus Standbildern mittels maskierter Bewegungspfade

Die Erstellung von Videos aus Standbildern, auch bekannt als Image-to-Video (I2V) Generierung, hat in den letzten Jahren erhebliche Fortschritte gemacht. Die realistische Darstellung von Bewegungen, insbesondere in Szenarien mit mehreren Objekten, stellt jedoch weiterhin eine Herausforderung dar. Ein vielversprechender Ansatz zur Bewältigung dieser Herausforderung wird im Paper "Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation" vorgestellt.

Maskierte Bewegungspfade: Ein neuer Ansatz für I2V

Das Kernkonzept von "Through-The-Mask" ist die Verwendung von maskierten Bewegungspfaden als Zwischenrepräsentation. Diese Pfade erfassen sowohl semantische Objektinformationen als auch deren Bewegung, wodurch eine aussagekräftige und gleichzeitig kompakte Darstellung von Bewegung und Semantik ermöglicht wird. Der Ansatz basiert auf einem zweistufigen Framework.

Zwei Stufen zur Videogenerierung

In der ersten Stufe wird eine explizite Zwischenrepräsentation generiert. Hier kommen die maskierten Bewegungspfade ins Spiel. Sie beschreiben die Bewegung einzelner Objekte im Video. Die zweite Stufe nutzt diese Repräsentation, um das eigentliche Video zu generieren. Die Bewegungspfade dienen dabei als Grundlage für die Animation der Objekte. Durch die Trennung von Bewegungsbeschreibung und Videogenerierung wird eine präzisere Steuerung der Objektbewegungen ermöglicht.

Objektbasierte Aufmerksamkeit für verbesserte Konsistenz

Um die erlernte Repräsentation in der zweiten Stufe effektiv zu nutzen, verwendet "Through-The-Mask" objektbasierte Aufmerksamkeitsmechanismen. Ein räumlicher, objektbezogener, maskierter Cross-Attention-Mechanismus integriert objektspezifische Prompts in entsprechende Bereiche des latenten Raums. Ein maskierter räumlich-zeitlicher Self-Attention-Mechanismus sorgt für die Konsistenz der Bewegung jedes einzelnen Objekts von Bild zu Bild.

Überzeugende Ergebnisse und ein neuer Benchmark

Die Evaluation von "Through-The-Mask" auf etablierten Benchmarks mit Multi-Objekt- und High-Motion-Szenarien zeigt vielversprechende Ergebnisse. Die Methode erreicht State-of-the-Art-Ergebnisse in Bezug auf zeitliche Kohärenz, Bewegungsrealismus und Text-Prompt-Treue. Zusätzlich wurde ein neuer Benchmark namens "\benchmark" eingeführt, der speziell für die I2V-Generierung mit einzelnen und mehreren Objekten entwickelt wurde. Auch hier zeigt "Through-The-Mask" überzeugende Leistungen.

Die Bedeutung für KI-gestützte Content-Erstellung

Methoden wie "Through-The-Mask" sind ein wichtiger Schritt in Richtung einer realistischen und kontrollierbaren Videogenerierung. Für KI-Unternehmen wie Mindverse, die All-in-One-Content-Tools für KI-Text, Bilder, Videos und Forschung anbieten, eröffnen sich dadurch neue Möglichkeiten. Die verbesserte Kontrolle über die Bewegung von Objekten in Videos ermöglicht die Erstellung von dynamischeren und ansprechenderen Inhalten. Darüber hinaus können maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme von den Fortschritten in der I2V-Generierung profitieren.

Bibliographie

1. Yariv, G., Kirstain, Y., Zohar, A., Sheynin, S., Taigman, Y., Adi, Y., Benaim, S., & Polyak, A. (2025). Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation. arXiv preprint arXiv:2501.03059. https://huggingface.co/papers
2. https://motion-prompting.github.io/
3. https://paperreading.club/page?id=276837
4. Zhou, Q., Zhang, S., Yang, N., Qian, Y., & Li, H. (2024). MVideo: Motion Control for Enhanced Complex Action Video Generation. arXiv preprint arXiv:2411.08328v1. https://github.com/AlonzoLeeeooo/awesome-video-generation
5. Sun, J., Liu, D., Wang, Z., & Qian, X. (2023). Masked Motion Encoding for Self-Supervised Video Representation Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 15266-15275).
6. Zhang, Z., Long, F., Qiu, Z., Pan, Y., Liu, W., Yao, T., & Mei, T. (2024). Region-wise Motion Controller for Image-to-Video Generation. OpenReview. https://www.chatpaper.com/chatpaper/?id=15&date=1736179200&page=1
7. https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/02842-supp.pdf