Dynamische Skalierung und KI-gestützte Videogenerierung für immersive Panoramavideos

Dynamische Skalierung für Panoramavideos: Neue Möglichkeiten der KI-basierten Videogenerierung

Die Nachfrage nach immersiven Erlebnissen in AR/VR-Anwendungen und der Bedarf an räumlicher Intelligenz treiben die Entwicklung von hochwertigen Panoramavideos voran. Bisherige Video-Diffusionsmodelle stoßen jedoch häufig an ihre Grenzen, da sie durch begrenzte Auflösungen und Seitenverhältnisse eingeschränkt sind. Dies erschwert die Synthese dynamischer Inhalte auf Szenenebene. Ein neues Verfahren namens DynamicScaler verspricht hier Abhilfe zu schaffen, indem es eine räumlich skalierbare und panoramische dynamische Szenensynthese ermöglicht, die die Kohärenz über Panoramaszenen beliebiger Größe hinweg bewahrt.

DynamicScaler basiert auf einem zweistufigen Ansatz. In der ersten Stufe, der Low-Resolution-Phase, wird eine grobe Bewegungsstruktur etabliert. Im 360-Grad-Modus kommt ein spezieller "Panoramic Projecting Denoiser" zum Einsatz, um die Bewegung für das sphärische Panorama zu initialisieren. Im regulären Perspektivmodus wird ein "Offset Shifting" mit Überlappung für die ersten Entrauschungsschritte verwendet. Die restlichen Entrauschungsschritte werden dann durch den "Offset Shifting Denoiser" vervollständigt. In der zweiten Stufe, der Upscaling-Phase, werden weitere Shift-Fenster verwendet, um ein verfeinertes, hochauflösendes Panorama zu erzeugen. Dabei kommt eine "Global Motion Guidance" zum Einsatz, die die Bewegungskontinuität aus dem Low-Resolution-Video übernimmt.

Kernstück des Verfahrens ist der "Offset Shifting Denoiser" (OSD). Dieser ermöglicht effizientes, synchrones und kohärentes Entrauschen von Panoramaszenen mithilfe eines Diffusionsmodells mit fester Auflösung. Durch ein nahtlos rotierendes Fenster werden übergangslose Ränder und Konsistenz über den gesamten Panoramabereich sichergestellt. Das Verfahren unterstützt dabei verschiedene Auflösungen und Seitenverhältnisse. Der "Global Motion Guidance"-Mechanismus (GMG) gewährleistet sowohl die lokale Detailtreue als auch die globale Bewegungskontinuität.

Ein weiterer wichtiger Aspekt von DynamicScaler ist die Möglichkeit, 360-Grad-Panoramen zu generieren. Hierfür wird ein "Panoramic Projection Denoiser" eingesetzt. Dieses Verfahren wurde auch auf die zeitliche Dimension erweitert, um die Erstellung von längeren oder schleifenförmigen dynamischen Videos zu ermöglichen. Dadurch werden die Beschränkungen des GPU-Speichers überwunden und gleichzeitig die zeitliche Konsistenz über lange Panoram-Videosequenzen hinweg gewährleistet.

Erste Experimente zeigen vielversprechende Ergebnisse. DynamicScaler erreicht eine hohe Qualität in Bezug auf Inhalt und Bewegung bei der Generierung von Panoramavideos auf Szenenebene. Das Verfahren bietet eine trainingsfreie, effiziente und skalierbare Lösung für die Erstellung immersiver dynamischer Szenen. Der VRAM-Verbrauch bleibt dabei konstant, unabhängig von der Auflösung des Ausgabevideos.

Die Entwicklung von DynamicScaler adressiert die Herausforderungen der Erstellung von qualitativ hochwertigen Panoramavideos. Durch die Kombination von innovativen Techniken wie dem Offset Shifting Denoiser und der Global Motion Guidance ermöglicht das Verfahren die Generierung von nahtlosen und skalierbaren Videos für immersive Anwendungen. Die Möglichkeit, auch 360-Grad-Panoramen und längere Videosequenzen zu generieren, eröffnet neue Möglichkeiten für die kreative Gestaltung von immersiven Inhalten.

Bibliographie:

1. https://arxiv.org/abs/2412.11100
2. https://arxiv.org/html/2412.11100v1
3. https://paperreading.club/page?id=272967
4. https://dl.acm.org/doi/10.1145/3680528.3687664
5. https://github.com/ALEEEHU/Awesome-Text2X-Resources/blob/main/README.md
6. https://www.researchgate.net/publication/366775891_360-degree_panoramic_video_generation_using_virtual_and_actual_multiple_cameras
7. https://iros2024-abudhabi.org/accepted-papers
8. https://dl.acm.org/doi/fullHtml/10.1145/3680528.3687664
9. https://studios.disneyresearch.com/wp-content/uploads/2019/03/Panoramic-Video-from-Unstructured-Camera-Arrays.pdf
10. https://www.ecva.net/papers.php