Innovative Ansätze zur 3D-Texturierung mit TEXGen und generativen Diffusionsmodellen

Revolution in der 3D-Texturierung: TEXGen – Ein generatives Diffusionsmodell für Mesh-Texturen

Hochwertige Texturen sind essentiell für realistische 3D-Darstellungen. Bisherige Ansätze, die auf vortrainierten 2D-Diffusionsmodellen für die Optimierung von 3D-Texturen beruhen, sind oft rechenintensiv und erfordern eine aufwendige Anpassung an individuelle Objekte. TEXGen, ein neues generatives Diffusionsmodell, adressiert diese Herausforderungen, indem es das Lernen direkt im UV-Texturraum ermöglicht. Dieser innovative Ansatz erlaubt die direkte Generierung hochauflösender Texturen in einem Feed-Forward-Prozess, ohne aufwendige Testzeitoptimierung.

Im Gegensatz zu herkömmlichen Methoden, die 2D-Diffusionsmodelle verwenden, konzentriert sich TEXGen auf das grundlegende Problem des Lernens im UV-Texturraum selbst. Durch das Training eines großen Diffusionsmodells, das direkt hochauflösende Texturkarten generiert, umgeht TEXGen die Einschränkungen von 2D-Prioren und verbessert die 3D-Konsistenz der generierten Texturen. Das Modell ist in der Lage, Texturen basierend auf Texteingaben und Einzelbildansichten zu erstellen.

Eine hybride Architektur für effizientes Lernen

Um effizientes Lernen in hochauflösenden UV-Räumen zu ermöglichen, verwendet TEXGen eine skalierbare Netzwerkarchitektur. Diese kombiniert Faltungen auf UV-Karten mit Attention-Layern auf Punktwolken. Durch die Anwendung von Faltungen im UV-Raum lernt das Netzwerk lokale Details hochauflösend zu erfassen. Die Erweiterung der Berechnungen in den 3D-Raum ermöglicht es dem Netzwerk, globale 3D-Abhängigkeiten und Nachbarschaftsbeziehungen zu lernen, die durch den UV-Parametrisierungsprozess unterbrochen werden können. Diese hybride 2D-3D-Architektur gewährleistet eine globale 3D-Kohärenz und ermöglicht die Verwendung von Sparse-Features im 3D-Raum, was die Rechenkomplexität reduziert und die Skalierbarkeit des Modells verbessert.

Ein großes Diffusionsmodell für hochauflösende Texturen

Mit dieser Architektur wurde ein großes Diffusionsmodell mit 700 Millionen Parametern trainiert. Dieses Modell ist in der Lage, hochauflösende UV-Texturkarten (z. B. 1024x1024) in einem Feed-Forward-Verfahren zu generieren, gesteuert durch Texteingaben und Einzelbildansichten. Die direkte Überwachung durch Ground-Truth-Texturkarten, ohne ausschließliche Verwendung von Rendering-Loss, ermöglicht ein effizientes Training und verbessert die Qualität der generierten Texturen.

Vielfältige Anwendungsmöglichkeiten

Das trainierte TEXGen-Modell bietet eine Vielzahl von Anwendungsmöglichkeiten, die über die reine Texturgenerierung hinausgehen. Es unterstützt unter anderem:

- Textgesteuerte Textursynthese - Textgesteuertes Texture-Inpainting - Texturvervollständigung aus spärlichen Ansichten

Diese Funktionen eröffnen neue Möglichkeiten für die Erstellung und Bearbeitung von 3D-Inhalten und bieten Künstlern und Designern ein leistungsstarkes Werkzeug für die Gestaltung realistischer virtueller Welten.

TEXGen stellt einen signifikanten Fortschritt im Bereich der 3D-Texturierung dar. Durch das Lernen direkt im UV-Texturraum und die Verwendung einer skalierbaren hybriden Architektur ermöglicht es die effiziente Generierung hochauflösender und konsistenter Texturen. Die vielfältigen Anwendungsmöglichkeiten des Modells unterstreichen sein Potenzial, die 3D-Content-Erstellung zu revolutionieren.

Bibliographie

1. Yu, X., Yuan, Z., Guo, Y.-C., Liu, Y.-T., Liu, J., Li, Y., Cao, Y.-P., Liang, D., & Qi, X. (2024). TEXGen: A Generative Diffusion Model for Mesh Textures. ACM Transactions on Graphics (TOG), 43(6), 213. https://doi.org/10.1145/3687909
2. Huo, D., Guo, Z., Zuo, X., Shi, Z., Lu, J., Dai, P., Xu, S., Cheng, L., & Yang, Y.-H. (2024). TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling. In European Conference on Computer Vision (ECCV). https://arxiv.org/abs/2411.14740
3. https://arxiv.org/html/2411.14740v1
4. https://github.com/CVMI-Lab/TEXGen
5. https://x.com/gm8xx8/status/1860899584366592124
6. https://www.citedrive.com/en/discovery/texgen-a-generative-diffusion-model-for-mesh-textures/
7. https://dong-huo.github.io/TexGen/
8. https://www.zhuanzhi.ai/paper/022508f5e01a7090a5930dbbb910b175
9. https://dong-huo.github.io/TexGen/static/paper.pdf
10. https://arxiv-sanity-lite.com/?rank=pid&pid=2405.08210