Neuer Ansatz zur konsistenten 3D-Texturierung mit MVPaint

Dreidimensionale Texturierung mit MVPaint: Ein neuer Ansatz für konsistente Multi-View-Texturen

Die Erstellung von Texturen für 3D-Modelle ist ein essentieller Schritt im Produktionsprozess von 3D-Assets. Hochwertige Texturen verleihen den Modellen ein realistisches Aussehen und tragen maßgeblich zur visuellen Qualität in Anwendungen wie Spielen, Animationen und Virtual/Augmented/Mixed Reality bei. Trotz der Fortschritte im Bereich der Text-to-Image- und Text-to-Texture-Generierung (T2T) stellen lokale Diskontinuitäten und Inkonsistenzen zwischen verschiedenen Ansichten weiterhin eine Herausforderung dar. Ein neuer Ansatz namens MVPaint verspricht hier Abhilfe.

MVPaint: Ein dreistufiger Ansatz

MVPaint ist ein mehrstufiges Framework, das die Generierung und Verfeinerung von 3D-Texturen kombiniert. Ziel ist es, hochauflösende, nahtlose Texturen zu erstellen, die über mehrere Ansichten hinweg konsistent sind. Der Prozess gliedert sich in drei Hauptmodule:

Synchronisierte Multi-View-Generierung (SMG): Ausgehend von einem 3D-Mesh-Modell generiert MVPaint zunächst mehrere Ansichten des Objekts. Ein SMG-Modell nutzt Cross-Attention und UV-Synchronisation, um die Texturen basierend auf einer textuellen Beschreibung zu erstellen. Dieser Ansatz minimiert das sogenannte "Janus-Problem", bei dem Inkonsistenzen zwischen benachbarten Ansichten auftreten.

Räumlich-bewusstes 3D-Inpainting (S3I): Um eine vollständige Texturierung des 3D-Modells zu gewährleisten, adressiert das S3I-Modul Bereiche, die in der ersten Phase nicht sichtbar waren. Durch die Berücksichtigung der räumlichen Beziehungen zwischen den 3D-Punkten auf der Oberfläche des Modells wird eine nahtlose Ergänzung der Textur erreicht.

UV-Verfeinerung (UVR): Im letzten Schritt verbessert das UVR-Modul die Qualität der Textur im UV-Raum. Ein Super-Resolution-Modul erhöht die Auflösung der UV-Map, gefolgt von einem räumlich-bewussten Algorithmus zur Glättung von Nähten (SSA). Dieser SSA-Algorithmus korrigiert Diskontinuitäten, die durch die UV-Abwicklung entstehen können, insbesondere an den Rändern der abgewickelten Flächen.

Neue Benchmarks für die T2T-Evaluierung

Zur Evaluierung der T2T-Generierung wurden zwei neue Benchmarks entwickelt: der Objaverse T2T Benchmark und der GSO T2T Benchmark. Der Objaverse T2T Benchmark basiert auf einer Auswahl hochwertiger 3D-Meshes aus dem Objaverse-Datensatz. Der GSO T2T Benchmark hingegen umfasst alle Modelle des GSO-Datensatzes und dient der Bewertung der Generalisierbarkeit von T2T-Modellen. Für jedes 3D-Mesh werden mithilfe eines Large Language Models (LLM) Textbeschreibungen generiert.

Vielversprechende Ergebnisse

Extensive Tests auf den beiden Benchmarks zeigen, dass MVPaint im Vergleich zu bisherigen State-of-the-Art-Methoden überzeugende Ergebnisse liefert. Die generierten Texturen weisen eine hohe Qualität und Konsistenz über mehrere Ansichten auf. Probleme wie fehlende Bereiche, Inkonsistenzen, übermäßige Glätte und Janus-Effekte werden deutlich reduziert. Die Robustheit und Vielseitigkeit von MVPaint machen es zu einem vielversprechenden Ansatz für die 3D-Texturierung.

MVPaint bietet somit ein innovatives Framework für die 3D-Texturierung, das die Herausforderungen der Multi-View-Konsistenz effektiv angeht und die Qualität der generierten Texturen deutlich verbessert. Die Einführung neuer Benchmarks ermöglicht zudem eine objektive Bewertung und Vergleichbarkeit von T2T-Methoden, was die Weiterentwicklung des Feldes fördert.

Bibliographie

1. Cheng, W., Mu, J., Zeng, X., Chen, X., Pang, A., Zhang, C., Wang, Z., Fu, B., Yu, G., Liu, Z., & Pan, L. (2024). MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D. arXiv preprint arXiv:2411.02336.
2. Zeng, X., Chen, X., Qi, Z., Liu, W., Zhao, Z., Wang, Z., Fu, B., Liu, Y., & Yu, G. (2024). Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 4252-4262).
3. Cao, C., Yu, C., Fu, Y., Wang, F., & Xue, X. (2024). MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing. arXiv preprint arXiv:2408.08000.
4. Xie, D., Li, J., Tan, H., Sun, X., Shu, Z., Zhou, Y., Bi, S., Pirk, S., & Kaufman, A. E. (2023). Carve3D: Improving Multi-view Reconstruction Consistency for Diffusion Models with RL Finetuning. arXiv preprint arXiv:2312.13980.
5. Shi, Y., Wang, P., Ye, J., Mai, L., Li, K., & Yang, X. (2023). MVDream: Multi-view Diffusion for 3D Generation. arXiv preprint arXiv:2308.16512.