3D-Modellierung mit PartGen: Innovative Zerlegung von Objekten in Einzelteile

3D-Modellierung der nächsten Generation: Objekte in Einzelteile zerlegen mit PartGen

Die Welt der 3D-Modellierung erlebt einen rasanten Fortschritt. Text-zu-3D-Generatoren und 3D-Scanner liefern mittlerweile Modelle von beeindruckender Qualität in Form und Textur. Doch diese Modelle bestehen meist aus einer einzigen, zusammenhängenden Darstellung, sei es als implizites neuronales Feld, Gauß-Mischung oder Mesh. Fehlende Strukturen innerhalb der Modelle erschweren die Bearbeitung und Anpassung einzelner Teile. Ein neuartiger Ansatz namens PartGen adressiert dieses Problem und ermöglicht die Generierung von 3D-Objekten, die aus einzelnen, bedeutungsvollen Teilen bestehen – und das ausgehend von Text, Bildern oder unstrukturierten 3D-Objekten.

Wie funktioniert PartGen?

Der PartGen-Prozess basiert auf zwei Hauptphasen. Zunächst analysiert ein Multi-View-Diffusionsmodell mehrere Ansichten eines 3D-Objekts, egal ob generiert oder gerendert. Dieses Modell extrahiert plausible und über verschiedene Ansichten konsistente Teilsegmentierungen, die das Objekt in einzelne Teile zerlegen. In der zweiten Phase nimmt ein weiteres Multi-View-Diffusionsmodell jedes einzelne Teil, vervollständigt verdeckte Bereiche und nutzt diese vervollständigten Ansichten für die 3D-Rekonstruktion. Die Vervollständigung berücksichtigt den Kontext des gesamten Objekts, um sicherzustellen, dass die Teile später zusammenpassen. Besonders beeindruckend: Das generative Vervollständigungsmodell kann fehlende Informationen aufgrund von Verdeckungen ergänzen und in Extremfällen sogar vollständig unsichtbare Teile basierend auf dem Eingabeobjekt halluzinieren.

Vorteile und Anwendungsmöglichkeiten

Die Zerlegung in Einzelteile bietet zahlreiche Vorteile. So können Designer einzelne Komponenten eines 3D-Modells bearbeiten, ohne das gesamte Objekt zu verändern. Auch die automatisierte Generierung von Variationen eines Objekts wird durch die partbasierte Darstellung deutlich vereinfacht. Denkbar ist beispielsweise die automatische Anpassung der Größe oder Form einzelner Teile, um verschiedene Produktvarianten zu erstellen. PartGen eröffnet damit neue Möglichkeiten für Produktdesign, Animation und virtuelle Realität. Besonders für Mindverse als Anbieter von KI-gestützten Content-Lösungen bietet PartGen enormes Potenzial. Die Technologie könnte in die Plattform integriert werden, um Nutzern die Erstellung und Bearbeitung komplexer 3D-Modelle zu erleichtern.

Evaluierung und Ausblick

PartGen wurde anhand von generierten und realen 3D-Objekten evaluiert und übertrifft bestehende Segmentierungs- und Teilextraktionsverfahren deutlich. Die Ergebnisse zeigen, dass die Methode robuste und detaillierte 3D-Modelle erzeugt, die aus klar definierten Teilen bestehen. Anwendungen wie die 3D-Teilbearbeitung demonstrieren das Potenzial des Ansatzes für kreative Workflows. Die Entwicklung von PartGen steht noch am Anfang, doch die bisherigen Ergebnisse sind vielversprechend. Zukünftige Forschung könnte sich auf die Verbesserung der Segmentierungsgenauigkeit und die Erweiterung der Anwendungsmöglichkeiten konzentrieren. Die Integration von PartGen in Plattformen wie Mindverse könnte die 3D-Modellierung für ein breiteres Publikum zugänglich machen und den Weg für innovative Anwendungen ebnen. In Kombination mit den bestehenden KI-Lösungen von Mindverse, wie Chatbots, Voicebots und KI-Suchmaschinen, könnten so völlig neue Möglichkeiten der Content-Erstellung entstehen.

Bibliographie:

1. Chen, M., Shapovalov, R., Laina, I., Monnier, T., Wang, J., Novotny, D., & Vedaldi, A. (2024). PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models. arXiv preprint arXiv:2412.18608.
2. Yang, Y., Huang, Y., Wu, X., Guo, Y.-C., Zhang, S.-H., Zhao, H., He, T., & Liu, X. (2024). DreamComposer: Controllable 3D Object Generation via Multi-View Conditions. arXiv preprint arXiv:2312.03611.
3. Gao, R., Holynski, A., Henzler, P., Brussee, A., Martin-Brualla, R., Srinivasan, P., Barron, J. T., & Poole, B. (2024). CAT3D: Create Anything in 3D with Multi-View Diffusion Models. arXiv preprint arXiv:2405.10314.
4. CAT3D: Create Anything in 3D with Multi-View Diffusion Models. https://cat3d.github.io/
5. Holynski, A., Gao, R., Henzler, P., Brussee, A., Martin Brualla, R., Srinivasan, P. P., Barron, J. T., & Poole, B. (2024). CAT3D: Create Anything in 3D with Multi-View Diffusion Models. In NeurIPS.
6. Chen, M. PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models. https://www.youtube.com/watch?v=Ma_Nk85L3d4
7. ChenWang. Awesome 3D Diffusion. https://github.com/cwchenwang/awesome-3d-diffusion
8. Zheng, X.-Y., Pan, H., Guo, Y.-X., Tong, X., & Liu, Y. (2024). MVD^2: Efficient Multiview 3D Reconstruction for Multiview Diffusion. arXiv preprint arXiv:2402.14253.
9. Bohrium. MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View. https://bohrium.dp.tech/paper/arxiv/2405.03894
10. ChatPaper. https://www.chatpaper.com/chatpaper/fr?id=4&date=1735056000&page=1
11. ChatPaper. https://chatpaper.com/chatpaper/ja?id=4&date=1735056000&page=1