Innovativer Diffusionsansatz zur Neuausleuchtung von Beleuchtungsfeldern

Ein neuer Ansatz durch 2D-Diffusionsmodelle

In diesem Artikel stellen wir eine Methode vor, um relightable Radiance Fields aus Einzelbeleuchtungsdaten durch die Nutzung von Vorwissen aus 2D-Bilddiffusionsmodellen zu erstellen. Zunächst wird ein 2D-Diffusionsmodell auf einem Multi-Illumination-Datensatz feinabgestimmt, der durch Lichtausrichtung konditioniert ist. Dies ermöglicht es uns, eine Einzelbeleuchtungsaufnahme in einen realistischen, aber möglicherweise inkonsistenten, Multi-Illumination-Datensatz umzuwandeln.

Methodik

Unsere Methode besteht aus drei Hauptkomponenten:

- Ein 2D-Beleuchtungsneuronales Netzwerk mit direkter Kontrolle der Lichtausrichtung. - Nutzung dieses Netzwerks, um eine Multi-View-Erfassung mit Einzelbeleuchtung in eine virtuelle Multi-Beleuchtungserfassung umzuwandeln. - Erstellung eines relightable Radiance Fields, das Ungenauigkeiten in den synthetisierten neu beleuchteten Eingabebildern berücksichtigt und eine Multi-View-konsistente Beleuchtungslösung bietet.

Ergebnisse und Bewertung

Unsere Methode zeigt, dass es möglich ist, komplette Szenen realistisch neu zu beleuchten, indem man 2D-Diffusionsmodellvorwissen ausnutzt. Wir haben sowohl synthetische als auch reale Multi-View-Daten unter Einzelbeleuchtung untersucht und gezeigt, dass unsere Methode erfolgreich 2D-Diffusionsmodellvorwissen nutzt, um eine realistische 3D-Neuausleuchtung für komplette Szenen zu ermöglichen.

Vergleich mit bestehenden Methoden

Im Vergleich zu bestehenden Methoden, die auf genauen Geometrie- und Oberflächennormalen basieren, ist unsere Methode besser in der Lage, unordentliche Szenen mit komplexer Geometrie und reflektierenden BRDFs zu behandeln. Wir vergleichen unsere Methode mit Outcast, Relightable 3D Gaussians und TensoIR.

Schlussfolgerung

Zusammenfassend bietet unsere Methode eine interaktive Lösung zur Neuausleuchtung von Multi-View-Datensätzen, die unter einer einzigen Beleuchtungsbedingung erfasst wurden. Dies geschieht in Echtzeit durch die Nutzung von 2D-Diffusionsmodellvorwissen und die Integration einer kleinen Multi-Layer Perceptron sowie eines zusätzlichen Feature-Vektors zur Korrektur von Beleuchtungsinkonsistenzen zwischen Ansichten.

Bibliographie

1. https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/
2. https://arxiv.org/abs/2409.08947
3. https://arxiv.org/html/2409.08947v1
4. https://www.researchgate.net/publication/382522393_A_Diffusion_Approach_to_Radiance_Field_Relighting_using_Multi-Illumination_Synthesis
5. https://www.youtube.com/watch?v=1vR0TsAuH1Q
6. https://ouci.dntb.gov.ua/en/works/7AJB8vk4/
7. https://twitter.com/julienphilip2