Fortschritte in der Beleuchtungssynthese: Neue Methoden zur Anpassung von Strahlungsfeldern

Der Ansatz

Der von Yohan Poirier-Ginter, Alban Gauthier, Julien Philip, Jean-Francois Lalonde und George Drettakis entwickelte Ansatz basiert auf der Erstellung beleuchtbarer Strahlungsfelder aus Daten, die unter einer einzigen Beleuchtungsbedingung erfasst wurden. Dies erfolgt durch die Nutzung von Prioren, die aus 2D-Bilddiffusionsmodellen extrahiert wurden. Der Prozess lässt sich in drei Hauptschritte unterteilen:

1. Erstellung eines 2D-Beleuchtungsnetzwerks

Der erste Schritt besteht darin, ein 2D-Beleuchtungsneuronales Netzwerk zu erstellen, das eine direkte Steuerung der Beleuchtungsrichtung ermöglicht. Hierzu wird ein vortrainiertes Diffusionsmodell auf einem Multi-Illumination-Datensatz feinabgestimmt.

2. Umwandlung von Einzelbeleuchtungsaufnahmen

Das Netzwerk wird verwendet, um eine Einzelbeleuchtungsaufnahme in eine virtuelle Multi-Illumination-Aufnahme umzuwandeln. Dies geschieht durch die Generierung mehrerer beleuchteter Versionen jedes Bildes im Datensatz.

3. Erstellung eines beleuchtbaren Strahlungsfelds

Schließlich wird ein beleuchtbares Strahlungsfeld unter Verwendung von 3D-Gaussian-Splatting (3DGS) erstellt. Diese Darstellung wird durch ein kleines Mehrschicht-Perzeptron (MLP) erweitert, das die sphärischen harmonischen Koeffizienten ersetzt.

Ergebnisse

Die Methode zeigt beeindruckende Ergebnisse bei der Beleuchtungsanpassung von synthetischen und realen Multi-View-Daten unter Einzelbeleuchtung. Sie bietet eine realistische 3D-Beleuchtung für komplette Szenen und überwindet dabei die Herausforderungen, die mit der Beleuchtung von komplexen Geometrien und reflektierenden Oberflächen verbunden sind.

Vergleich mit anderen Methoden

Im Vergleich zu anderen Methoden wie Outcast, Relightable 3D Gaussians und TensoIR zeigt diese Methode eine überlegene Handhabung von unübersichtlichen Szenen und komplexen Geometrien. Dies liegt daran, dass sie nicht auf genaue Geometrien und Oberflächennormalen angewiesen ist.

Optimierung und Konsistenz

Um die Konsistenz über mehrere Ansichten hinweg zu gewährleisten, wird ein per-Bild-Hilfsvektor optimiert. Diese Optimierung hilft, Ungenauigkeiten in den synthetisierten beleuchteten Eingabebildern zu korrigieren und eine konsistente Beleuchtungslösung zu bieten.

Zukunftsaussichten

Die Methode zeigt vielversprechende Ergebnisse und bietet eine neue Möglichkeit, beleuchtbare Strahlungsfelder zu erstellen. Die Forscher planen, ihre Arbeit weiter zu optimieren und die Methode auf weitere Anwendungen auszudehnen. Die Veröffentlichung des Codes wird in naher Zukunft erwartet, was die Implementierung und Weiterentwicklung der Methode erleichtern wird.

Fazit

Die von den Forschern entwickelte Methode stellt einen bedeutenden Fortschritt in der Beleuchtungsanpassung von Strahlungsfeldern dar. Durch die Nutzung von Diffusionsmodellen und Multi-Illumination Synthese konnten sie eine realistische und konsistente Beleuchtung für komplexe Szenen erreichen. Diese Arbeit öffnet neue Möglichkeiten für die weitere Forschung und Anwendung in der Computergraphik und der Bildverarbeitung.

Bibliographie

1. https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/
2. https://arxiv.org/abs/2409.08947
3. https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/content/paper_compressed.pdf
4. https://www.researchgate.net/publication/382522393_A_Diffusion_Approach_to_Radiance_Field_Relighting_using_Multi-Illumination_Synthesis
5. https://www.youtube.com/watch?v=1vR0TsAuH1Q
6. https://ouci.dntb.gov.ua/en/works/7AJB8vk4/
7. https://www.realtimerendering.com/kesen/egsr2024Papers.htm
8. https://radiancefields.com/diffusion-based-3dgs-relighting
9. https://twitter.com/julienphilip2
10. https://www.realtimerendering.com/kesen/egsr2024-Changelog.htm