Diffusionsmodelle revolutionieren die Echtzeitsimulation in Computerspielen

GameNGen: Ein Überblick

GameNGen ist das erste Spiel-Engine, das vollständig von einem neuronalen Modell angetrieben wird und eine Echtzeit-Interaktion mit einer komplexen Umgebung bei hoher Qualität ermöglicht. Dieses Modell kann das klassische Spiel DOOM bei über 20 Bildern pro Sekunde auf einer einzigen TPU interaktiv simulieren. Die Vorhersage des nächsten Bildes erreicht eine PSNR von 29,4, vergleichbar mit verlustbehafteter JPEG-Kompression. Menschliche Bewerter können kurze Clips des Spiels nur geringfügig besser als zufällig von Clips der Simulation unterscheiden.

Trainingsprozess

Der Trainingsprozess von GameNGen besteht aus zwei Phasen: - Ein RL-Agent (Reinforcement Learning Agent) lernt, das Spiel zu spielen, und die Trainingssitzungen werden aufgezeichnet. - Ein Diffusionsmodell wird darauf trainiert, das nächste Bild zu erzeugen, das auf die Sequenz der vergangenen Bilder und Aktionen konditioniert ist.

Interaktive Weltsimulation

Eine interaktive Umgebung besteht aus einem Raum von latenten Zuständen, einem Raum von partiellen Projektionen des latenten Raums, einer partiellen Projektionsfunktion, einer Menge von Aktionen und einer Übergangswahrscheinlichkeitsfunktion. Im Fall des Spiels DOOM sind die latenten Zustände die dynamischen Speicherinhalte des Programms, die partiellen Projektionen die gerenderten Bildschirm-Pixel, die Projektionsfunktion die Rendering-Logik des Spiels, die Aktionen die Tastendrucke und Mausbewegungen, und die Übergangswahrscheinlichkeit die Logik des Programms basierend auf den Eingaben des Spielers.

Ergebnisse und Implikationen

Die Ergebnisse von GameNGen zeigen, dass ein neuronales Modell in der Lage ist, ein komplexes Spiel in Echtzeit zu simulieren und dabei eine visuelle Qualität zu erreichen, die mit der des Originalspiels vergleichbar ist. Dies eröffnet neue Möglichkeiten für die Entwicklung von Spiel-Engines, bei denen Spiele automatisch generiert werden, ähnlich wie Bilder und Videos in den letzten Jahren von neuronalen Modellen erzeugt wurden.

Schlussfolgerungen

GameNGen beantwortet eine der wichtigen Fragen auf dem Weg zu einem neuen Paradigma für Spiel-Engines, bei dem Spiele automatisch generiert werden. Es bleiben jedoch wichtige Fragen offen, wie diese neuronalen Spiel-Engines trainiert werden und wie Spiele effektiv erstellt werden könnten, einschließlich der besten Nutzung menschlicher Eingaben. Dennoch sind die Möglichkeiten dieses neuen Paradigmas äußerst aufregend.

Quellen

1. https://arxiv.org/abs/2408.14837
2. https://arxiv.org/html/2408.14837v1
3. https://www.reddit.com/r/GraphicsProgramming/comments/1f31ntk/diffusion_models_are_realtime_game_engines/
4. https://news.ycombinator.com/item?id=41375548
5. https://twitter.com/ai_for_success/status/1828676011099136026
6. https://x.com/Hamptonism/status/1828637010078138502
7. https://gamengen.github.io/
8. https://www.reddit.com/r/StableDiffusion/