Zukunft der Audio-Video-Synchronisation durch Adobes KI-Technologie MultiFoley

Die Zukunft der Soundeffekte: Adobes KI "MultiFoley" synchronisiert Audio und Video

Künstliche Intelligenz revolutioniert zunehmend kreative Prozesse. Ein aktuelles Beispiel dafür ist "MultiFoley", ein KI-System, das von Forschern von Adobe Research und der University of Michigan entwickelt wurde. Dieses System generiert Foley-Sounds – die maßgeschneiderten Soundeffekte, die Filmen und Videos in der Postproduktion hinzugefügt werden – automatisch und synchronisiert sie präzise mit dem Videomaterial.

MultiFoley bietet verschiedene Möglichkeiten zur Soundgenerierung. Nutzer können Textbeschreibungen eingeben, Audiobeispiele als Referenz verwenden oder sogar Videobeispiele hochladen. Demonstrationen zeigen eindrucksvoll, wie das System beispielsweise das Miauen einer Katze in ein Löwengebrüll verwandelt oder Schreibmaschinengeräusche wie Klaviernoten klingen lässt, während die präzise Synchronisation mit dem Video erhalten bleibt.

Eine Besonderheit von MultiFoley ist die Fähigkeit, hochwertiges Audio mit einer Bandbreite von 48 kHz zu erzeugen. Dies wurde durch das Training der KI mit einer Kombination aus Internetvideos und professionellen Soundeffekt-Bibliotheken erreicht. Die hohe Audioqualität ist ein entscheidender Faktor für den professionellen Einsatz in der Film- und Videoproduktion.

Innovativ ist auch die Kombination verschiedener Eingabemethoden – Text, Audio und Video – in einem einzigen Modell. Die Synchronisation zwischen Video und generiertem Audio wird durch einen speziellen Mechanismus gewährleistet, der visuelle Merkmale mit einer Frequenz von 8 Bildern pro Sekunde analysiert und diese dann auf die 40-Hz-Audiosamplingrate hochskaliert. Das Ergebnis ist eine durchschnittliche Synchronisationsgenauigkeit von 0,8 Sekunden – eine deutliche Verbesserung gegenüber bisherigen Systemen, die typischerweise eine Verzögerung von mehr als einer Sekunde aufwiesen.

Im Vergleich zu bestehenden Systemen zeigte MultiFoley in Tests eine überlegene Leistung sowohl bei der Audio-Video-Synchronisation als auch bei der Übereinstimmung der generierten Sounds mit den Textbeschreibungen. In einer Nutzerstudie bewerteten 85,8 Prozent der Teilnehmer die semantische Konsistenz von MultiFoley als besser als die des nächstbesten Systems, während 94,5 Prozent die Synchronisation bevorzugten.

Trotz der vielversprechenden Ergebnisse weisen die Forscher auf einige derzeitige Einschränkungen hin. Die Trainingsdaten des Systems waren relativ klein, was die Bandbreite der Soundeffekte begrenzt. Außerdem hat MultiFoley Schwierigkeiten mit der Generierung mehrerer gleichzeitiger Sounds. Die Entwickler planen, den Quellcode und die Modelle in Kürze zu veröffentlichen.

Obwohl Adobe noch keine konkreten Pläne zur Integration von MultiFoley in seine Produkte bekannt gegeben hat, würde die Technologie gut zu den bestehenden KI-Funktionen in der Videobearbeitungssoftware Adobe Premiere Pro passen. Das System könnte sowohl einzelnen Kreativen als auch Produktionsfirmen zugutekommen, die ihren Sounddesign-Prozess optimieren möchten. MultiFoley hat das Potenzial, die Produktion von Soundeffekten zu revolutionieren und die kreativen Möglichkeiten für Filmemacher und Video-Editoren deutlich zu erweitern.

Die Entwicklung von MultiFoley unterstreicht den anhaltenden Trend zur Automatisierung kreativer Prozesse durch KI. Es bleibt abzuwarten, wie sich diese Technologie in der Praxis bewähren und welche weiteren Innovationen im Bereich der KI-gestützten Audio- und Videoproduktion folgen werden.

Bibliographie:

1. https://www.adobe.com/creativecloud/video/discover/foley-sound-effects.html
2. https://www.adobe.com/creativecloud/video/discover/sfx-for-video.html
3. https://www.chatpaper.com/chatpaper/paper/85419
4. https://arxiv.org/html/2411.17698
5. https://arxiv.org/html/2112.09726v4
6. https://www.adobe.com/creativecloud/video/discover/how-to-use-sound-to-enhance-social-media-posts.html
7. https://www.adobe.com/creativecloud/video/discover/a-guide-to-movie-sound-effects.html
8. https://www.adobe.com/creativecloud/video/discover/how-to-make-a-music-video.html
9. https://creativecloud.adobe.com/de/discover/video/Enhancing-Audio-Video-Skills-Challenge/23915
10. https://www.blackmagicdesign.com/products/davinciresolve/fairlight