Adobe Research stellt neues KI-System zur Audioerstellung vor

Adobe Research präsentiert KI-gestützte Audio-Innovation: Sounds durch Summen und Imitieren erzeugen

Adobe Research und die Northwestern University haben ein KI-System entwickelt, das die Arbeitsweise von Sounddesignern revolutionieren könnte. Das System mit dem Namen "Sketch2Sound" ermöglicht es Nutzern, professionelle Audioeffekte und Atmosphären zu erstellen, indem sie Töne summen, Geräusche imitieren und Beschreibungen in Textform eingeben.

Das System analysiert drei Schlüsselelemente der Spracheingabe: Lautstärke, Klangfarbe (die bestimmt, wie hell oder dunkel ein Ton ist) und Tonhöhe. Diese Eigenschaften werden dann mit den Textbeschreibungen kombiniert, um die gewünschten Klänge zu generieren.

Besonders interessant an Sketch2Sound ist das Kontextverständnis. Gibt ein Nutzer beispielsweise "Waldatmosphäre" ein und macht kurze Vokallaute, erkennt das System automatisch, dass diese zu Vogelgezwitscher werden sollen – ohne dass spezifische Anweisungen erforderlich sind.

Die gleiche Intelligenz gilt für Musik. Bei der Erstellung von Drum-Patterns kann der Benutzer "Bassdrum, Snaredrum" eingeben und einen Rhythmus mit tiefen und hohen Tönen summen. Das System platziert automatisch Bassdrums auf den tiefen Tönen und Snaredrums auf den hohen.

Feinsteuerung für Profis

Das Forschungsteam hat eine spezielle Filtertechnologie integriert, mit der Benutzer einstellen können, wie präzise sie die generierten Sounds steuern möchten. Sounddesigner können je nach Bedarf zwischen exakter, detaillierter Steuerung oder einem entspannteren, ungefähren Ansatz wählen.

Diese Flexibilität könnte Sketch2Sound besonders wertvoll für Foley-Artists machen – die Profis, die Soundeffekte für Filme und Fernsehsendungen erstellen. Anstatt physische Objekte zu manipulieren, um Geräusche zu erzeugen, könnten sie Effekte möglicherweise schneller durch Stimm- und Textbeschreibungen erstellen.

Die Forscher weisen darauf hin, dass räumliche Audioeigenschaften aus den Eingangsaufnahmen den generierten Sound manchmal unerwünscht beeinflussen können, aber man arbeitet daran, dieses Problem zu lösen. Adobe hat noch nicht bekannt gegeben, wann oder ob Sketch2Sound als kommerzielles Produkt erhältlich sein wird.

Weitere KI-Innovationen von Adobe im Audiobereich

Adobe hat in den letzten Jahren verstärkt in KI-gestützte Audio-Tools investiert. "Project Super Sonic", ein weiteres experimentelles Projekt, demonstriert, wie Text-zu-Audio, Objekterkennung und sogar die eigene Stimme verwendet werden können, um schnell Hintergrundaudio und Audioeffekte für Videoprojekte zu generieren. Auch hier steht die Vereinfachung des Workflows und die Erweiterung der kreativen Möglichkeiten im Vordergrund.

Mit "Project Music GenAI Control" bietet Adobe ein KI-Tool zur Musikgenerierung und -bearbeitung. Über Texteingaben wie "kraftvoller Rock", "fröhlicher Tanz" oder "trauriger Jazz" kann Musik generiert und anschließend detailliert bearbeitet werden. Funktionen wie Tempoanpassung, Remixing von Abschnitten und die Erstellung von nahtlosen Loops bieten den Nutzern umfangreiche Kontrollmöglichkeiten.

Diese Projekte unterstreichen Adobes Engagement, KI-gestützte Lösungen für die Audioproduktion zu entwickeln und den kreativen Prozess für Künstler und Sounddesigner zu vereinfachen.

Bibliographie:

1. https://blog.adobe.com/en/publish/2024/02/28/adobe-research-audio-creation-editing
2. https://techcrunch.com/2024/10/15/adobes-project-super-sonic-uses-ai-to-generate-sound-effects-for-your-videos/
3. https://www.youtube.com/watch?v=_yB3w7Yf-aM
4. https://www.aimusicpreneur.com/ai-music-news/latest-ai-music-news/
5. https://www.transmedia.co.uk/article/adobe%E2%80%99s-project-super-sonic-uses-ai-to-generate-sound-effects-for-your-videos
6. https://www.productionmusiclive.com/blogs/news/top-14-ai-plugins-and-tools-for-music-producers-in-2023-for-mixing-mastering-composition-sequencing-more?srsltid=AfmBOooW5We4YiA3oC0qxJ8ZQBuX5tHlgf21AJ_Dfd9vTIGSDs3snWCE
7. https://mashable.com/article/adobe-project-kazoo-turns-sounds-into-music
8. https://www.youtube.com/watch?v=Wi9o9J2iShU
9. https://www.tiktok.com/@thisisnickys/video/7203882083989884206