Neues Open-Source-Modell revolutioniert sprachbasierte KI-Interaktionen

Revolution in der Sprachinteraktion: Ein neues Modell entscheidet dynamisch über Hören und Sprechen

Die Interaktion mit künstlicher Intelligenz über Sprache hat in den letzten Jahren erhebliche Fortschritte gemacht. Doch trotz beeindruckender Fähigkeiten aktueller Sprachmodelle, wie GPT-4o oder Qwen 3.5-Omni, bestehen weiterhin Herausforderungen, insbesondere in Bezug auf die Natürlichkeit und Effizienz der Konversation. Traditionelle Modelle arbeiten oft nach einem "Push-to-Talk"-Prinzip, bei dem eine Antwort erst nach Abschluss der Audioeingabe erfolgt. Streamende Systeme, wie Moshi für Dialoge oder Paraformer für Live-Untertitel, lauschen zwar kontinuierlich, sind aber in der Regel auf eine einzelne Aufgabe spezialisiert und ignorieren oft nicht-sprachliche Geräusche.

Forschende aus China, Hongkong und Singapur haben nun ein innovatives Modell vorgestellt, das diese Lücke schließen soll: das "Audio Interaction Model". Dieses System vereint die Vorteile beider Ansätze und ermöglicht eine dynamischere, menschenähnlichere Sprachinteraktion. Es hört einem Audiostream kontinuierlich zu, zerlegt diesen in kurze 0,4-Sekunden-Abschnitte und entscheidet nach jedem Abschnitt, ob es schweigen oder eine Reaktion generieren soll. Dies alles geschieht innerhalb eines einzigen Modells mit drei Milliarden Parametern, das Dialog, Übersetzung, Transkription und die Reaktion auf alltägliche Geräusche simultan verarbeitet.

Die Mechanik hinter der dynamischen Entscheidung

Das Herzstück des "Audio Interaction Model" ist seine Fähigkeit, nach jedem Audio-Snippet zwischen einem -Token und einem -Token zu wählen. Wählt es , fährt es fort zu lauschen. Erst bei der Wahl von beginnt es zu sprechen. Dies ermöglicht eine flüssigere Konversation und die Integration klassischer Aufgaben, wie die Übersetzung in eine andere Sprache, als direkte Anweisung innerhalb des kontinuierlichen Audiostroms.

Laut den Verfassern der veröffentlichten Arbeit erreichte Audio-Interaction auf dem Audio-Benchmark MMAU einen Wert von 58,15 Punkten und übertraf damit knapp sein Basismodell Qwen2.5-Omni-3B. Es nähert sich auch der Leistung deutlich größerer 7B-Modelle an. Insbesondere bei der Englisch-Chinesisch-Übersetzung zeigte das Modell signifikante Verbesserungen gegenüber der Basisversion.

Bisherige Systeme lösten Aufgaben wie Spracherkennung (ASR), Übersetzung und Sprachdialog in getrennten Modellen. Audio-Interaction hingegen kombiniert Erkennung, Übersetzung, Dialog und proaktive Reaktion in einem einzigen Streaming-Setup. Diese Vereinheitlichung stellt einen fundamentalen Paradigmenwechsel dar.

Datensatz und Herausforderungen im Training

Um dem Modell beizubringen, wann es eingreifen soll, war ein spezieller Trainingsdatensatz erforderlich. Bestehende Audiodatensätze bestehen oft aus kurzen, isolierten Clips und verfügen nicht über lange Sequenzen mit spärlichen Antwortsignalen, wie die Forschenden betonen. Daher wurde ein eigener Datensatz namens StreamAudio-2M entwickelt. Dieser Datensatz umfasst 2,6 Millionen Einheiten und etwa 302.000 Stunden Audio, aufgeteilt in sieben Kompetenzbereiche und 28 Unteraufgaben. Die Erstellung erfolgte in drei Stufen:

• Ein Sprachmodell entwarf ein plausibles Szenario (z.B. eine Küche am Morgen) mit drei bis fünfzehn Unterereignissen.
• Das System suchte in einer Datenbank nach passenden Clips oder erzeugte fehlende Geräusche, wie zerbrechendes Glas, mithilfe von Audio-Modellen wie AudioX oder ElevenLabs.
• Ein Vorverarbeitungsschritt glättete die Schnittkanten, um eine natürliche Klangqualität der Aufnahmen zu gewährleisten.

Während des Trainings traten zwei Hauptprobleme auf:

• Vergesslichkeit bei langen Sequenzen: Das Modell vergaß in langen, geräuschvollen Sequenzen frühere Inhalte. Dies wurde durch Fragen behoben, die sich auf Passagen aus viel früheren Audioabschnitten bezogen, um das Modell zum Aufbau eines Langzeitgedächtnisses zu zwingen.
• Überreaktion auf irrelevante Geräusche: Das Modell reagierte zu oft auf Geräusche, die keine Bedeutung hatten. Dem wurde mit großen Mengen verifizierter Stille und Hintergrundgeräuschen entgegengewirkt, die explizit keine Reaktion auslösen sollten. Auf dem neu eingeführten ProactiveSound Bench, der 644 von Menschen kuratierte Ereignisse enthält, übertrifft das Modell unter anderem Gemini 3 Flash, Kimi-Audio-Instruct und Step-Audio 2.

Architektur für Echtzeit-Interaktion

Für den Echtzeitbetrieb wurde die Verarbeitung eingehender Audiodaten von der Generierung der Antwort getrennt. Beide Prozesse laufen parallel und tauschen Daten über eine Warteschlange aus: Die Audioseite schreibt kontinuierlich neue Blöcke, während die Antwortseite diese nur liest, wenn sie nichts zu sagen hat. Ohne diese Trennung stieg die Zeit bis zur ersten Antwort von 392 auf 831 Millisekunden, und das System blieb in 5,2 Prozent der Fälle hängen.

Die Wahl der 0,4-Sekunden-Blockgröße stellt einen Kompromiss dar. Bei 0,2 Sekunden wäre nicht genügend Kontext vorhanden, und das Modell würde im Dialog auseinanderfallen. Bei 0,8 Sekunden würde die Latenz auf 786 Millisekunden ansteigen. Die Architektur, genannt SoundFlow, richtet das Audiosignal, Zwischenrepräsentationen und Kontroll-Tokens in einer Zeitsequenz aus und trainiert gemeinsam, wann das Modell spricht und wann es still bleibt.

Der Code und Anweisungen zum Herunterladen der Gewichte sind unter der Apache 2.0 Lizenz auf GitHub verfügbar, ohne Einschränkungen für die kommerzielle Nutzung. Der vollständige Trainingsdatensatz soll zu einem späteren Zeitpunkt folgen.

Implikationen für B2B-Anwendungen

Dieses neue Open-Source-Modell bietet erhebliche Potenziale für Unternehmen, die in den Bereichen Sprachassistenz, Kundenservice, Echtzeit-Übersetzung oder interaktive Schulungssysteme tätig sind. Die Fähigkeit des Modells, kontinuierlich zuzuhören und dynamisch zu reagieren, kann die Benutzererfahrung in sprachgesteuerten Anwendungen maßgeblich verbessern. Die Reduzierung von Wartezeiten und die natürliche Gesprächsführung, die durch die parallelisierte Verarbeitung ermöglicht wird, könnten die Akzeptanz von KI-Lösungen in geschäftlichen Kontexten steigern. Die proaktive Geräuscherkennung eröffnet zudem neue Möglichkeiten für intelligente Umgebungen und Sicherheitssysteme, die auf akustische Ereignisse reagieren müssen.

Für Mindverse, als deutsches KI-Unternehmen und Partner für KI-Lösungen, ist die Entwicklung solcher Modelle von großem Interesse. Die Integration von Fähigkeiten wie Dialog, Übersetzung und Transkription in ein einziges System könnte die Effizienz und Vielseitigkeit von KI-Tools erheblich steigern und neue Anwendungsfelder für unsere B2B-Kunden erschließen. Die Open-Source-Verfügbarkeit fördert zudem die Weiterentwicklung und Anpassung an spezifische Kundenbedürfnisse, was die Innovationszyklen beschleunigen kann.

Bibliography

1. "New open-source voice model listens nonstop and decides every 0.4 seconds whether to speak or stay silent". The Decoder.
2. xzf-thu/Audio-Interaction. GitHub.
3. GPT Realtime 2 Can Stay Silent on Command and Keep Listening — Here's Why That Changes Voice Agents | MindStudio. MindStudio.
4. NVIDIA PersonaPlex: Natural Conversational AI With Any Role and Voice - NVIDIA ADLR. NVIDIA.
5. anyreachai/dualturn. GitHub.
6. ConvoCortex/convocortex-stt. GitHub.
7. amznsri/openvox. GitHub.
8. "Why Your Voice Agent Won't Stop Talking: Building the Zero-Latency Interruption Layer with Gemma 4 E2B". DEV Community.
9. fern/customization/speech-configuration.mdx at main · VapiAI/docs. GitHub.
10. "A solution to Turn-Taking and Interruption Prediction in Voice AI". Krisp Engineering.