Soofi S: Ein neues Open-Source-Sprachmodell für Deutsch und Englisch

Ein neuer Meilenstein in der europäischen KI-Landschaft: Soofi S wird vorgestellt

Ein deutsches Forschungskonsortium, koordiniert vom KI Bundesverband, hat mit der Veröffentlichung von Soofi S ein quelloffenes Sprachmodell präsentiert, das in der Lage ist, in Benchmarks für die deutsche und englische Sprache führende Ergebnisse zu erzielen. Das Modell, das vollständig auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde, stellt einen signifikanten Schritt in Richtung souveräner und leistungsfähiger KI-Lösungen in Europa dar.

Architektur und Effizienz: Eine hybride Lösung für lange Kontexte

Soofi S zeichnet sich durch eine Mixture-of-Experts-Architektur (MoE) aus. Obwohl es insgesamt 31,6 Milliarden Parameter besitzt, werden pro generiertem Token nur etwa 3,2 Milliarden Parameter aktiviert. Dies führt zu einem Rechenaufwand, der eher dem eines 3-Milliarden-Modells als einem herkömmlichen 30-Milliarden-Modell entspricht. Die zugrunde liegende Architektur orientiert sich am Nemotron 3 Nano von Nvidia und kombiniert Mamba-2-Schichten mit Standard-Aufmerksamkeitsschichten.

Ein entscheidender Vorteil dieser Bauweise ist das Speichermanagement. Im Gegensatz zu konventionellen Transformatoren, bei denen der KV-Cache – der frühere Tokens für die Aufmerksamkeitsberechnung speichert – linear mit der Kontextlänge wächst, pflegen nur 6 der 52 Schichten von Soofi S einen solchen Cache. Dies resultiert in einer bemerkenswerten Verarbeitungsgeschwindigkeit, insbesondere bei langen Eingaben. Bei einer Kontextlänge von 40.000 Tokens und 32 parallelen Anfragen generiert Soofi S etwa achtmal mehr Tokens pro Sekunde und GPU als vergleichbare dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Die Durchsatzrate bleibt dabei nahezu konstant, selbst bei Kontextlängen von 4.000 bis 256.000 Tokens, ein Verhalten, das sonst nur bei Modellen wie Alibabas Qwen3.5 35B-A3B beobachtet wird, das ebenfalls eine hybride Architektur verwendet.

Trainingsdaten: Ein gezielter Fokus auf die deutsche Sprache

Der Trainingsprozess von Soofi S umfasste insgesamt etwa 27 Billionen Tokens und wurde in drei Phasen unterteilt. Die erste Phase konzentrierte sich auf das Erlernen sprachlicher Grundlagen aus rund 20 Billionen Tokens, die aus einer breiten Mischung von Web-, Code-, Mathematik- und domänenspezifischen Texten stammten. Eine zweite Phase folgte mit etwa 6 Billionen Tokens aus qualitativ hochwertigeren Quellen, um die zuvor gelernten Muster zu verfeinern. Eine kürzere dritte Phase erweiterte das Kontextfenster durch Training an sehr langen Dokumenten von bis zu einer Million Tokens.

Ein zentraler Aspekt des Trainings war die bewusste Gewichtung der deutschen Sprache. Während in der ersten Phase Deutsch 7,2 Prozent der Trainingsdaten ausmachte, stieg dieser Anteil in der zweiten Phase auf 15,3 Prozent. Dies steht im Kontrast zu Nvidias Nemotron-Referenzrezept, bei dem alle nicht-englischen Sprachen zusammen nur etwa 5 Prozent ausmachen.

Für die Datensätze griff das Konsortium auf eine Vielzahl von Quellen zurück, darunter deutsche Webtexte von HPLT, das offen lizenzierte German Commons Corpus, deutsche Anteile von FinePDFs und FineWiki sowie das kommerziell lizenzierte Genios-Korpus, das 193 Millionen Zeitungsartikel aus 916 deutschen Publikationen enthält. Ergänzt wurde dies durch maschinell übersetzte und synthetisch generierte deutsche Texte.

Leistungsfähigkeit: Führende Ergebnisse in Deutsch und Englisch

In umfassenden Evaluationen gegen 16 andere offene Modelle positioniert sich Soofi S in den aggregierten Scores für Deutsch und Englisch an der Spitze aller vollständig offenen Modelle. Dies schließt Modelle wie OLMo 3 32B des Allen Institute for AI und Apertus 70B der ETH Zürich und EPFL ein. Gegenüber europäischen souveränen Baselines übertrifft das Modell in allen deutschen Benchmarks, teilweise mit zweistelligen Margen.

Im Bereich der Code-Benchmarks erreicht Soofi S 73,8 Prozent bei HumanEval, 70,2 Prozent bei MBPP und 84,2 Prozent bei der deutschen MBPP-Variante, was die besten Ergebnisse unter den Open-Source-Modellen darstellt. Bei INCLUDE-DE, einem Test für deutschlandspezifisches Regionalwissen, teilt sich Soofi S mit 61,2 Punkten den ersten Platz mit dem größeren Qwen3.5 35B-A3B. Im Vergleich zur Nemotron-Baseline verbessert das deutsche Datenrezept die Sprachkenntnisse um 15,1 Punkte und den Wissenschaftstest GPQA-Diamond um 9,6 Punkte, ohne die englische Leistung zu beeinträchtigen.

Schwächen zeigt Soofi S jedoch in der deutschen Wettbewerbsmathematik, wo es bei Minerva MATH-DE 56 Punkte erreicht und damit hinter Qwen3.5 35B-A3B (76,5) und Gemma 3 27B (65,6) zurückbleibt. Auch beim offenen Faktenabruf in NaturalQuestions zeigt das Modell Defizite. Letzteres könnte mit den nur 3 Milliarden aktiven Parametern zusammenhängen, die weniger Weltwissen speichern können als ein dichtes 27-Milliarden-Modell.

Der RULER-Langkontext-Test offenbart zudem eine spezifische Schwäche: Wenn das Modell häufig vorkommende Wörter aus einem langen Text extrahieren muss, sinkt die Trefferquote von Soofi S jenseits von 32.000 Tokens Kontext auf etwa 3 Prozent, während das vergleichbare Nemotron-Modell noch 60 bis 64 Prozent erreicht. Die Autoren führen dies darauf zurück, dass ihre Langkontext-Trainingsdaten zwar viele lange Dokumente enthalten, aber keine synthetischen Daten, die speziell für Extraktionsaufgaben konzipiert sind. Bei den verbleibenden zwölf RULER-Aufgaben zeigen beide Modelle eine ähnliche Leistung.

Souveräne Infrastruktur und dokumentierte Offenheit

Das Training von Soofi S erfolgte zwischen März und Mai auf bis zu 512 Nvidia B200 GPUs in der Industrial AI Cloud der Deutschen Telekom in München und umfasste insgesamt etwa 253.000 GPU-Stunden. Die Anlage wird dem Bericht zufolge vollständig mit erneuerbaren Energien betrieben, mit Wasser aus dem Eisbachkanal gekühlt und speist die Abwärme in das umliegende Tucherpark-Viertel ein. Soofi S war einer der ersten großen Trainingsläufe auf dieser Infrastruktur.

Hinter Soofi steht ein Konsortium deutscher Forschungseinrichtungen und Unternehmen, koordiniert vom KI Bundesverband und gefördert vom Bundesministerium für Wirtschaft und Energie im Rahmen des europäischen IPCEI-CIS-Programms.

Zu den Teilnehmern gehören die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die KI-Unternehmen Ellamind und Merantix Momentum. Das Projekt zielt darauf ab, eine offene europäische KI-Modellfamilie aufzubauen, die auf souveräner Infrastruktur betrieben und in industriellen Anwendungen getestet werden kann.

Die Forscher stellen die Modellgewichte zusammen mit ausgewählten Zwischen-Checkpoints, dem vollständigen Trainings- und Evaluationscode sowie einem detaillierten Dateninventar zur Verfügung, das Roh-Token-Zahlen, Epochen und effektive Beiträge pro Quelle auflistet. Auch überprüfte, aber ausgeschlossene Quellen sind dokumentiert. Laut dem Team erfüllt Soofi S damit die Open Source AI Definition 1.0 der Open Source Initiative weitestgehend.

Ein strengerer Vorschlag für eine europäische Open-Data-Definition, die erfordern würde, dass jedes einzelne Trainingstoken frei verteilbar ist, wird aufgrund des 1,3-prozentigen Anteils an Genios-Daten, die unter einer kommerziellen Lizenz stehen, nicht erfüllt. Der Bericht besagt, dass etwa 99 Prozent des Trainingsmixes unabhängig rekonstruiert werden können. Die genaue Lizenz für die Veröffentlichung des Modells ist noch nicht finalisiert.

Soofi S positioniert sich zwischen breit multilingualen europäischen Souveränitätsprojekten wie EuroLLM oder Teuken, die viele Sprachen abdecken, und den leistungsstärksten internationalen Open-Weight-Modellen. Laut der Projektwebsite sucht das Konsortium Industriepartner für die nächste Phase, um das Modell in Anwendungen mit technischen Dokumenten, Code-Generierung und agentenbasierten Systemen zu testen.

Bibliography

1. Soofi-Project/Soofi-S-Base · Hugging Face: https://huggingface.co/Soofi-Project/Soofi-S-Base
2. 1 Introduction: https://arxiv.org/html/2607.09424
3. Soofi announces model for industrial AI in Europe: https://www.iis.fraunhofer.de/en/pr/2026/press-release-soofi-industrial-ai-europe.html
4. German AI Consortium Releases Soofi S Open Model That Leads English and German Benchmarks: https://www.remio.ai/post/german-ai-consortium-releases-soofi-s-open-model-that-leads-english-and-german-benchmarks
5. A Sovereign, Open-Source Foundation Model for German and English: Analysis, Review & Summary: https://paperium.net/article/en/21240/a-sovereign-open-source-foundation-model-for-german-and-english
6. Soofi - Sovereign Open Source Foundation Models: https://www.soofi.info/
7. Soofi Enters Testing Phase with Its Language Model - L3S Research Center: https://www.l3s.de/soofi-enters-testing-phase-with-its-language-model/
8. Soofi S 30B — A3B: German Consortium adds Open Hybrid LLM: https://aivizor.me/en/community/t/en-soofi-s-30b-a3b-german-consortium-adds-open-h-cfe5b9ec
9. German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and German: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german/