Apertus 1.5 im Detail: Technische Architektur, multimodales Training und Governance der offenen Schweizer KI-Modelle

Fünfstufiges Post-Training, Reasoning-Spuren und Ablationserkenntnisse

Nach dem Abschluss des Vortrainings durchliefen die Basismodelle (Apertus-v1.5-8B-base und Apertus-v1.5-70B-base) eine mehrstufige Nachbehandlung (Post-Training), um sie für Assistenzaufgaben, logisches Schlussfolgern, Werkzeugnutzung und Sicherheitsrichtlinien zu optimieren [1]. Der Prozess gliedert sich in fünf Phasen: Supervised Finetuning (SFT), Long-Context SFT, Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), Direct Preference Optimization (DPO) sowie eine abschließende Ausrichtung an der Projekt-Charta mittels Self-Distillation Preference Optimization (SDPO) [1]. Bemerkenswert ist hierbei eine Asymmetrie zwischen den beiden Modellgrößen: Laut der veröffentlichten Checkpoint-Tabelle durchlief lediglich das 8B-Modell alle fünf Stufen bis hin zu SDPO, während bei der 70B-Variante der nach der vierten Stufe (DPO) erreichte Zustand bereits als finales Hauptmodell (Apertus-v1.5-70B) deklariert wurde [1].

In der ersten SFT-Phase trainierten die Entwickler die Modelle auf 3,7 Millionen Textbeispielen, ergänzt um Bild- und Sprachdaten, wobei die Textmischung als offener Datensatz (Apertus-v1.5-SFT-mix) bereitgestellt wird [1]. Um das Modell effizient auf den neuen Thinking Mode vorzubereiten, wurden explizite Denkspuren (Reasoning Traces) nur bei solchen Prompts hinzugefügt, die das Modell ohne diese Zwischenschritte nicht bereits eigenständig lösen konnte [1]. Trainingsdaten für die Werkzeugnutzung (Tool Use) wurden strikt auf Ausführungspfade beschränkt, deren Korrektheit zuvor durch tatsächliche Code- oder API-Ausführung verifiziert worden war [1]. Da dieses Training auf kürzeren Sequenzen die zuvor erworbene Fähigkeit zur Verarbeitung langer Kontexte erodiert, schloss sich als zweite Stufe ein spezielles Long-Context SFT über das volle Fenster von 262.144 Tokens an, um die Langkontext-Kompetenz wiederherzustellen [1].

Die dritte Phase nutzte Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) unter Verwendung des Frameworks verl auf rund 350.000 Prompts aus den Bereichen Mathematik, Programmierung, Instruktionsbefolgung, Mehrsprachigkeit und Bildverständnis, wobei Läufe mit aktiviertem und deaktiviertem Thinking Mode gemischt wurden [1]. In der vierten Phase (DPO) wurden von Bewertungsmodellen (Judges) eingestufte Präferenzpaare genutzt, um die Dialogqualität, die Werkzeugintegration und die Sicherheit zu erhöhen; sowohl der Präferenz-Pool als auch die Trainingspaare wurden veröffentlicht [1]. Die fünfte Stufe (SDPO) richtete das 8B-Modell schließlich mithilfe von Judge-Feedback, Selbst-Destillation und dem Datensatz gretel-safety-alignment-en-v1 an den Prinzipien der Apertus Charter aus [1].

Aus den im technischen Bericht dokumentierten Ablationsstudien geht ein für die Modellentwicklung relevantes Ergebnis hervor: Das Einmischen multimodaler Daten in die Textdaten während der SFT-Phase verbesserte die Leistung über alle Modalitäten hinweg [1]. Darüber hinaus stellten die Forscher fest, dass der Nutzen multimodaler Denkspuren auch ein nachfolgendes, rein textbasiertes Reinforcement Learning überdauert [1]. Startet das RL-Training von einem SFT-Checkpoint, der mit multimodalen Reasoning-Spuren trainiert wurde, verbessert sich die Mathematikleistung stärker als beim Start von einem reinen Text-Checkpoint, und dieser Vorsprung bei logischen Aufgaben bleibt über den gesamten weiteren Trainingsverlauf erhalten [1].

Leistungsvermögen, Benchmarks und das Evaluierungs-Ökosystem

Bei der Einordnung der Leistungsfähigkeit nehmen die Autoren der Release Notes eine differenzierte Bewertung vor [1]. Sie räumen ein, dass Apertus 1.5 insgesamt weiterhin hinter den führenden offenen Spitzenmodellen (Frontier Open-Weight Models) zurückbleibt [1]. Dennoch verzeichnet die neue Version nach Angaben des Teams deutliche Fortschritte bei der Programmierung und der Befolgung komplexer Anweisungen (Instruction Following) [1]. Insbesondere das kleinere 8B-Modell übertrifft laut den Entwicklern ähnlich große Open-Weight-Modelle bei Aufgaben zur Instruktionsbefolgung sowie bei mehrsprachigen Benchmarks [1]. Die Aktivierung des Thinking Mode steigert zudem die Ergebnisse bei anspruchsvollen, logikintensiven Prüfungen wie dem Mathematik-Benchmark AIME [1].

Im Bereich der Multimodalität bewegt sich die Leistung von Apertus 1.5 nach Darstellung des Projekts näher an aktuellen offenen Modellen wie Gemma 4 12B [1]. Als wettbewerbsfähig beschreiben die Autoren das Modell vor allem beim räumlichen Verständnis (Spatial Understanding) im Vergleich zu anderen Open-Weight-Modellen sowie beim Verständnis von Dokumenten und Diagrammen im Vergleich zu vollständig quelloffenen (Open-Source) Modellen [1]. Unabhängige beziehungsweise kollaborative externe Evaluierungen stützen einzelne Fachbereiche: So zeigt Apertus 1.5 bei Aufgaben zum Schweizer Recht (SwissLegalEvals) eine Leistung auf dem Niveau führender Open-Weight-Modelle [1]. Auf dem Last Translation Benchmark erreicht die 8B-Variante bei der maschinellen Übersetzung Werte, die mit GPT-OSS-20B gleichziehen und kommerzielle Dienste oder Modelle wie Claude Haiku 4.5 oder Google Translate übertreffen [1].

Technische Evaluierungspipeline und Token-Budgetierung

Um diese breite Palette an Fähigkeiten systematisch zu prüfen, hat die Swiss AI Initiative ihre Testinfrastruktur stark ausgebaut [1]. Für visuelle und auditive Aufgaben kommt die MLLM-eval-suite zum Einsatz, welche die beiden großen Evaluierungs-Frameworks lmms-eval und VLMEvalKit zusammenführt [1]. Damit werden unter anderem Dokumenten- und OCR-Benchmarks wie DocVQA, ChartQA und OmniDocBench, räumliche Tests wie MindCube und ViewSpatial, Fernerkundung (GeoBench) sowie medizinische Bildgebung (PathVQA, VQA-RAD) abgedeckt [2].

Für textbasierte Prüfungen nutzt das Team das öffentliche Repository evals-post-train, das auf einem eigenen Fork des Frameworks lm-evaluation-harness basiert, mit SLURM-Clustern wie dem CSCS Alps sowie Weights & Biases (W&B) integriert ist und vordefinierte Test-Suiten von 48 Standardaufgaben (default) beziehungsweise 50 Post-Training-Aufgaben (posttrain) umfasst [1, 5]. Ein Blick in die jüngsten Code-Änderungen dieses Evaluierungs-Repositorys vom 12. Oktober 2026 verdeutlicht eine wichtige praktische Herausforderung von Reasoning-Modellen: Da die internen Denkspuren auf das maximale Token-Budget einer Aufgabe angerechnet werden, führten ursprüngliche Standardlimits in den Aufgabenkonfigurationen (etwa 2.048 Tokens bei MMLU-Pro oder 1.280 Tokens bei IFEval) dazu, dass Antworten im Thinking Mode vorzeitig abgeschnitten wurden [5]. Die Entwickler passten die Pipeline daher an, sodass bei Reasoning-Läufen das Standardbudget von 16.384 auf 32.768 Tokens (das Budget von AIME) angehoben wird, und führten eine eigene Metrik (generation_truncated) ein, die exakt erfasst, welcher Anteil der Modellantworten wegen Erreichens des Token-Limits abgebrochen wurde [5].

Betrieb in der Praxis: Inferenz, Thinking Mode und technische Restriktionen

Wenn Sie Apertus 1.5 in Ihrer eigenen Infrastruktur betreiben möchten, stehen mit Hugging Face Transformers und vLLM zwei etablierte Open-Source-Frameworks zur Verfügung [2]. Allerdings weisen die Entwickler in der Modelldokumentation darauf hin, dass die offizielle Integration in die Hauptentwicklungszweige (Upstreaming) beider Bibliotheken derzeit noch nicht abgeschlossen ist [2]. Für den unmittelbaren Einsatz müssen Sie daher auf die vom Projekt bereitgestellten, modifizierten Programmzweige auf GitHub zurückgreifen oder die vorkonfigurierten Docker-Container (verfügbar für die Architekturen amd64 und arm64 über die GitHub Container Registry) nutzen [2]. Zudem bietet das Evaluierungs-Framework Optionen, um Checkpoints aus dem Megatron-Format byte-identisch in das Hugging-Face-Format zu konvertieren oder über SGLang bereitzustellen [5].

Für das Serving über vLLM empfiehlt die Dokumentation beim 8B-Modell eine GPU-Speicherauslastung von 0,6, während für das 70B-Modell eine Verteilung über vier GPUs (Tensor Parallel Size 4) bei einer Speicherauslastung von 0,8 angegeben wird [2]. Beide Konfigurationen unterstützen die volle Kontextlänge von 262.144 Tokens sowie den eigenen Parser für Werkzeugaufrufe (apertus) [2]. In der Praxis sollten Systemadministratoren beachten, dass auf bestimmten Hardwarekonfigurationen die Erfassung des CUDA-Graphen fehlschlagen kann, sobald die Tensor-Parallelität größer als 1 gewählt wird [2]. Ursache hierfür ist eine Optimierung namens Fused All-Reduce RMS; falls dieser Fehler in Ihrer Umgebung auftritt, lässt er sich durch Übergabe des Kompilierungsparameters fuse_allreduce_rms mit dem Wert false beim Start von vLLM beheben [2].

• Steuerung des Thinking Mode: Der Denkmodus ist standardmäßig deaktiviert und kann im Chat-Template über den Parameter enable_thinking=True oder in vLLM über den Reasoning-Parser apertus eingeschaltet werden [2].
• Spezielle Reasoning-Marker: Bei aktiviertem Denkmodus formuliert das Modell seine Überlegungen zwischen den speziellen Steuer-Tokens inner_prefix und inner_suffix, bevor die sichtbare Antwort folgt; diese Marker werden beim Dekodieren auch mit der Einstellung skip_special_tokens=True bewusst nicht entfernt, damit Ihre Anwendung den Denkprozess separat auslesen kann [2].
• Großzügige Token-Kalkulation erforderlich: Da die interne Herleitung ein Vielfaches der eigentlichen Antwortlänge einnehmen kann, müssen Sie den Parameter max_new_tokens im Thinking Mode sehr großzügig bemessen (im Codebeispiel etwa 2.048 statt 256 Tokens), da eine abgeschnittene Generierung andernfalls endet, bevor die eigentliche Antwort überhaupt begonnen hat [2].
• Ausschluss von Tool Calling im Thinking Mode: Eine für Agenten-Systeme gravierende Einschränkung besteht darin, dass Werkzeugaufrufe (Tool Calling) im Thinking Mode nicht unterstützt werden; die Entwickler raten ausdrücklich davon ab, beide Funktionen miteinander zu kombinieren, und lassen die Tool-Call-Parameter in den Startskripten für den Denkmodus bewusst weg [2].

Regulierung, EU AI Act Compliance und Datenschutz-Prozesse

Für Unternehmen im europäischen Rechtsraum bietet Apertus 1.5 ungewöhnlich weitreichende Vorarbeiten zur regulatorischen Konformität [1, 2]. Die Swiss AI Initiative kooperiert hierfür mit der EvalEval Coalition und veröffentlicht sämtliche Benchmark-Ergebnisse im standardisierten Schema Every Eval Ever (EEE) sowie über die Hugging Face Community Evals – derselben Infrastruktur, die auch das britische AI Security Institute für seine offenen Evaluierungen nutzt [1]. Diese sogenannten Evaluation Cards dokumentieren nicht nur die reinen Punktzahlen, sondern halten maschinenlesbar fest, wer den Test durchgeführt hat, wie auf das Modell zugegriffen wurde, welche Generierungsparameter galten und wie jede Metrik zu interpretieren ist [1].

Diese Strukturierung hat unmittelbare Bedeutung für die KI-Governance in Unternehmen: Einer Analyse von EvalEval zufolge deckt das EEE-Schema bereits 56 der insgesamt 60 Berichtselemente ab, die von Regulierungsrahmen wie Artikel 55 des EU AI Act und dem zugehörigen GPAI Code of Practice für KI-Modelle mit allgemeinem Verwendungszweck gefordert werden [1]. Flankierend dazu stellt das Projekt eine öffentliche Zusammenfassung der Trainingsinhalte (Public Summary of Training Content) sowie freiwillig ein ausgearbeitetes Code-of-Practice-Dokument für den EU AI Act als PDF-Dateien bereit [1, 2].

Aus rechtlicher und operativer Sicht müssen Sie beim Bezug und Einsatz der Modelle jedoch drei weitere Rahmenbedingungen berücksichtigen [2]. Erstens stehen die Gewichte zwar unter der offenen Apache-2.0-Lizenz, der Zugriff auf das Repository bei Hugging Face ist jedoch zugangsbeschränkt (Gated Repository): Sie müssen vor dem Download sowohl der Lizenz als auch einer Nutzungsrichtlinie (Acceptable Use Policy, AUP) zustimmen und einwilligen, dass Ihre Kontaktdaten (E-Mail-Adresse und Benutzername) gemäß der Datenschutzrichtlinie des Projekts mit den Autoren geteilt werden [2]. Zweitens weisen die Entwickler darauf hin, dass Apertus fehlerhafte, inkonsistente oder voreingenommene Inhalte erzeugen kann und lediglich als Assistenzwerkzeug dienen sollte [2]. Drittens wird seitens des Projekts aktuell kein integrierter Ausgabefilter (Output Filter) mitgeliefert [2]. Anfragen zur Löschung personenbezogener Daten (PII) oder urheberrechtlich geschützter Inhalte nimmt die Initiative per E-Mail entgegen und setzt diese durch Aktualisierungen der Datenpipeline-Filter in regulären, mindestens halbjährlichen Neuveröffentlichungen der Modellgewichte um [2]. Das Konsortium rät Betreibern daher dringend, die Modellgewichte alle sechs Monate neu herunterzuladen und in ihren Systemen zu aktualisieren [2].

Produktive Einsatzszenarien, Cloud-Verfügbarkeit und Ausblick auf Apertus 2.0

Dass die Modelle der Apertus-Familie über die akademische Forschung hinaus in der Praxis Anwendung finden, belegen mehrere dokumentierte Implementierungen [1, 3]. So sind die neuen Apertus-1.5-Modelle bereits in die produktiven Anwendungen Proton Lumo und Infomaniak Euria integriert worden [1]. Für Entwickler, die die Modelle ohne eigene GPU-Infrastruktur über Programmierschnittstellen (APIs) anbinden möchten, haben verschiedene Cloud-Anbieter entsprechende Dienste angekündigt oder freigeschaltet, darunter Swisscom, Infomaniak und Phoeniqs [1]. Für die akademische Gemeinschaft in der Schweiz stellt das CSCS einen eigenen Inferenz-Endpunkt zum Aufbau agentenbasierter KI-Anwendungen bereit [3], während international die Public AI Inference Utility als offizieller Bereitstellungspartner fungiert und sowohl das 70B- als auch das 8B-Reasoning-Modell über Web-Oberflächen und eine Entwicklerplattform zugänglich macht [4].

Wie vielfältig die Architektur bereits ab der ersten Generation genutzt wurde, zeigen Referenzprojekte aus Verwaltung, Medizin und Medien [3]. Im Schweizer Kanton Tessin betreibt die Verwaltung auf Basis von Apertus einen internen KI-Übersetzungsdienst, mit dem vertrauliche Regierungsdokumente übersetzt werden können, ohne auf externe kommerzielle Cloud-Anbieter angewiesen zu sein [3]. Forscher der EPFL nutzten Apertus zudem als eines der Basismodelle für MeditronFO, ein vollständig offenes Framework zur Entwicklung medizinischer Sprachmodelle [3]. Im Mediensektor setzt das Basler Online-Medium Bajour ein lokal gehostetes Apertus-Modell in der Redaktion ein, um politische Lokalnachrichten für einen täglichen Newsletter aufzubereiten [3]. Darüber hinaus entwickelte Bajour auf Basis von Apertus ein Such- und Analysewerkzeug, mit dem Journalisten jahrelange Wortprotokolle des Kantonsparlaments durchsuchen, die Positionen von Politikern über Zeiträume hinweg nachverfolgen und Widersprüche zwischen früheren Aussagen und späterem Handeln aufdecken können [3]. Laut Bajour-Redakteur Samuel Hufschmid gab dabei die Quelloffenheit und Transparenz den Ausschlag für die Modellwahl; über das Publikationsnetzwerk We.Publish werden diese Werkzeuge inzwischen auch anderen Redaktionen zur Verfügung gestellt [3].

Für Ihre langfristige Technologieplanung lohnt sich abschließend ein Blick auf die weitere Roadmap der Swiss AI Initiative, die neben domänenspezifischen Modellen für Recht, Klima, Gesundheit und Bildung bereits die nächste Hauptversion umfasst [1, 4]. Während Public AI das Erscheinen der nächsten Generation innerhalb von Monaten statt Jahren in Aussicht stellte [4], konkretisierte das Entwicklerteam auf dem AI+X Summit in Zürich die technischen Eckdaten für Apertus 2.0 [1]. Demnach vollzieht das Projekt beim kommenden Release den Wechsel von einer dichten Architektur hin zu einem Sparse-Mixture-of-Experts-Design (MoE) mit insgesamt rund 600 Milliarden Parametern und einem erweiterten Trainingszeitplan, wobei die Entwicklungsschwerpunkte gezielt auf autonomen Agenten, Mathematik und Softwareentwicklung liegen werden [1].

Quellen

1. [1] Apertus 1.5 Release Notes — https://huggingface.co/blog/swiss-ai/apertus-v15-release-notes (abgerufen am 2026-10-15)
2. [2] swiss-ai/Apertus-v1.5-8B · Hugging Face — https://huggingface.co/swiss-ai/Apertus-v1.5-8B (abgerufen am 2026-10-15)
3. [3] Apertus 1.5: Building the next generation of open AI infrastructure – ETH AI Center   | ETH Zurich — https://ai.ethz.ch/news-and-events/ai-center-news/2026/07/apertus-15-building-the-next-generation-of-open-ai-infrastructure.html (abgerufen am 2026-10-15)
4. [4] With 1.5x the love, from Switzerland — https://publicai.co/stories/apertus-1-5 (abgerufen am 2026-10-15)
5. [5] GitHub - swiss-ai/evals-post-train: Updated Version of Apertus Evals for Apertus 1.5 Post-Training · GitHub — https://github.com/swiss-ai/evals-post-train (abgerufen am 2026-10-15)