// Modelle & Forschung 15.10.2026 · 08:13 Uhr 17 Min. Lesezeit

Vom Kontextfenster ins Modellgewicht: Wie das Framework Cortex temporäre Informationen im parametrischen Gedächtnis verankert

Mindverse News

KI-gestützt erstellt 5 Quellen Originalmeldung: huggingface.co Arbeitsweise

KI-generierte Illustration: Vom Kontextfenster ins Modellgewicht: Wie das Framework Cortex temporäre Informationen im parametrischen Gedächtnis verankert — KI-generierte Illustration

Das Wichtigste in Kürze

Forscher im Umfeld von ByteDance Seed stellen mit Cortex ein Verfahren vor, das temporäre Kontextgewinne großer Sprachmodelle in dauerhafte, direkt in die Architektur faltbare Parameter-Updates im Feed-Forward-Netzwerk (FFN) überführt [1, 2].
Unter dem Begriff Memory Consolidation (MC) vereint der Ansatz bisher getrennt behandelte Aufgaben wie Faktenbearbeitung, das Erlernen neuer APIs, Verhaltenssteuerung, Wissensunterdrückung und Agenten-Erfahrungen unter einem gemeinsamen Lernziel [1, 2].
Zur Vermeidung von katastrophalem Vergessen kombiniert Cortex selbstgenerierte prospektive Abfragen mit einer Wissensdestillation über Ausgangsverteilungen (KL-Divergenz) und interne Zwischenzustände (MSE) sowie einem kontextfreien Query-Replay [2].
Für Mixture-of-Experts-Architekturen (MoE) führen die Autoren eine geteilte strukturelle Erweiterung ein, die im Gegensatz zu isolierten Experten-Updates jedem Token einen direkten Gradientenpfad bei eingefrorenem Router bietet [2].
In Tests der Autoren über Modelle von 4 bis 120 Milliarden Parametern erreicht die Variante Cortex-Structural nach 50 sequenziellen Fakten-Edits bei einem 14B-Modell eine Konsolidierungsrate von 88,9 Prozent bei einer Beibehaltungsrate von 99,8 Prozent [1, 2].

// Inhalt · 8 Abschnitte

Das Dilemma flüchtiger Kontexte in großen Sprachmodellen
Neurobiologisches Vorbild: Vom Hippocampus in den Neokortex
Formale Problemstellung: Memory Consolidation als einheitliches Paradigma
Prospektive Abfragen: Was ein Modell aus dem Kontext lernen muss
Architektur der Speicherung: Synaptische und strukturelle FFN-Plastizität
Kontext-zu-Gedächtnis-Destillation und Schutz vor dem Vergessen
Empirische Ergebnisse und das Memory Consolidation Testbed
Einordnung im Forschungsfeld und Konsequenzen für Unternehmen
Quellen

Das Dilemma flüchtiger Kontexte in großen Sprachmodellen

Wenn Sie große Sprachmodelle (Large Language Models, LLMs) in geschäftskritischen Prozessen einsetzen, stehen Sie regelmäßig vor einer fundamentalen architektonischen Abwägung: Stellen Sie aufgabenspezifisches Wissen, neue Programmierschnittstellen oder Verhaltensregeln zur Laufzeit über das Kontextfenster bereit oder verändern Sie die Gewichte des Modells durch ein Nachtraining? Das Bereitstellen von Informationen im Prompt verbessert die Modellleistung zwar unmittelbar ohne Parameteranpassung, doch dieser Zugewinn ist flüchtig [1, 2]. Sobald der Kontext aus Kosten-, Latenz- oder Kapazitätsgründen entfernt wird, fällt das System auf seinen ursprünglichen Zustand zurück – es entsteht eine sogenannte Kontextlücke (Context Gap) zwischen der kontextgestützten und der kontextfreien Leistungsfähigkeit [2].

Hinzu kommt, dass selbst umfangreiche Kontextfenster in der Praxis keine vollständige und deterministische Nutzung der übergebenen Daten garantieren [5]. Eine Untersuchung von neun verbreiteten Sprachmodellen – darunter GPT-4o, Claude-Varianten, Llama, Mistral und Phi-3 – anhand des Datensatzes WikiAtomic zeigt, dass Modelle selbst bei konsistenten Informationslagen ein stabiles Verhältnis von lediglich rund 70 Prozent kontextuellem Wissen zu 30 Prozent parametrischem Vorwissen aus den Modellgewichten beibehalten [5]. Ab einer Kontextlänge von etwa 25 atomaren Sätzen tritt zudem ein deutlicher Positionseffekt („Lost in the Middle“) auf, bei dem Informationen im ersten Viertel des Eingabetextes stark bevorzugt und spätere Abschnitte vernachlässigt werden [5]. Zwar senkt zusätzlicher Kontext ab etwa zehn Sätzen die Halluzinationsrate messbar, doch die dauerhafte Mitführung langer Kontexte über viele Interaktionen hinweg bleibt operativ aufwendig [2, 5].

Um diese Lücke zu schließen, hat ein Forschungsteam bestehend aus Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu und Ningyu Zhang, das auf der Plattform Hugging Face der Forschungsgruppe ByteDance Seed zugeordnet ist, das Framework Cortex vorgestellt [1]. Die Arbeit ist sowohl als Preprint auf arXiv unter der Kennung 2610.20399 als auch als Einreichung im Begutachtungsverfahren auf OpenReview dokumentiert [1, 2]. Das Ziel der Autoren ist es, die durch einen Kontext erzielten Leistungsgewinne dauerhaft in das parametrische Gedächtnis eines Sprachmodells zu überführen, ohne dass der Ursprungskontext bei späteren Abfragen noch vorliegen muss und ohne dass bestehende Fähigkeiten des Modells außerhalb des Zielbereichs beeinträchtigt werden [1, 2].

Kontextlücke (Context Gap): Leistungsgewinne durch Prompt-Kontexte gehen unmittelbar verloren, sobald der Kontext entfernt wird [2].
Grenzen des In-Context-Learnings: Empirische Analysen zeigen eine Deckelung der Kontextnutzung bei rund 70 Prozent sowie Positionsverzerrungen zugunsten des Textanfangs [5].
Ziel von Cortex: Umwandlung kontextbedingter Verbesserungen in verschmelzbare (mergeable) Parameter-Updates für kontinuierliches Lernen [1, 2].

Neurobiologisches Vorbild: Vom Hippocampus in den Neokortex

Sowohl die Problemformulierung von Cortex als auch verwandte Ansätze des kontinuierlichen maschinellen Lernens greifen explizit auf Erkenntnisse der Neurowissenschaften zurück, insbesondere auf den Prozess der biologischen Systemkonsolidierung (Systems Consolidation) [1, 2, 3, 4]. In der Neurobiologie beschreibt Gedächtniskonsolidierung den Vorgang, durch den eine anfänglich labile, störungsanfällige Erinnerung in eine stabile, dauerhafte Form überführt wird – ein Konzept, das bereits im Jahr 1900 von Müller und Pilzecker zur Erklärung rückwirkender Interferenzen eingeführt wurde [4]. Während die synaptische Konsolidierung zelluläre Prozesse wie die Proteinsynthese innerhalb weniger Stunden nach dem Lernen umfasst, bezeichnet die Systemkonsolidierung die schrittweise Reorganisation ganzer Gehirnsysteme über längere Zeiträume hinweg [4].

Im menschlichen Gehirn stützt sich das bewusste Gedächtnis für neue Erfahrungen zunächst auf das Zusammenspiel zwischen dem schnell lernenden Hippocampus und dem Neokortex [2, 4]. Klinische Studien zur retrograden Amnesie – etwa bei Patienten mit beidseitigen Läsionen des Hippocampus, die zu Nachrichtenereignissen aus fünf Jahrzehnten befragt wurden – belegen, dass jüngere Erinnerungen bei Schäden am Hippocampus verloren gehen, während weiter zurückliegende Fakten- und Alltagserinnerungen erhalten bleiben [4]. Der Hippocampus fungiert als temporärer Speicher für schnelle episodische Kodierungen und steuert über die Zeit hinweg – unter anderem durch neuronales Replay während sogenannter Sharp-Wave-Ripple-Aktivitäten im Schlaf – die Reorganisation und Vernetzung der Informationen in verteilten Arealen des Neokortex, bis das Wissen unabhängig vom Hippocampus abgerufen werden kann [2, 3, 4].

Für künstliche neuronale Netze ist dieser Mechanismus vor allem deshalb relevant, weil er erklärt, wie das Gehirn „katastrophale Interferenz“ (Catastrophic Interference beziehungsweise Catastrophic Forgetting) vermeidet [3, 4]. Wie neurokomputationale Modelle von McClelland und Kollegen zeigen, führt das abrupte Einprägen neuer, mit dem Vorwissen inkonsistenter Daten in ein Netzwerk zur Zerstörung bereits etablierter Repräsentationen [4]. Erst das verzahnte („interleaved“) Training des langsamer adaptierenden Neokortex durch den Hippocampus erlaubt es, neues Wissen mit minimaler Interferenz zu assimilieren, wobei die Konsolidierungsgeschwindigkeit stark davon abhängt, wie gut sich neue Informationen in bestehende Wissensschemata einfügen [4].

Parallele Ansätze in der Bildverarbeitung und tiefen neuronalen Netzen

Wie intensiv die KI-Forschung derzeit versucht, diese biologische Arbeitsteilung technisch nachzubilden, zeigt ein Blick auf komplementäre Arbeiten außerhalb der reinen Textgenerierung [3]. So haben Forscher der Chinesischen Akademie der Wissenschaften und der City University of Hong Kong mit BrainCL ein biomimetisches Framework für kontinuierliches Lernen in tiefen neuronalen Netzen (etwa für Bildklassifikation auf ImageNet-100, Robotik-Vision auf CoRe50 und Medizindaten auf MedMNIST) entwickelt [3]. BrainCL ahmt die Musterseparation im Gyrus dentatus (DG) und die Mustervervollständigung in der CA3-Region des Hippocampus durch ein semi-parametrisches Gedächtnis nach, das entropiearme, arithmetisch kodierte Gedächtnis-Cues mit leichtgewichtigen, aufgabenspezifischen Netzwerken kombiniert und in einem zweistufigen Wach-Schlaf-Zyklus konsolidiert [3].

Während BrainCL für klasseninkrementelles Lernen jedoch dauerhaft komprimierte nicht-parametrische Cues im Speicher vorhalten muss und im Schlafzyklus das gesamte Modell nachtrainiert [3], verfolgen die Entwickler von Cortex für große Sprachmodelle einen rein parametrischen Endzustand [1, 2]. Bei Cortex entspricht das Modell mit angehängtem Kontext im Attention-Mechanismus der schnellen, temporären Kodierung des Hippocampus, während die Konsolidierung das Ziel verfolgt, diese Information vollständig in die Feed-Forward-Schichten (als Analogie zum Neokortex) einzuschreiben, sodass der ursprüngliche Kontext komplett verworfen werden kann [2].

Formale Problemstellung: Memory Consolidation als einheitliches Paradigma

In der bisherigen Forschung zu großen Sprachmodellen wurden Aufgaben wie das Bearbeiten einzelner Fakten (Knowledge Editing), das Erlernen neuer Fähigkeiten (Skill Learning), die Verhaltenssteuerung (Behavioral Steering) und das gezielte Unterdrücken von Wissen (Knowledge Suppression oder Unlearning) meist als getrennte Disziplinen mit spezialisierten Datenformaten behandelt [1, 2]. Klassische Methoden zur Faktenbearbeitung setzen häufig strukturierte Faktentripel voraus, während Verfahren zum Vergessen auf separat definierten Forget- und Retain-Datensätzen aufbauen [2]. Die Autoren von Cortex führen diese isolierten Ansätze unter dem gemeinsamen Lernziel der Memory Consolidation (MC) zusammen, indem sie den natürlichsprachlichen Kontext als universelle Beschreibung der gewünschten Modelländerung nutzen [1, 2].

Im Unterschied zu früheren Konzepten der Kontext-Injektion (Context Injection), bei denen sich das Erhaltungskriterium primär auf zuvor injizierte Kontexte bezieht, fordert MC explizit die Bewahrung sämtlicher ursprünglicher Fähigkeiten des Basismodells außerhalb des beabsichtigten Änderungsbereichs [2]. Zudem grenzt sich die Problemstellung von der klassischen Kontext-Destillation (Context Distillation) dadurch ab, dass dem Konsolidierungsverfahren keine vom Entwickler vorab definierte Verteilung von Aufgabeneingaben übergeben wird [2]. Das Verfahren erhält lediglich das Modell und den Kontext; die Konstruktion geeigneter Lerndaten ist Teil der Methode selbst, und zurückgehaltene Evaluierungsabfragen bleiben dem Algorithmus strikt verborgen [2].

Mathematische Definition von Kontextlücke, Konsolidierung und Retention

Formal betrachten die Forscher ein Sprachmodell M und eine Sammlung temporär verfügbarer Informationen, Erfahrungen oder Anweisungen C [2]. Für diesen Kontext C existieren zwei Mengen von Abfragen: die Zielabfragen (Target Queries), bei denen sich das Verhalten des Modells gemäß C ändern soll, und die Erhaltungsabfragen (Retain Queries), bei denen das Verhalten unverändert bleiben muss [2]. Diese beiden Mengen können sich durchaus überschneiden, sofern dieselbe Antwort unter unterschiedlichen Bewertungsfunktionen gemessen wird – beispielsweise hinsichtlich der faktischen Genauigkeit einerseits und der sprachlichen Flüssigkeit andererseits [2].

Die Nützlichkeit eines Kontexts wird über die Kontextlücke (Context Gap) quantifiziert, definiert als die Differenz zwischen der erwarteten Leistung des Modells auf den Zielabfragen mit Kontext C und der Leistung ohne Kontext C [2]. Ist diese Lücke substanziell positiv, sprechen die Autoren von einem „Gedächtnisfehler“ (Memory Failure): Das Modell ist prinzipiell fähig, die Information im Kontext zu verwerten, verliert den Nutzen aber nach dem Entfernen von C [2]. Liegt die Lücke hingegen nahe null, handelt es sich um einen „Fähigkeitsfehler“ (Capability Failure), da das Modell die Aufgabe selbst mit vorhandenem Kontext nicht lösen kann [2]. Memory Consolidation adressiert ausschließlich Gedächtnisfehler [2].

Zur präzisen Messung des Konsolidierungserfolgs eines aktualisierten Modells M' definieren die Autoren zwei zentrale Metriken [2]: Die Consolidation Rate (CR) beschreibt den Bruchteil des kontextinduzierten Leistungsgewinns auf den Zielabfragen, der nach dem Entfernen des Kontexts durch M' wiederhergestellt wird (wobei ein Wert von 1,0 der vollständigen Wiederherstellung entspricht) [2]. Die Retention Rate (RR) misst das Verhältnis der Leistung des aktualisierten Modells M' zur Leistung des Ursprungsmodells M auf den Erhaltungsabfragen (wobei 1,0 die vollständige Bewahrung des Ausgangsniveaus anzeigt) [2]. Beide Werte können theoretisch auch über 1,0 steigen [2]. Evaluiert wird dieses Verhältnis in drei Szenarien: bei Einzel-Updates (ein Kontext), Batch-Updates (mehrere Kontexte gleichzeitig) und sequenziellen Updates, bei denen neue Kontexte schrittweise in das jeweils zuvor aktualisierte Modell integriert werden, ohne dass vergangene Kontexte gespeichert oder erneut eingesehen werden dürfen [2].

Prospektive Abfragen: Was ein Modell aus dem Kontext lernen muss

Die erste zentrale Designfrage von Cortex lautet, welche Inhalte überhaupt aus einem Rohkontext extrahiert werden sollen [2]. Ein typischer Unternehmenskontext – etwa eine technische Dokumentation, ein Richtliniendokument oder ein Interaktionsprotokoll – enthält zahlreiche Details, die für spätere Aufgaben irrelevant sind [2]. Ein nützliches Gedächtnis darf den Quelltext nicht einfach nur im Wortlaut reproduzieren, sondern muss dessen künftige Anwendung antizipieren [2]. In Anlehnung an kognitive Theorien zum proaktiven menschlichen Abfragen, bei dem Menschen zukünftige Situationen imaginieren, um relevante Informationen selektiv zu encodieren, generiert Cortex sogenannte prospektive Abfragen (Prospective Queries) [1, 2].

Hierfür nutzt Cortex das eingefrorene Modell vor dem jeweiligen Update-Schritt als eigenständigen Generator und Lehrer, sodass keinerlei externe Hilfsmodelle erforderlich sind [2]. Mithilfe einer speziellen Instruktion fordert das Verfahren das Modell auf, ausgehend vom Kontext C potenzielle zukünftige Nutzeranfragen q zu entwerfen [2]. Anschließend generiert dasselbe Modell unter Bereitstellung des Kontexts C und der Anfrage q die zugehörige kontextbedingte Zielantwort y [2]. Die entstehenden Tripel aus Kontext, Anfrage und Antwort durchlaufen optional einen aufgabenspezifischen Filter (wobei der Standard-Identitätsfilter alle Kandidaten beibehält) und bilden den Rehearsal-Datensatz für das Training [2].

Für die Verarbeitung von gebündelten Kontexten (Batch Consolidation) unterstützt die Architektur zwei unterschiedliche Konstruktionspfade [2]: Beim Verfahren „Concatenate-then-Construct“ werden kurze Kontexte zunächst zusammengefügt, bevor das Modell gemeinsame Abfragen generiert [2]. Beim Verfahren „Construct-then-Merge“ werden die Abfrage-Antwort-Tripel für jeden einzelnen Kontext separat erzeugt und erst danach für das Training zusammengeführt, wodurch sichergestellt ist, dass jedes Beispiel exakt seinen ursprünglichen Lehrerkontext behält [2].

Eine methodische Ausnahme bilden Agenten-Aufgaben wie ALFWorld oder tau2-Bench [2]. In diesen Szenarien werden die Abfragen nicht vom Modell selbst erfunden, sondern stammen aus der Trainingsumgebung, während der Filter als Korrektheitsprüfung fungiert, die ausschließlich erfolgreiche Offline-Trajektorien zulässt [2]. Die Forscher verknüpfen den Erfahrungs-Kontext C mit diesen Umgebungsanfragen und isolieren die anschließende Konsolidierungsphase strikt von jeder weiteren Interaktion mit der Umgebung, um die Unabhängigkeit von der späteren Evaluierung zu wahren [2].

Selbstständige Datengenerierung: Das eingefrorene Ausgangsmodell erzeugt ohne externe Fremdmodelle sowohl die antizipierten Anfragen als auch die kontextgestützten Antworten [2].
Flexible Batch-Strategien: Wahlweise Verkettung kurzer Kontexte vor der Abfragegenerierung oder separate Tripel-Erzeugung mit anschließender Zusammenführung [2].
Strikte Isolation bei Agenten-Trainings: Nutzung verifizierter Offline-Trajektorien ohne Umgebungszugriff während der Konsolidierungsphase [2].

Architektur der Speicherung: Synaptische und strukturelle FFN-Plastizität

Die zweite Kernfrage betrifft den Ort und die mathematische Form der Parameteranpassung im neuronalen Netz [2]. Gestützt auf bestehende Forschungsergebnisse, wonach Feed-Forward-Netzwerke (FFNs) in Transformer-Architekturen als Schlüssel-Wert-Speicher (Key-Value Memory) fungieren und maßgeblich für den Abruf faktischen Wissens verantwortlich sind, beschränkt Cortex sämtliche Schreibvorgänge strikt auf die FFN-Schichten [2]. Die Attention-Schichten bleiben unangetastet [2]. Als Basis betrachten die Autoren ein verzerrungsfreies (bias-free) SwiGLU-FFN, das aus einer Gate-Projektion, einer Up-Projektion und einer Down-Projektion besteht [2].

Analog zu biologischen Mechanismen der Gedächtnisbildung – einerseits der Veränderung der synaptischen Übertragungsstärke und andererseits der Neubildung synaptischer Verbindungen – implementiert Cortex zwei unterschiedliche Formen der FFN-Plastizität [2]:

Die erste Variante, Cortex-Synaptic, modelliert synaptische Plastizität durch Low-Rank-Updates (niedrigrangige Matrizeninkremente vom Rang r, vergleichbar mit LoRA) auf den bestehenden Gewichtsmatrizen der Gate-, Up- und Down-Projektionen [1, 2]. Die ursprünglichen Parameter werden dabei durch Addition des Produkts zweier kleinerer Matrizen modifiziert [2].

Die zweite Variante, Cortex-Structural, setzt auf strukturelle Plastizität, indem sie k komplett neue nichtlineare Merkmalskanäle (Feature Channels) parallel zu den bestehenden FFN-Blöcken hinzufügt, während die originalen Gewichtsblöcke unverändert fixiert bleiben [2]. Mathematisch wird zum Ausgang des ursprünglichen FFN-Blocks ein neuer SwiGLU-Zweig mit eigenen Gate-, Up- und Down-Matrizen der Dimension k addiert [2].

Ein direkter Effizienzvergleich der beiden Ansätze fällt zugunsten der strukturellen Erweiterung aus: Wenn die Kanalanzahl k dem Rang r entspricht, trainiert eine dichte (dense) Schicht bei der strukturellen Variante lediglich das Dreifache aus r und der Hidden-Dimension des Modells an Parametern [2]. Die synaptische Variante erfordert hingegen das Dreifache aus r multipliziert mit der Summe aus Hidden-Dimension und der meist deutlich größeren FFN-Zwischendimension [2]. Cortex-Structural benötigt somit bei gleichem Rang weniger trainierbare Parameter, erhöht die Breite und den Rechenaufwand des bereitgestellten Modells nur geringfügig und erlaubt es der Gesamtkapazität des Modells, in kontinuierlichen Lernszenarien dynamisch mit dem Zustrom neuen Wissens zu wachsen [2].

Entscheidend für den produktiven Betrieb in Unternehmen ist, dass sich beide Varianten nach dem Training nahtlos in die Standard-Modellgewichte einfalten (fold) lassen [1, 2]. Synaptische Updates verschmelzen durch einfache Matrizenaddition mit den bestehenden Projektionen, während strukturelle Updates durch Konkatenation zu geringfügig breiteren Standard-FFN-Matrizen zusammengefügt werden [2].

Spezialfall Mixture-of-Experts: Geteilte Erweiterung statt isolierter Experten

Besondere Aufmerksamkeit widmen die Forscher modernen Mixture-of-Experts-Architekturen (MoE) [1, 2]. Grundsätzlich lassen sich sowohl synaptische als auch strukturelle Parametererweiterungen auf einzelne Experten innerhalb einer MoE-Schicht anwenden, während die Parameter des Routers eingefroren bleiben [2]. In der Praxis führt eine unabhängige Erweiterung einzelner Experten (Independent MoE Expansion) jedoch zu einem Trainingsproblem: Da der Router jedes Token nur an eine kleine Auswahl gewichteter Experten weiterleitet, erhalten die neu hinzugefügten Parameter einzelner Experten nur über diese spezifischen Routen direkte Datengradienten [2]. Manche neuen Parameterblöcke werden während der kurzen Konsolidierungsphase dadurch kaum trainiert [2].

Um diesen Engpass zu beheben, führt Cortex für strukturelle MoE-Updates einen gemeinsamen Erweiterungszweig (Shared Branch) ein [2]. Anstatt jeden Experten einzeln zu verbreitern, wird pro MoE-Schicht eine einzige geteilte strukturelle Erweiterung installiert, die jedes Token unabhängig von der Router-Entscheidung direkt durchläuft [2]. Sofern die Routing-Gewichte der aktiven Experten in der Summe auf 1 normiert sind, lässt sich dieser gemeinsame Zweig mathematisch exakt in jeden einzelnen Experten hineinfalten, da die Summe der gewichteten Expertenausgaben plus dem gemeinsamen Zweig identisch ist mit der gewichteten Summe aus jeweils Experte plus gemeinsamem Zweig [2]. Dadurch profitieren auch MoE-Modelle während des Trainings von einer lückenlosen Gradientenversorgung bei gleichzeitig standardkonformer Architektur im späteren Inferenzbetrieb [2].

Kontext-zu-Gedächtnis-Destillation und Schutz vor dem Vergessen

Die dritte Säule von Cortex regelt den eigentlichen Schreibprozess: Wie werden die neuen FFN-Parameter trainiert, ohne bestehendes Wissen durch Interferenzen zu beschädigen [2]? Die Autoren nutzen hierfür eine Kontext-zu-Gedächtnis-Destillation (Context-to-Memory Distillation) in einer Lehrer-Schüler-Konfiguration [2]. Als Lehrer dient das eingefrorene Modell vor dem Update, das die vollständige Sequenz inklusive des Kontexts C, optionaler fester Prompt-Gerüste (Prefix und Suffix), der generierten Anfrage q und der Antwort y erhält [2]. Der Schüler ist dasselbe Modell mit den neu eingefügten, trainierbaren FFN-Parametern, erhält jedoch nur das Prompt-Gerüst, die Anfrage q und die Antwort y – der Kontext C fehlt beim Schüler vollständig [2]. Alle bestehenden Modellgewichte sowie eventuelle Parameter aus früheren Konsolidierungsschritten bleiben während des Trainings strikt eingefroren [2].

Die Verlustfunktion (Loss Function) setzt sich aus zwei komplementären Komponenten zusammen, die an den korrespondierenden Token-Positionen von Lehrer und Schüler berechnet werden [2]: Erstens minimiert Cortex die Kullback-Leibler-Divergenz (KL) zwischen den Wahrscheinlichkeitsverteilungen der nächsten Token von Lehrer und Schüler, wobei beide Verteilungen auf die Top-Kv-Vokabeleinträge des Lehrers renormiert werden [2]. Dies überträgt das unmittelbare Ausgabeverhalten des kontextgestützten Modells auf den kontextfreien Schüler [2]. Zweitens minimiert das Verfahren den mittleren quadratischen Fehler (Mean Squared Error, MSE) zwischen den internen Repräsentationen (Hidden States) unmittelbar nach den FFN-Schichten über alle Modellschichten hinweg [2]. Diese Hidden-State-Ausrichtung verhindert, dass das Schülermodell zwar äußerlich die richtigen Wörter produziert, dafür aber seine internen Repräsentationsräume massiv verbiegt, was zu Kollateralschäden bei anderen Aufgaben führen würde [2].

Für sequenzielle Updates über viele Schritte hinweg integriert Cortex zudem einen optionalen Mechanismus namens Query Replay [2]. Im Gegensatz zu klassischen Replay-Verfahren speichert Cortex weder vergangene Quelltext-Kontexte noch frühere Zielantworten dauerhaft ab [2]. Es werden lediglich die kurzen generierten Abfragen q aus früheren Schritten in einem Puffer behalten [2]. Vor einem neuen Konsolidierungsschritt t generiert das unmittelbar vorangehende Modell M(t-1) zu diesen alten Abfragen komplett kontextfrei neue Antworten [2]. Diese temporären Tripel ohne Kontext werden den aktuellen Trainingsbeispielen beigemischt und unter derselben KL-MSE-Verlustfunktion optimiert, wobei Lehrer und Schüler identische kontextfreie Sequenzen sehen [2]. Zur Inferenzzeit wird dieser Abfragepuffer nicht benötigt [2].

Duales Trainingsziel: Kombination aus Top-Kv-KL-Divergenz der Ausgabeverteilungen und MSE-Abgleich der Post-FFN-Zwischenzustände über alle Schichten [2].
Selektives Einfrieren: Nur die im aktuellen Schritt neu eingeführten synaptischen oder strukturellen FFN-Parameter werden aktualisiert [2].
Datensparsames Query Replay: Aufbewahrung ausschließlich früherer Abfragen ohne Speicherung historischer Kontexte oder permanenter Antwort-Targets [2].

Empirische Ergebnisse und das Memory Consolidation Testbed

Da bisherige Benchmarks jeweils nur Teilaspekte wie isolierte Fakten-Edits abbildeten, haben die Autoren das „Memory Consolidation Testbed“ entwickelt [1, 2]. Diese Testumgebung deckt fünf Aufgabenfamilien ab, die sich über drei Dimensionen erstrecken: den Gedächtnistyp (deklaratives Wissen, prozedurales Wissen, Verhaltenssteuerung), die Operation (Hinzufügen, Revision/Änderung, Unterdrückung) sowie den Aktivierungsumfang (lokal für spezifische Entitäten oder global über das gesamte Verhalten hinweg) [2]. Für jedes untersuchte Modell-Aufgaben-Paar konstruierten die Forscher manuell Kontexte, die eine deutliche positive Kontextlücke erzeugen, völlig unabhängig von den zurückgehaltenen Testfragen [2].

Agent Experience Consolidation: Konsolidierung erfolgreicher Interaktionserfahrungen von Software-Agenten [2].
Novel API Learning: Erlernen und Anwenden neu eingeführter Programmierschnittstellen ohne Dokumentation im Prompt [2].
Persona Steering: Globale Anpassung von Verhaltens- und Antwortstilen des Sprachmodells [2].
Knowledge Suppression: Gezieltes Unterdrücken spezifischer Informationen im Modellverhalten [2].
Factual Editing: Punktuelle Aktualisierung oder Erweiterung deklarativen Faktenwissens [2].

Skalierung bis 120 Milliarden Parameter und Vergleich mit AlphaEdit

Nach Angaben der Autoren wurde Cortex über eine breite Palette von Modellarchitekturen hinweg evaluiert, die von 4 Milliarden bis zu 120 Milliarden Parametern (4B–120B) reicht [1, 2]. Die Experimente umfassen sowohl dichte (dense) Modelle als auch Mixture-of-Experts-Backbones, klassische instruktionsfeingetunte Varianten sowie speziell auf Schlussfolgern trainierte „Thinking“-Modelle und erstrecken sich neben reinen Textmodellen auch auf multimodale Architekturen [1, 2]. Im Vergleich mit aufgabenspezifischen Verfahren, Destillations-Baselines und Hypernetzwerk-Ansätzen liegt Cortex laut dem Forschungspapier in den meisten untersuchten Konfigurationen auf der empirischen Pareto-Front zwischen Konsolidierungsrate (CR) und Beibehaltungsrate (RR) [1, 2].

Besonders deutlich wird die Stabilität bei langen Update-Ketten: Nach 50 sequenziellen Fakten-Edits auf einem Modell mit 14 Milliarden Parametern stellt Cortex-Structural laut den publizierten Messwerten 88,9 Prozent des kontextinduzierten Leistungsgewinns wieder her (CR), während gleichzeitig 99,8 Prozent der ursprünglichen Modellleistung auf Nicht-Zielabfragen erhalten bleiben (RR) [1, 2]. Damit übertrifft Cortex-Structural in diesem Experiment die spezialisierte Baseline AlphaEdit um 66,2 Prozentpunkte bei der Konsolidierungsrate und um 3,8 Prozentpunkte bei der Beibehaltungsrate [2].

Zusätzliche Ablationsstudien der Autoren untermauern die architektonischen Designentscheidungen [2]: Das Beschränken der Updates auf die FFN-Schichten führt sowohl zu einer höheren CR als auch zu einer besseren RR als das zusätzliche Mittrainieren der Attention-Gewichte [2]. Die strukturelle Erweiterung (Cortex-Structural) reduziert das Vergessen im Vergleich zu synaptischen Updates selbst dann deutlich, wenn komplett auf Query Replay verzichtet wird [2]. Zudem erzielt die geteilte MoE-Erweiterung (Shared MoE Expansion) eine höhere Konsolidierungsrate als die unabhängige Erweiterung einzelner Experten, während die Hinzunahme des Hidden-State-MSE-Verlusts die Beibehaltungsrate (RR) bei nur geringfügiger Reduktion der CR stabilisiert [2].

Einordnung im Forschungsfeld und Konsequenzen für Unternehmen

In der analytischen Betrachtung zeigt die Arbeit an Cortex eine klare Verschiebung in der Architekturdiskussion rund um große Sprachmodelle: Während die Praxis in Unternehmen derzeit stark von Retrieval-Augmented Generation (RAG) und immer größeren Kontextfenstern dominiert wird, adressiert Cortex die strukturellen Schwächen dieser Laufzeit-Kontextualisierung [2, 5]. Da Sprachmodelle selbst bei optimaler Kontextbereitstellung einen erheblichen Teil ihres Verhaltens aus den parametrischen Gewichten speisen und bei langen Eingaben unter Positionsverzerrungen leiden [5], bietet die gezielte Überführung validierter Kontexte in die FFN-Parameter einen komplementären Pfad [1, 2].

Für Ihre KI-Infrastruktur und zukünftige Enterprise-Szenarien ergeben sich aus den in der Studie belegten Mechanismen mehrere konkrete Anknüpfungspunkte, die sich direkt aus den getesteten Aufgabenfamilien ableiten lassen [2]:

Erstens ermöglicht die Konsolidierung von neuen API-Spezifikationen (Novel API Learning) und Agenten-Erfahrungen, dass spezialisierte Coding- oder Prozess-Agenten interne Bibliotheken und erfolgreiche Problemlösungsstrategien direkt verinnerlichen, ohne bei jedem API-Aufruf umfangreiche Dokumentationen im Prompt mitführen zu müssen [2]. Zweitens zeigt die Integration von Knowledge Suppression und Persona Steering in dasselbe Framework, dass sich auch Compliance-Vorgaben – wie das Zurückhalten bestimmter Informationen oder die Einhaltung von Kommunikationsrichtlinien – über denselben Destillationsmechanismus parametrisch verankern lassen [2]. Drittens verhindert die Faltbarkeit (Folding) der Updates in Standard-FFN- und MoE-Schichten, dass zur Laufzeit komplexe Adapter-weichen oder zusätzliche Speicherpuffer verwaltet werden müssen, wie sie etwa bei semi-parametrischen Verfahren wie BrainCL im Vision-Bereich noch erforderlich sind [2, 3].

Bei der Bewertung der Reife ist jedoch eine strikte Unterscheidung zwischen wissenschaftlicher Ankündigung und produktiver Verfügbarkeit geboten: Bei den vorliegenden Daten zu Cortex handelt es sich um die Ergebnisse einer wissenschaftlichen Publikation der Autoren rund um ByteDance Seed, die sich auf OpenReview im Begutachtungsverfahren befindet [1, 2]. Die Autoren haben im Papier angekündigt, sowohl das Memory Consolidation Testbed als auch den Quellcode von Cortex öffentlich als Open Source freizugeben [2]. Zum Zeitpunkt der Erfassung der Hugging-Face-Papierseite waren dort allerdings noch keine verknüpften Modelle, Datensätze oder ausführbaren Spaces hinterlegt [1]. Zudem weist das Verfahren bei Cortex-Structural eine konstruktionsbedingte Eigenschaft auf, die bei extrem langen Update-Sequenzen beachtet werden muss: Da jeder sequenzielle Schritt neue Kanäle hinzufügt und die vorherigen einfriert, wächst die FFN-Breite zwar pro Schritt nur minimal, aber kontinuierlich an [2]. Unternehmen sollten die bevorstehende Code-Veröffentlichung daher nutzen, um das Verhältnis aus Konsolidierungsgewinn, Trainingsaufwand für die prospektive Fragengenerierung und Modellwachstum auf ihren eigenen Domänendaten unabhängig zu validieren [2].

Operative Entlastung zur Inferenzzeit: Nach erfolgreicher Konsolidierung und Faltung der FFN-Gewichte entfällt die erneute Verarbeitung des Ursprungskontexts im Prompt [2].
Breites Anwendungsspektrum: Ein einziger Algorithmus deckt Fakten-Updates, API-Lernen, Agenten-Training, Stilsteuerung und Wissensunterdrückung ab [1, 2].
Status der Verfügbarkeit: Forschungspapier mit angekündigter Open-Source-Freigabe von Code und Testbed; zum Abrufzeitpunkt noch keine verknüpften Modelle auf Hugging Face verfügbar [1, 2].

Quellen

[1] Paper page - Cortex: Consolidating Context into Parametric Memory — https://huggingface.co/papers/2610.20399 (abgerufen am 2026-10-15)
[2] [PDF] CONSOLIDATING CONTEXT INTO PARAMETRIC MEMORY — https://openreview.net/pdf?id=E4VnyeQGY0 (abgerufen am 2026-10-15)
[3] Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning — https://arxiv.org/html/2504.14727v1 (abgerufen am 2026-10-15)
[4] Memory Consolidation - PMC — https://pmc.ncbi.nlm.nih.gov/articles/PMC4526749 (abgerufen am 2026-10-15)
[5] When Context Leads but Parametric Memory Follows in Large Language Models | alphaXiv — https://www.alphaxiv.org/abs/2409.08435 (abgerufen am 2026-10-15)