// Modelle & Forschung 16.09.2026 · 20:33 Uhr 11 Min. Lesezeit

Kombinierte Lernmechanismen verbessern die langfristige Wissensspeicherung in Sprachmodellen

Mindverse News

KI-gestützt erstellt 5 Quellen Arbeitsweise

Kombinierte Lernmechanismen verbessern die langfristige Wissensspeicherung in Sprachmodellen — Symbolbild

Das Wichtigste in Kürze

Eine Forschungsarbeit der Johns Hopkins University untersucht, wie Sprachmodelle Informationen über viele aufeinanderfolgende Trainingsschritte hinweg behalten können.
Im Mittelpunkt steht ein Testszenario mit 100 nacheinander erlernten Frage-Antwort-Aufgaben, bei dem frühere Trainingsbeispiele nicht dauerhaft gespeichert werden.
Die Studie kombiniert vier Ansätze: Daten-, Funktions- und Gewichtsanker sowie eine zusammengeführte LoRA-Parameterstruktur.
In den Experimenten stieg die durchschnittliche abschließende Erinnerungsleistung von 1,2 Prozent bei einfacher sequenzieller Feinabstimmung auf 34,9 Prozent bei der besten Kombination.
Die Ergebnisse deuten darauf hin, dass sich Mechanismen des Continual Learning nicht nur einzeln, sondern gezielt als System betrachten lassen.
Die Untersuchung ist als wissenschaftliches Preprint einzuordnen. Aussagekraft und Übertragbarkeit auf größere Modelle, reale Unternehmensdaten und längere Einsatzzeiträume müssen weiter geprüft werden.

// Inhalt · 11 Abschnitte

Warum das Gedächtnis von Sprachmodellen zum strategischen Thema wird
Das Untersuchungsdesign: 100 Aufgaben statt eines einzelnen Lernschritts
Vier Mechanismen gegen das Vergessen
Ein systematischer Vergleich von 16 Kombinationen
Deutlicher Abstand zwischen einfacher Feinabstimmung und Kombination
Die wichtigsten Einzeleffekte und Wechselwirkungen
Was die Ergebnisse für Unternehmen bedeuten können
Grenzen der Untersuchung
Offene Fragen für die weitere Forschung
Einordnung für die Entwicklung langlebiger KI-Systeme
Fazit
Quellen

Warum das Gedächtnis von Sprachmodellen zum strategischen Thema wird

Sprachmodelle werden zunehmend nicht nur als einmal trainierte Systeme eingesetzt. In vielen Anwendungen sollen sie neue Informationen aufnehmen, sich an veränderte Prozesse anpassen und Wissen über längere Zeiträume hinweg verfügbar halten. Dazu zählen etwa unternehmensspezifische Fachbegriffe, neue Produktinformationen, aktualisierte Richtlinien oder laufend entstehende Kundendaten.

Die technische Herausforderung besteht darin, dass ein Modell beim Lernen neuer Inhalte bereits erworbenes Wissen verlieren kann. Dieses Phänomen wird als katastrophales Vergessen bezeichnet. Es tritt insbesondere dann auf, wenn Trainingsaufgaben nacheinander bearbeitet werden und das Modell bei jeder neuen Aufgabe seine Parameter weiter verändert.

Eine aktuelle Forschungsarbeit von Zheyuan Zhang, Alvin Zhang, Daniel Khashabi und Tianmin Shu von der Johns Hopkins University untersucht diesen Zielkonflikt unter der Bezeichnung „Long-Horizon Memorization“. Die Studie fragt, wie Sprachmodelle Informationen aus einer langen Folge von Lernaufgaben behalten können, ohne auf einfache Lösungen wie eine vollständige Wiederholung aller historischen Trainingsdaten oder sichtbare Aufgabenkennungen zurückzugreifen.

Die zentrale Beobachtung der Arbeit lautet: Einzelne Methoden zur Verringerung des Vergessens reichen bei einer langen Aufgabenfolge offenbar nicht aus. Eine Kombination mehrerer Mechanismen, die an unterschiedlichen Stellen des Lernprozesses ansetzen, kann die Beibehaltung früherer Informationen jedoch deutlich verbessern.

Das Untersuchungsdesign: 100 Aufgaben statt eines einzelnen Lernschritts

Viele Untersuchungen zum Continual Learning betrachten nur wenige aufeinanderfolgende Aufgaben. Das erlaubt eine kontrollierte Analyse, bildet aber nur eingeschränkt ab, was bei langfristigen Aktualisierungen eines Modells geschieht. Die Autoren der Studie erweitern diesen Horizont auf 100 nacheinander gelernte Frage-Antwort-Aufgaben.

Für ihre Untersuchung erstellen sie drei unterschiedliche Datensätze, die jeweils aus einer Sequenz von 100 Memorierungsaufgaben bestehen. Das Modell erhält dabei neue Frage-Antwort-Beziehungen und wird durch fortlaufende überwachte Feinabstimmung, also Continual Supervised Fine-Tuning, auf die jeweilige nächste Aufgabe angepasst.

Wesentliche Randbedingungen des Versuchs sind:

Die Aufgaben werden sequenziell und nicht in einem einzigen gemeinsamen Trainingslauf bearbeitet.
Frühere Trainingsbeispiele werden nicht dauerhaft als Replay-Puffer vorgehalten.
Bei der späteren Abfrage erhält das Modell keine Aufgabenkennung, die ihm mitteilt, aus welchem Lernabschnitt eine Frage stammt.
Die Retention wird nach Abschluss der gesamten Sequenz über alle zuvor erlernten Aufgaben hinweg gemessen.
Die Auswertung umfasst drei Datensätze und drei zufällige Startbedingungen pro Versuch.

Damit konzentriert sich das Experiment auf eine Kernfrage: Kann ein Modell neu eintreffende Informationen aufnehmen, ohne dass die zuvor gelernten Inhalte mit jedem weiteren Update zunehmend verschwinden?

Vier Mechanismen gegen das Vergessen

Die Arbeit vergleicht vier Mechanismen, die sich auf unterschiedliche Ursachen des Vergessens beziehen. Drei davon werden als Anker auf der Ebene von Daten, Funktionen und Modellgewichten beschrieben. Hinzu kommt eine Methode zur Verteilung und Zusammenführung niedrigdimensionaler Parameteranpassungen, die unter dem Namen LoRA bekannt ist.

Der Datenanker

Der Datenanker setzt bei den Eingaben und Trainingsbeispielen an. Sein Zweck besteht darin, während späterer Lernschritte weiterhin einen Bezug zu zuvor relevanten Informationen herzustellen. Dadurch soll verhindert werden, dass das Modell ausschließlich auf die aktuellste Aufgabe optimiert wird und ältere Inhalte vollständig aus dem Lernsignal verschwinden.

Aus Unternehmenssicht ist dieser Ansatz besonders relevant, weil Datenanker eine Verbindung zwischen neuen und bereits bekannten Informationen herstellen können. Das betrifft beispielsweise die Aktualisierung eines Wissensbestands, bei der neue Dokumente hinzukommen, ältere Inhalte aber weiterhin gültig bleiben.

Der Funktionsanker

Der Funktionsanker orientiert sich nicht nur an den Trainingsdaten, sondern an der von dem Modell ausgeführten Funktion. Dabei geht es vereinfacht gesagt darum, bestimmte frühere Modellreaktionen oder Verhaltensmuster während neuer Updates zu bewahren.

Ein solcher Mechanismus kann helfen, die Stabilität der Ausgabe zu erhöhen. Wenn ein Modell eine neue Domäne lernt, soll es nicht zugleich bereits etablierte Antwortbeziehungen oder grundlegende Fähigkeiten in unverhältnismäßigem Umfang verändern.

Der Gewichtsanker

Der Gewichtsanker greift direkt auf die Parameter des Modells zu. Er soll Änderungen an bereits wichtigen Gewichtungen begrenzen oder deren frühere Zustände bei der Optimierung berücksichtigen. Dieser Ansatz folgt der Annahme, dass ein Teil der Parameter für zuvor erlernte Aufgaben besonders bedeutsam ist und nicht beliebig überschrieben werden sollte.

Gewichtsbasierte Verfahren sind in der Forschung zum Continual Learning seit Jahren verbreitet. Ihre Wirkung hängt jedoch stark davon ab, wie relevante Parameter identifiziert, geschützt und mit neuen Lernzielen in Einklang gebracht werden.

Zusammengeführte LoRA-Anpassungen

LoRA steht für „Low-Rank Adaptation“. Bei diesem Verfahren werden nicht sämtliche Modellparameter vollständig angepasst. Stattdessen lernt das System zusätzliche, vergleichsweise kompakte Parameterstrukturen, die eine Anpassung an neue Aufgaben ermöglichen.

In der untersuchten Variante werden die Anpassungen aus verschiedenen Lernschritten zusammengeführt. Das soll eine strukturiertere Speicherung aufeinanderfolgender Updates ermöglichen und verhindern, dass jedes neue Training die vorherige Anpassung vollständig verdrängt.

Die vier Mechanismen beantworten damit unterschiedliche Fragen:

Welche früheren Informationen sollen beim neuen Training berücksichtigt werden?
Welche Modellfunktionen oder Verhaltensweisen sollen stabil bleiben?
Welche Gewichte müssen vor zu starken Veränderungen geschützt werden?
Wie lassen sich neue Anpassungen im Parameterraum speichern und miteinander verbinden?

Ein systematischer Vergleich von 16 Kombinationen

Statt nur eine einzelne Methode gegen eine Baseline zu testen, untersuchen die Autoren sämtliche Kombinationen der vier Mechanismen. Da jeder Ansatz entweder aktiviert oder deaktiviert werden kann, entstehen 16 verschiedene Konfigurationen. Dieses Vorgehen entspricht einem vollständigen faktoriellen Experiment.

Ein solcher Versuchsaufbau ist für die Interpretation der Ergebnisse wichtig. Er ermöglicht nicht nur die Frage, ob ein Mechanismus grundsätzlich nützlich ist. Zusätzlich lässt sich analysieren, ob zwei oder mehrere Verfahren gemeinsam eine Wirkung entfalten, die über die Summe ihrer Einzeleffekte hinausgeht.

Für die Suche im Konfigurationsraum verwenden die Autoren außerdem ein auf Aufgabenebene eingesetztes Verfahren des „Successive Halving“. Dabei werden weniger erfolgreiche Varianten frühzeitig aussortiert, während vielversprechende Kombinationen intensiver untersucht werden. Auf diese Weise soll der Rechenaufwand bei vielen aufeinanderfolgenden Aufgaben begrenzt werden.

Die Ergebnisse werden anhand der „Final Retention“ bewertet. Gemeint ist die Genauigkeit, mit der das Modell nach Abschluss der 100. Aufgabe noch auf die zuvor gelernten Aufgaben antworten kann. Diese Kennzahl misst somit nicht allein den Lernerfolg bei der neuesten Aufgabe, sondern die verbleibende Gesamtleistung über die gesamte Lernhistorie.

Deutlicher Abstand zwischen einfacher Feinabstimmung und Kombination

Bei naiver sequenzieller Feinabstimmung, also einem fortlaufenden Aktualisieren des Modells ohne zusätzliche Continual-Learning-Mechanismen, lag die durchschnittliche abschließende Retention laut den bereitgestellten Studienangaben bei 1,2 Prozent.

Die beste untersuchte Kombination aus allen drei Ankern und zusammengeführten LoRA-Anpassungen erreichte dagegen eine durchschnittliche Retention von 34,9 Prozent. Die Autoren geben dies als ungefähr 28-fache Verbesserung gegenüber der naiven Baseline an.

Die Zahlen sind vor allem deshalb bemerkenswert, weil der Leistungsabfall bei der Baseline über eine Folge von 100 Aufgaben hinweg besonders stark ausfällt. Das Modell kann die jeweils aktuelle Aufgabe zwar lernen, verliert jedoch im Verlauf zunehmend den Zugriff auf frühere Informationen. Die kombinierte Methode reduziert diesen Effekt deutlich, beseitigt ihn aber nicht vollständig.

Die ausgewählte Gesamtkonfiguration gehörte den Angaben zufolge auf allen drei Datensätzen zu den drei leistungsstärksten Varianten. Daraus leiten die Autoren ab, dass die Kombination nicht nur auf einem einzelnen Testdatensatz funktioniert, sondern über mehrere Aufgabenstrukturen hinweg eine vergleichsweise stabile Wirkung zeigt.

Die wichtigsten Einzeleffekte und Wechselwirkungen

Nach der Auswertung der Studie liefern der Datenanker und die zusammengeführten LoRA-Anpassungen im Durchschnitt die größten Leistungszuwächse. Besonders relevant ist jedoch nicht nur die Wirkung der einzelnen Komponenten. Die Autoren beobachten auch eine überproportionale Wechselwirkung zwischen diesen beiden Mechanismen.

Eine solche Wechselwirkung bedeutet, dass die gemeinsame Verwendung mehr bewirkt als die bloße Addition der jeweiligen Einzelergebnisse erwarten ließe. Der Datenanker sorgt für ein anhaltendes Lernsignal aus früheren Informationen, während die zusammengeführten Anpassungen eine Möglichkeit schaffen, neue Änderungen strukturierter im Modell zu verankern. Beide Ansätze adressieren damit unterschiedliche Ebenen desselben Problems.

Die Anker auf Daten-, Funktions- und Gewichtsebene bilden zusammen eine Art mehrschichtige Stabilisierung. Während der Datenanker die Herkunft und Verfügbarkeit relevanter Informationen betrifft, zielen Funktions- und Gewichtsanker auf die Wahrung von Modellverhalten und Parameterzuständen. LoRA ergänzt diese Ebenen um eine Strategie für die Speicherung neuer Anpassungen.

Die Studie liefert damit einen Hinweis auf eine wichtige Entwicklung in der Forschung: Continual Learning könnte weniger als Auswahl einer einzelnen „besten“ Methode verstanden werden. Stattdessen könnten modulare Kombinationen erforderlich sein, deren Komponenten unterschiedliche Formen des Vergessens abmildern.

Was die Ergebnisse für Unternehmen bedeuten können

Für Unternehmen ist die kontinuierliche Aktualisierung von Sprachmodellen aus mehreren Gründen relevant. Fachwissen, interne Richtlinien und Produktinformationen verändern sich laufend. Ein System, das nach jeder Aktualisierung ältere Inhalte verlernt, ist für langfristige Nutzung nur eingeschränkt geeignet.

Die Arbeit ist zwar nicht als unmittelbar einsetzbare Unternehmenslösung angelegt. Sie macht jedoch mehrere technische Anforderungen sichtbar, die bei der Planung lernender KI-Systeme berücksichtigt werden sollten.

Retention muss separat gemessen werden: Eine gute Leistung auf den neuesten Daten sagt wenig darüber aus, ob ältere Inhalte weiterhin korrekt verfügbar sind.
Lernhistorien sollten über lange Sequenzen getestet werden: Verfahren, die bei wenigen Aufgaben funktionieren, können bei Dutzenden oder Hunderten Updates an Wirkung verlieren.
Neue und alte Informationen müssen gemeinsam betrachtet werden: Ein System sollte nicht ausschließlich auf Aktualität optimiert werden, wenn historische Inhalte weiterhin relevant sind.
Parameteraktualisierungen benötigen Governance: Unternehmen sollten nachvollziehen können, welche Modellbereiche bei einem Update verändert wurden und welche geschützt bleiben.
Reproduzierbare Evaluierung ist entscheidend: Mehrere Datensätze, zufällige Startbedingungen und klar definierte Retention-Metriken helfen, Einzelergebnisse einzuordnen.

In praktischen Anwendungen kann es weiterhin sinnvoll sein, internes Wissen nicht ausschließlich in Modellgewichten zu speichern. Retrieval-Augmented Generation, externe Wissensdatenbanken oder dokumentenbasierte Suchsysteme bieten andere Möglichkeiten, Informationen aktuell und kontrollierbar bereitzustellen. Die untersuchte Arbeit befasst sich primär mit der Frage, wie Wissen in den Modellparametern über sequenzielle Updates hinweg erhalten werden kann. Sie ersetzt daher nicht automatisch andere Architekturen für Wissensmanagement.

Grenzen der Untersuchung

Die berichteten Verbesserungen sind innerhalb des beschriebenen Testaufbaus zu interpretieren. Die Aufgaben bestehen aus kontrollierten Frage-Antwort-Memorierungsaufgaben. Reale Unternehmensdaten sind meist komplexer: Sie enthalten widersprüchliche Dokumente, unterschiedliche Qualitätsniveaus, unklare Gültigkeitszeiträume und sensible Informationen.

Auch die Zahl der Aufgaben bildet zwar einen langen Lernhorizont ab, ist aber nicht mit einem dauerhaft betriebenen Unternehmenssystem gleichzusetzen. In der Praxis können Modelle über Monate oder Jahre mit wechselnden Datenquellen, mehreren Trainingsverfahren und unterschiedlichen Modellversionen aktualisiert werden.

Darüber hinaus geht aus den bereitgestellten Informationen nicht hervor, dass die Ergebnisse bereits umfassend auf großen proprietären Modellen, zahlreichen Sprachen oder verschiedenen Hardware- und Produktionsumgebungen validiert wurden. Die Übertragbarkeit auf deutschsprachige Fachanwendungen, multimodale Modelle oder agentische Systeme bleibt daher eine offene Frage.

Zu berücksichtigen ist außerdem, dass die Arbeit als arXiv-Preprint veröffentlicht wurde. arXiv weist selbst darauf hin, dass die dort verfügbaren Beiträge nicht automatisch einem Peer-Review-Verfahren unterzogen wurden. Die Ergebnisse stellen damit einen Forschungsbeitrag und eine empirische Ausgangsbasis dar, aber noch keinen allgemein bestätigten Industriestandard.

Offene Fragen für die weitere Forschung

Die Studie wirft mehrere Fragen auf, die für die Weiterentwicklung des Continual Learning von Bedeutung sind. Dazu gehört zunächst die Skalierbarkeit. Wenn ein Modell nicht 100, sondern mehrere Tausend Aufgaben nacheinander lernen soll, können Speicherbedarf, Rechenkosten und die Verwaltung der zusätzlichen Anpassungen erheblich steigen.

Offen ist auch, wie die Methoden mit widersprüchlichen Informationen umgehen. In realen Szenarien wird neues Wissen ältere Inhalte nicht immer nur ergänzen, sondern gelegentlich korrigieren. Ein System muss dann unterscheiden können, ob eine Information bewahrt, ersetzt oder als zeitlich begrenzte Version behandelt werden soll.

Weitere Untersuchungen könnten außerdem die Qualität und Zuverlässigkeit der Antworten stärker berücksichtigen. Eine hohe Retention ist nicht ausreichend, wenn das Modell zwar alte Informationen reproduziert, diese aber mit neuen Fakten vermischt oder ohne erkennbare Unsicherheit ausgibt.

Für den Unternehmenseinsatz sind insbesondere folgende Themen relevant:

Wie verändern sich die Kosten bei sehr langen Aufgabenfolgen?
Wie gut funktionieren die Mechanismen bei unterschiedlichen Modellgrößen?
Wie lassen sich Datenschutz, Löschanforderungen und Nachvollziehbarkeit mit parametergestützter Speicherung verbinden?
Wie wird verhindert, dass fehlerhafte oder manipulierte Informationen dauerhaft in Modellgewichten verankert werden?
Welche Kombinationen eignen sich für sprachspezifische und domänenspezifische Anwendungen?
Wie kann ein Modell die Herkunft und den Aktualitätsstand gespeicherter Informationen transparent ausweisen?

Einordnung für die Entwicklung langlebiger KI-Systeme

Die Untersuchung verschiebt den Fokus von der isolierten Verbesserung einzelner Continual-Learning-Verfahren hin zur systematischen Komposition mehrerer Mechanismen. Das ist für die Entwicklung langlebiger KI-Systeme relevant, weil Vergessen auf verschiedenen Ebenen entstehen kann: durch die Auswahl der Trainingsdaten, durch Veränderungen des Modellverhaltens und durch direkte Eingriffe in die Parameter.

Die Ergebnisse zeigen, dass eine Kombination dieser Ebenen in einem kontrollierten Langzeittest deutlich besser abschneiden kann als einfache sequenzielle Feinabstimmung. Zugleich bleibt die Retention mit 34,9 Prozent noch weit von einer vollständigen Bewahrung aller zuvor gelernten Inhalte entfernt. Die Arbeit belegt daher vor allem das Potenzial kombinierter Ansätze, nicht die abschließende Lösung des Problems.

Für Verantwortliche in Unternehmen ergibt sich daraus eine pragmatische Schlussfolgerung: Bei der Auswahl oder Entwicklung kontinuierlich aktualisierter Sprachmodelle sollte nicht nur die aktuelle Antwortqualität betrachtet werden. Ebenso wichtig sind Tests zur langfristigen Wissensstabilität, zur Veränderung bereits validierter Fähigkeiten und zur Kontrolle von Updates.

Mindverse als KI-Partner für Text, Inhalte, Bilder und Recherche kann Unternehmen dabei unterstützen, solche Entwicklungen einzuordnen und den Einsatz generativer Systeme strukturiert zu planen. Die Forschung zu Continual Learning liefert hierfür einen wichtigen technischen Kontext. Sie macht deutlich, dass langfristig nutzbare KI nicht allein durch größere Modelle entsteht, sondern auch durch geeignete Lern-, Speicher- und Evaluierungsstrategien.

Fazit

Eine Forschungsgruppe der Johns Hopkins University hat untersucht, wie Sprachmodelle über 100 aufeinanderfolgende Lernaufgaben hinweg Informationen behalten können. Die Studie vergleicht 16 Kombinationen aus Daten-, Funktions- und Gewichtsankern sowie zusammengeführten LoRA-Anpassungen.

Die beste Kombination steigert die durchschnittliche abschließende Retention im untersuchten Setting von 1,2 auf 34,9 Prozent. Besonders stark fallen die Beiträge des Datenankers und der zusammengeführten LoRA-Struktur aus. Die Ergebnisse sprechen dafür, dass sich unterschiedliche Mechanismen gegen katastrophales Vergessen sinnvoll ergänzen können.

Für die Praxis ist die Studie dennoch als Forschungsbeitrag mit klaren Grenzen einzuordnen. Die Tests erfolgten unter kontrollierten Bedingungen und erlauben noch keine direkte Aussage über jeden Unternehmenseinsatz. Sie liefern jedoch einen konkreten Ansatzpunkt für die Entwicklung von Modellen, die neue Informationen aufnehmen und frühere Kenntnisse über lange Aktualisierungsfolgen hinweg besser bewahren sollen.

Bibliografie

Zhang, Zheyuan; Zhang, Alvin; Khashabi, Daniel; Shu, Tianmin: Continual Learning Mechanisms Compose for Long-Horizon Memorization. arXiv:2609.06986. https://arxiv.org/abs/2609.06986
ComposeCL: Continual Learning Mechanisms Compose for Long-Horizon Memorization. Projektseite der Johns Hopkins University. https://compose-cl.github.io/
Hugging Face Papers: Continual Learning Mechanisms Compose for Long-Horizon Memorization. https://huggingface.co/papers/2609.06986
arXiv: Offenes Archiv für wissenschaftliche Preprints und Hinweise zum Begutachtungsstatus. https://arxiv.org/
AI Weekly: Three-Level CL Composition Yields 28-Fold Retention Gain in Long-Horizon Sequential Fine-Tuning. https://aiweekly.co/editors-blog/found-first-three-level-cl-composition-yields-28-fold-retention-gain-in-long