Neue Ansätze zur Verbesserung der linguistischen Kompetenz von Sprachmodellen durch gezieltes Vortraining

Die Weiterentwicklung von Sprachmodellen (Language Models, LMs) stellt einen zentralen Forschungsbereich in der Künstlichen Intelligenz dar. Insbesondere die Verbesserung der linguistischen Kompetenz von LMs ist von großer Bedeutung für deren Anwendbarkeit in komplexen Szenarien. Jüngste Studien beleuchten innovative Ansätze im Vortraining, die darauf abzielen, die sprachlichen Fähigkeiten dieser Modelle zu optimieren, ohne dabei ihre allgemeinen kognitiven Funktionen zu beeinträchtigen. Ein vielversprechender Ansatz ist die Integration von spezifischen Sprachlernaufgaben in den Vortrainingsprozess.

Grundlagen und Herausforderungen im Vortraining von Sprachmodellen

Traditionelle Sprachmodelle werden auf umfangreichen Textdatensätzen vortrainiert, um Textsequenzen tokenweise zu generieren. Dieser Ansatz ermöglicht es den Modellen, Weltwissen und Denkfähigkeiten zu erlernen. Allerdings optimiert er die linguistische Kompetenz der Modelle nicht explizit. Linguistische Kompetenz umfasst sowohl die Beherrschung grammatikalischer und struktureller Regeln (formale Kompetenz) als auch die Fähigkeit, Sprache in realen Kontexten zu verwenden und zu verstehen (funktionale Kompetenz). Die Herausforderung besteht darin, diese Lücke zu schließen und Modelle zu entwickeln, die nicht nur kohärenten Text produzieren, sondern auch ein tiefes Verständnis der Sprachstruktur aufweisen.

Das L2T-Framework: Eine neue Perspektive

Ein neuartiges Vortrainings-Framework, bekannt als L2T (Language Learning Tasks), zielt darauf ab, diese Herausforderung zu bewältigen. Inspiriert vom menschlichen Spracherwerb, wandelt L2T Rohdaten in strukturierte Eingabe-Ausgabe-Paare um, um eine explizite sprachliche Stimulation zu liefern. Durch das Vortraining von LMs mit einer Mischung aus Rohdaten und L2T-Daten wird laut Forschung die Gesamtleistung bei linguistischen Kompetenz-Benchmarks verbessert und deren Erwerb beschleunigt, während gleichzeitig eine wettbewerbsfähige Leistung bei allgemeinen Denkaufgaben beibehalten wird.

Dateneffizienz und linguistische Kompetenz

Die Effektivität des Vortrainings hängt maßgeblich von der Qualität und Art der verwendeten Daten ab. Eine empirische Studie untersuchte die Vortrainingseffizienz von Sprachmodellen unterschiedlicher Größe auf zwei kleinen, kuratierten Datensätzen: TinyStories und BabyLM. TinyStories besteht aus von ChatGPT generierten Kindergeschichten mit einfachem Vokabular, während BabyLM vielfältige, von Menschen produzierte Daten aus öffentlichen Domänen wie kindergerichteter Sprache, Dialogen, Wikipedia-Artikeln und Büchern umfasst.

Vergleich von TinyStories und BabyLM

Die Ergebnisse dieser Studie zeigen signifikante Unterschiede in der Leistung der Modelle:

• Modelle, die auf dem BabyLM-Datensatz trainiert wurden, erzielen eine deutlich höhere Leistung bei der formalen linguistischen Kompetenz.
• Sie weisen eine geringere Varianz und eine konsistentere Leistungssteigerung über verschiedene Ankerpunkte hinweg auf.
• Im Gegensatz dazu zeigen Modelle, die mit TinyStories trainiert wurden, eine langsamere Verbesserung und erreichen ein Leistungsplateau bei etwa 64 Millionen gesampelten Tokens.
• Dies deutet darauf hin, dass TinyStories aufgrund seines einfachen Vokabulars und seiner synthetischen Natur möglicherweise nicht genügend reichhaltige linguistische Merkmale für das Training komplexer formaler Sprachstrukturen bietet.

Die Studie hebt hervor, dass kleine Datenstichproben repräsentativ für die endgültige Leistung des Modells sein können, was die frühzeitige Auswahl vielversprechender Kandidatenmodelle erleichtern kann. Diese Erkenntnisse unterstreichen das Potenzial des Vortrainings mit kleinen, kuratierten Datensätzen in ressourcenbeschränkten Umgebungen.

Mehrsprachige Fähigkeiten und fortgesetztes Vortraining

Die Anpassung von Sprachmodellen an neue Sprachen ist eine weitere zentrale Herausforderung. Das fortgesetzte Vortraining (Continued Pre-training, CPT) ist ein gängiger Ansatz, um bestehende große Sprachmodelle (LLMs) an neue Sprachen anzupassen. Dabei wird häufig ein Teil englischer Daten in die Mischung aufgenommen, dessen Rolle jedoch bisher nicht eingehend untersucht wurde.

Die Rolle englischer Daten im multilinguale CPT

Forschungsergebnisse deuten darauf hin, dass die Einbeziehung englischer Daten die Validierungsperplexität nicht direkt beeinflusst, aber entscheidend für das Auftreten von nachgelagerten Fähigkeiten in der Zielsprache ist. Ein sprachunabhängiger Benchmark für In-Context Learning (ICL) zeigt, dass katastrophales Vergessen frühzeitig im CPT auftritt, wenn Englisch nicht einbezogen wird. Dies beeinträchtigt die Fähigkeit des Modells, auf nachgelagerte Prompts zu generalisieren, selbst wenn es sich nicht sofort in der Genauigkeit manifestiert, und kann mit einer erheblichen Verschiebung der Modellparameter verbunden sein. Als wirksame Alternativen zur Minderung der Notwendigkeit von Englisch wurden Curriculum Learning und Exponential Moving Average (EMA) von Gewichten vorgeschlagen.

Selbst-Destillation zur Verbesserung der multilingualen Fähigkeiten

Ein weiterer Ansatz zur Verbesserung der multilingualen Fähigkeiten ist die Selbst-Destillation aus ressourcenreichen Sprachen (Self-Distillation from Resource-Rich Languages, SDRRL). Diese Methode nutzt die überlegenen Verständnisfähigkeiten von LLMs in ressourcenreichen Sprachen als Referenz für andere Sprachen. SDRRL umfasst:

• Selbst-Destillation: Antworten von LLMs in ressourcenreichen Sprachen werden gesammelt, um einen Transfersatz zu erstellen. Diese werden dann mithilfe von maschineller Übersetzung und Code-Switching-Tools in andere Sprachen übersetzt, wodurch semantisch identische, aber linguistisch vielfältige Frage-Antwort-Paare entstehen.
• Einbeziehung externer paralleler Korpora: Eine kleine Menge maschineller Übersetzungsdaten wird in die Destillation integriert, um die linguistischen Repräsentationsräume besser aufeinander abzustimmen und negative Auswirkungen von Rauschen in maschinell übersetzten Texten zu mindern.

Experimente mit LLaMA-2-7B und SeaLLM-7B zeigen, dass SDRRL die Leistung in Zielsprachen signifikant verbessert und gleichzeitig die ursprünglichen Fähigkeiten in ressourcenreichen Sprachen bewahrt. Dies deutet darauf hin, dass die Methode nicht nur die Leistung in der Zielsprache steigert, sondern auch die Qualität der generierten Antworten verbessert und die Ausrichtung der Repräsentationsräume fördert.

Schlussfolgerung

Die Forschung im Bereich der Sprachmodelle zeigt, dass ein gezieltes Vortraining mit spezialisierten Sprachlernaufgaben und die Nutzung kuratierter Datensätze entscheidend für die Entwicklung linguistisch kompetenter und multilingualer KI-Systeme sind. Ansätze wie das L2T-Framework und SDRRL bieten vielversprechende Wege, um die Fähigkeiten von LLMs zu erweitern, indem sie menschliche Lernprozesse und dateneffiziente Strategien imitieren. Diese Entwicklungen sind von großer Relevanz für B2B-Anwendungen, da sie die Grundlage für präzisere, zuverlässigere und vielseitigere KI-Lösungen legen, die den Anforderungen einer globalisierten Geschäftswelt gerecht werden können.

Die kontinuierliche Forschung in diesen Bereichen wird dazu beitragen, die Grenzen dessen, was Sprachmodelle leisten können, weiter zu verschieben und ihre Anwendbarkeit in immer komplexeren und anspruchsvolleren Szenarien zu gewährleisten.

Bibliography

1. Atsuki Yamaguchi, Maggie Mi, & Nikolaos Aletras. (2026). Enhancing Linguistic Competence of Language Models through Pre-training with Language Learning Tasks. arXiv preprint arXiv:2601.03448.
2. Paraskeva, A., van Duijn, M. J., de Rijke, M., Verberne, S., & van Rijn, J. N. (2025). DATA EFFICIENT PRE-TRAINING FOR LANGUAGE MODELS: AN EMPIRICAL STUDY OF COMPUTE EFFICIENCY AND LINGUISTIC COMPETENCE. 2nd DATA-FM workshop @ ICLR 2025, Singapore.
3. Zhang, Y., Wang, Y., Liu, Z., Wang, S., Wang, X., Li, P., ... & Liu, Y. (2024). Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 11189-11204.
4. Wu, L., Wei, H. R., Yang, B., & Lu, W. (2025). From English to Second Language Mastery: Enhancing LLMs with Cross-Lingual Continued Instruction Tuning. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 23006-23023.
5. Elhady, A., Agirre, E., & Artetxe, M. (2025). Emergent Abilities of Large Language Models under Continued Pre-training for Language Adaptation. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 32174-32186.
6. Chen, J., Chen, Z., Wang, J., Zhou, K., Zhu, Y., Jiang, J., ... & Wen, J. R. (2025). Towards Effective and Efficient Continual Pre-training of Large Language Models. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 5779-5795.
7. Zhang, Y., & Han, Q. (2025). Enhancing pre-trained language model by answering natural questions for event extraction. Frontiers in Artificial Intelligence, 8, 1520290.
8. A Survey of Knowledge Enhanced Pre-Trained Language Models. (2023). IEEE Xplore.