Neuartiges bilinguales Pretraining-Dataset CCI4.0 für verbesserte KI-Modelle

Ein neuer Ansatz im Bereich des bilingualen KI-Trainings: Das CCI4.0-Dataset

Die Entwicklung leistungsstarker Sprachmodelle (LLMs) hängt maßgeblich von der Qualität und der Vielfalt der Trainingsdaten ab. Ein neuer Ansatz in diesem Bereich ist das kürzlich vorgestellte, umfangreiche bilinguale (Chinesisch und Englisch) Pretraining-Dataset CCI4.0. Es zielt darauf ab, die Datenqualität zu verbessern und vielfältigere Denkmuster für Sprachmodelle zu ermöglichen, was zu einer verbesserten Leistung bei nachgelagerten Aufgaben wie Mathematik und Code-Reflexion führt.

Umfang und Zusammensetzung von CCI4.0

Mit einem Speicherbedarf von etwa 35 Terabyte besteht CCI4.0 aus zwei Teil-Datensätzen: CCI4.0-M2-Base und CCI4.0-M2-CoT. CCI4.0-M2-Base kombiniert einen sorgfältig kuratierten chinesischen Webkorpus von 5,2 TB, einen 22,5 TB großen englischen Teil aus Nemotron-CC sowie verschiedene Quellen aus Mathematik, Wikipedia, Arxiv und Code. Die Daten stammen zwar größtenteils aus bereits verarbeiteten Datensätzen, doch die Qualitätsstandards verschiedener Bereiche sind dynamisch und erfordern umfangreiche Expertise und Aufwand in der Verarbeitung.

Innovative Datenverarbeitungspipeline

Um die Datenqualität zu gewährleisten, wurde eine neuartige Pipeline entwickelt, die hauptsächlich auf modellbasierten Verfahren basiert. Diese umfasst eine zweistufige Deduplizierung, eine Qualitätsbewertung durch mehrere Klassifikatoren und eine domänenspezifische Filterung der Flüssigkeit der Texte. Dadurch wird sichergestellt, dass die Trainingsdaten frei von Redundanzen und von hoher Qualität sind.

Integration von Chain-of-Thought (CoT)

Der zweite Teil des Datensatzes, CCI4.0-M2-CoT, enthält 4,5 Milliarden CoT-Templates. Im Gegensatz zur Destillation von CoT aus größeren Modellen, zeichnet sich die hier angewandte, stufenweise CoT-Extraktion durch vielfältige Denkmuster aus und reduziert die Wahrscheinlichkeit von Halluzinationen, also der Generierung falscher oder irreführender Informationen, erheblich.

Verbesserte Leistung in Downstream-Tasks

Empirische Auswertungen zeigen, dass LLMs, die mit CCI4.0 vortrainiert wurden, von saubereren und zuverlässigeren Trainingssignalen profitieren. Dies führt zu konsistenten Verbesserungen bei nachgelagerten Aufgaben, insbesondere in Mathematik und Code-Reflexion. Die Ergebnisse unterstreichen die entscheidende Rolle einer sorgfältigen Datenkuratierung und von menschlichen Denkvorlagen für die Verbesserung der LLM-Leistung.

Ausblick

CCI4.0 stellt einen wichtigen Schritt in der Entwicklung von leistungsfähigeren und zuverlässigeren Sprachmodellen dar. Die Kombination aus hochwertigen, bilingualen Daten und der Integration von CoT-Denkprozessen ermöglicht es, LLMs mit einem tieferen Verständnis von komplexen Zusammenhängen auszustatten. Dies eröffnet neue Möglichkeiten für den Einsatz von KI in verschiedenen Anwendungsbereichen und trägt dazu bei, die Grenzen der natürlichen Sprachverarbeitung weiter zu verschieben.

Bibliographie

1. http://www.arxiv.org/abs/2506.07463
2. https://arxiv.org/html/2506.07463v1
3. https://huggingface.co/papers?q=bilingual%20pre-training
4. https://huggingface.co/papers?date=2025-06-10
5. http://paperreading.club/page?id=314722
6. https://www.chatpaper.ai/zh/dashboard/paper/158a6ecd-b9cd-41c1-ad4e-34882974e529
7. https://github.com/Yangyi-Chen/Multimodal-AND-Large-Language-Models
8. https://www.researchgate.net/publication/389510129_LLM_Post-Training_A_Deep_Dive_into_Reasoning_Large_Language_Models
9. https://openreview.net/pdf?id=RCdoMrg4I0