Open-Source-Daten für KI-Trainingsmodelle im Fokus

Open-Source-Daten: Grundlage für neue KI-Trainingsdatensätze

Die Entwicklung großer Sprachmodelle (LLMs) ist untrennbar mit umfangreichen Trainingsdatensätzen verbunden. Bisher basierten viele dieser Datensätze auf Daten aus dem Internet, deren Urheberrechtsstatus oft unklar ist. Ein neues Projekt verfolgt einen anderen Ansatz: die Erstellung eines riesigen KI-Trainingsdatensatzes ausschließlich aus offen lizenzierten Quellen.

Common Pile: Ein Datensatz der Superlative

Das Projekt "Common Pile" präsentiert einen solchen Datensatz mit einem Umfang von 8 Terabyte in der Version v0.1. Ein Team von Forschern der University of Toronto, Hugging Face, EleutherAI und des Allen Institute for AI (Ai2) hat diesen Datensatz aus über 30 verschiedenen Quellen zusammengestellt.

Die Inhalte des Common Pile sind vielfältig und umfassen wissenschaftliche Arbeiten und Abstracts von Arxiv, medizinische Texte von PubMed Central und Millionen weiterer Forschungsartikel. Auch juristische Materialien wie US-Patente, Regierungsdokumente, Gerichtsurteile und Abschriften von Debatten des britischen Parlaments sind enthalten. Ergänzt wird der Datensatz durch Bücher aus dem Project Gutenberg und der Library of Congress sowie eine breite Palette an freien Bildungsressourcen.

Einen bedeutenden Anteil, über die Hälfte des Datensatzes, machen Codebeispiele aus. Diese stammen aus StackExchange-Foren, Chat-Protokollen des Ubuntu IRC, GitHub-Diskussionen und transkribierten YouTube-Videos von über 2.000 Kanälen. Ein kleinerer Teil des Datensatzes deckt kuratierte Aufgabenformate ab, wie Frage-Antwort-Paare und Klassifizierungsprobleme.

Strenge Lizenzierung und Datenbereinigung

Ein zentraler Aspekt des Common Pile ist die strikte Einhaltung der Open Definition 2.1 der Open Knowledge Foundation. Nur Inhalte mit explizit offenen Lizenzen wie CC BY, CC BY-SA, CC0 oder permissive Softwarelizenzen wie MIT oder BSD wurden aufgenommen. Inhalte mit Einschränkungen wie "nicht-kommerziell" (CC NC) oder "keine abgeleiteten Werke" (CC ND) wurden ausgeschlossen. Quellen mit unklarem Lizenzstatus, wie YouTube Commons und OpenAlex, wurden ebenfalls nicht berücksichtigt. Auch KI-generierte Texte, die auf nicht lizenzierten Daten trainiert wurden, wurden vermieden.

Trotz dieser Sorgfalt können die Forscher keine absolute Garantie für die Lizenzkonformität aller Inhalte geben. Falschlizenzierungen oder spätere Änderungen der Lizenzbedingungen könnten problematische Inhalte einschleusen.

Vor der Verwendung für das Training von KI-Modellen wurden die Daten einer umfassenden Filterung unterzogen. Ein automatisches Spracherkennungssystem sortierte nicht-englische Inhalte aus. Ein Textqualitätsklassifikator entfernte minderwertige Texte aus Webinhalten. Dokumente mit ungewöhnlichen statistischen Mustern, die von einem Referenzmodell markiert wurden, wurden herausgefiltert, um insbesondere Fehler aus der optischen Zeichenerkennung (OCR) zu entfernen. Private Informationen wie E-Mails, Telefonnummern und IP-Adressen wurden durch generische Platzhalter ersetzt. Toxische Inhalte wurden mit einem separaten Klassifikator entfernt.

Erste Ergebnisse mit "Comma" Sprachmodellen

Um die Leistungsfähigkeit des Datensatzes zu testen, trainierte das Team zwei Sprachmodelle mit jeweils sieben Milliarden Parametern: Comma v0.1-1T mit einem Trillion Token und Comma v0.1-2T mit zwei Trillionen Token. Beide Modelle basieren auf der Llama-Architektur von Meta und verwenden einen speziell auf Common Pile trainierten Tokenizer.

Die Modelle wurden anhand verschiedener Benchmarks getestet, darunter MMLU für Allgemeinwissen, ARC und CommonsenseQA für Inferenz und Programmieraufgaben wie HumanEval und MBPP. In vielen dieser Tests übertraf Comma v0.1-1T vergleichbar große Modelle wie Llama-1-7B, StableLM-7B und OpenLLaMA-7B, die auf nicht lizenzierten Daten trainiert wurden. Die größten Fortschritte zeigten sich in wissenschaftlichen und programmierbezogenen Benchmarks.

Bei Aufgaben wie HellaSwag oder PIQA, die stärker auf Alltagssprache und informelle Texte angewiesen sind, waren die Ergebnisse weniger beeindruckend. Inhalte wie persönliche Geschichten, Blogs oder nicht-englische Texte sind im Common Pile noch unterrepräsentiert oder fehlen ganz.

Ausblick und Bedeutung für die Zukunft

Common Pile v0.1 zeigt, dass die Entwicklung leistungsfähiger Sprachmodelle auf Basis offen lizenzierter Daten möglich ist. Dies könnte zu einem transparenteren und rechtlich sichereren KI-Ökosystem führen. Die Forscher betonen jedoch, dass dies erst ein erster Schritt ist. Um mit den größten kommerziellen Modellen konkurrieren zu können, muss der offene Datensatz erheblich erweitert werden. Neben dem Datensatz hat das Team den Code zur Datenerstellung, den Comma-Trainingsdatensatz und den Tokenizer öffentlich zugänglich gemacht.

Quellen:

1. https://techcrunch.com/2025/06/06/eleutherai-releases-massive-ai-training-dataset-of-licensed-and-open-domain-text/
2. https://the-decoder.com/researchers-build-massive-ai-training-dataset-using-only-openly-licensed-sources/
3. https://www.washingtonpost.com/politics/2025/06/05/tech-brief-ai-copyright-report/
4. https://bitcoinworld.co.in/eleutherai-ai-training-data-release/
5. https://topmostads.com/licensed-open-domain-ai-training-dataset-common-pile-v0-1/
6. https://www.wired.com/story/harvard-ai-training-dataset-openai-microsoft/
7. https://www.techmeme.com/250607/p6
8. https://kili-technology.com/large-language-models-llms/9-open-sourced-datasets-for-training-large-language-models
9. https://www.unite.ai/nearly-80-of-training-datasets-may-be-a-legal-hazard-for-enterprise-ai/
10. https://www.reddit.com/r/DefendingAIArt/comments/1e2qpmw/i_traced_stability_ais_training_data_back_to_the/