Herausforderungen und Best Practices bei der Erstellung offener Datensätze für LLM-Training

Die Entwicklung und das Training Großer Sprachmodelle (LLMs) sind von entscheidender Bedeutung für den Fortschritt der Künstlichen Intelligenz. Ein zentraler Aspekt dabei ist die Auswahl und Aufbereitung der Trainingsdaten. Der folgende Artikel beleuchtet die Herausforderungen und Best Practices bei der Erstellung offener Datensätze für das LLM-Training, basierend auf dem Forschungspapier "Towards Best Practices for Open Datasets for LLM Training".

Offene Datensätze für das LLM-Training: Herausforderungen und Best Practices

Die rasante Entwicklung von LLMs hat zu einem erhöhten Bedarf an qualitativ hochwertigen Trainingsdaten geführt. Viele KI-Unternehmen trainieren ihre Modelle derzeit mit Daten, deren Urheberrechte nicht immer geklärt sind. Die Rechtmäßigkeit dieses Vorgehens variiert je nach Gerichtsbarkeit und führt zu Unsicherheiten und rechtlichen Auseinandersetzungen. Die resultierende Tendenz, Informationen über Trainingsdatensätze zu minimieren, beeinträchtigt Transparenz, Verantwortlichkeit und Innovation im KI-Ökosystem.

Eine Lösung für diese Problematik liegt in der Nutzung offener und gemeinfreier Daten. Derzeit existieren jedoch noch keine in bedeutendem Umfang trainierten LLMs, die ausschließlich auf solchen Daten basieren. Dies liegt an verschiedenen technischen und soziologischen Herausforderungen:

Unvollständige und unzuverlässige Metadaten erschweren die Kategorisierung und Auswahl geeigneter Daten. Die Digitalisierung physischer Aufzeichnungen ist kosten- und zeitintensiv. Es bedarf vielfältiger rechtlicher und technischer Expertise, um die Relevanz und Verantwortlichkeit der Datensätze in einem sich schnell verändernden Umfeld sicherzustellen. Ein weiterer kritischer Punkt ist die Einwilligung der Urheber von Daten, die für das Training verwendet werden. Die sogenannte "Consent Crisis" unterstreicht die Notwendigkeit klarer Richtlinien und Prozesse zur Einholung und Verwaltung von Einwilligungen.

Der Weg zu offenen und verantwortungsvollen KI-Trainingsdatensätzen

Die Schaffung einer Zukunft, in der KI-Systeme mit offen lizenzierten, verantwortungsvoll kuratierten und verwalteten Daten trainiert werden können, erfordert eine intensive Zusammenarbeit zwischen Rechtsexperten, Technikern und politischen Entscheidungsträgern. Investitionen in Metadatenstandards, Digitalisierung und die Förderung einer Kultur der Offenheit sind unerlässlich.

Initiativen wie die von Mozilla und EleutherAI im Juni 2024, bei der sich Experten aus der Open-Dataset-Community trafen, zeigen den wachsenden Bedarf an Best Practices für die Erstellung offener Datensätze. Das daraus entstandene Papier "Towards Best Practices for Open Datasets for LLM Training" bietet konkrete Empfehlungen für die Beschaffung, Verarbeitung, Verwaltung und Veröffentlichung solcher Datensätze. Es werden verschiedene Stufen der Offenheit definiert und Wege zu einer ethischen Datenverwaltung aufgezeigt.

Schlüsselbereiche für die Entwicklung offener Datensätze

Das erwähnte Papier adressiert Schlüsselbereiche für die Entwicklung offener Datensätze. Dazu gehören:

Sourcing: Identifizierung und Auswahl geeigneter Datenquellen, unter Berücksichtigung von Lizenzierung, Qualität und Relevanz. Verarbeitung: Bereinigung, Deduplizierung und Formatierung der Daten für das LLM-Training. Verwaltung: Entwicklung von Governance-Strukturen, die Transparenz, Verantwortlichkeit und Nachhaltigkeit gewährleisten. Veröffentlichung: Bereitstellung der Datensätze in zugänglichen Formaten unter klaren Lizenzbedingungen.

Diese Empfehlungen basieren auf praktischen Erfahrungen und werden durch konkrete Beispiele illustriert. Sie gehen über die Definition von Open-Source-KI hinaus und bieten Ansätze für eine ethischere Datenverwaltung bei KI-Datensätzen.

Die Rolle von Mindverse

Als deutscher Anbieter von KI-gestützten Content-Lösungen, einschließlich maßgeschneiderter Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme, begrüßt Mindverse Initiativen zur Förderung offener Datensätze. Transparenz und verantwortungsvolle Datenverwaltung sind grundlegend für die Entwicklung vertrauenswürdiger und leistungsstarker KI-Systeme. Mindverse unterstützt die Zusammenarbeit zwischen den verschiedenen Akteuren im KI-Ökosystem, um die Herausforderungen bei der Erstellung offener Datensätze zu bewältigen und den Weg für eine offene und nachhaltige KI-Zukunft zu ebnen.

Fazit

Die Entwicklung und Nutzung offener Datensätze für das LLM-Training ist entscheidend für den Fortschritt der KI. Durch die Zusammenarbeit zwischen Rechtsexperten, Technikern, politischen Entscheidungsträgern und der Community können wir die vorhandenen Herausforderungen bewältigen und eine Zukunft gestalten, in der KI-Systeme auf Basis offener, verantwortungsvoll kuratierter und verwalteter Daten trainiert werden.

Bibliographie:

1. https://arxiv.org/pdf/2501.08365
2. https://huggingface.co/papers/2501.08365
3. https://fosdem.org/2025/schedule/event/fosdem-2025-6020-community-insights-best-practices-for-open-datasets-for-llm-training/
4. https://arxiv.org/abs/2402.09668
5. https://aws.amazon.com/blogs/machine-learning/an-introduction-to-preparing-your-own-dataset-for-llm-training/
6. https://wandb.ai/site/articles/training-llms/
7. https://www.analyticsvidhya.com/blog/2024/04/open-source-datasets-for-llm-training/
8. https://github.com/mlabonne/llm-datasets
9. https://kili-technology.com/large-language-models-llms/9-open-sourced-datasets-for-training-large-language-models
10. https://ostendorff.org/assets/pdf/ostendorff2024-preprint.pdf