Ein innovatives mehrsprachiges KI-Modell für die EU

Open Source und Gaia-X

Das Modell ist Open Source und unter der Apache-2.0-Lizenz verfügbar, was sowohl die Nutzung in der Forschung als auch die kommerzielle Anwendung ermöglicht. Unternehmen können Teuken-7B anpassen und für eigene Anwendungen einsetzen, ohne sensible Daten an externe Anbieter weitergeben zu müssen. Die Integration in die Gaia-X-Infrastruktur gewährleistet zudem die Einhaltung europäischer Datenschutzstandards.

Effizientes Training durch multilingualen Tokenizer

Ein wichtiger Aspekt des Projekts war die Entwicklung eines multilingualen Tokenizers. Tokenizer zerlegen Wörter in einzelne Komponenten (Tokens). Ein multilingualer Tokenizer optimiert die Effizienz des Trainingsprozesses und reduziert die Kosten, insbesondere bei Sprachen mit komplexen Wortstrukturen wie Deutsch, Finnisch oder Ungarisch. Im Vergleich zu anderen multilingualen Tokenizern, wie denen von Llama 3 oder Mistral, soll der von OpenGPT-X entwickelte Tokenizer zu deutlich geringeren Trainingskosten führen.

Europäische Supercomputer-Infrastruktur

Das Training von Teuken-7B erfolgte unter anderem auf dem JUWELS-Supercomputer am Forschungszentrum Jülich, einem der leistungsstärksten Rechner Deutschlands. Die im Projekt gewonnenen Erkenntnisse fließen auch in die Entwicklung des europäischen Exascale-Supercomputers JUPITER ein, der am Forschungszentrum Jülich entsteht und zukünftig noch leistungsfähigere Ressourcen für die Entwicklung komplexer KI-Modelle bieten soll.

Evaluierung und Ausblick

Zur Evaluierung von Teuken-7B und anderen multilingualen Sprachmodellen hat das OpenGPT-X-Team das European LLM Leaderboard entwickelt. Dieses Leaderboard ermöglicht den Vergleich der Leistung verschiedener Modelle in den europäischen Sprachen und geht damit über die bisher übliche, englischzentrierte Bewertung hinaus. Das Projekt OpenGPT-X läuft noch bis März 2025. In dieser Zeit sind weitere Optimierungen und Evaluierungen des Modells geplant.

Bibliography

1. https://blogs.helmholtz.de/research-field-information/en/2024/11/27/multilingual-and-open-source-opengpt-x-releases-large-language-model/
2. https://idw-online.de/de/news?print=1&id=843616
3. https://opengpt-x.de/en/models/teuken-7b/
4. https://tu-dresden.de/tu-dresden/newsportal/news/mehrsprachig-und-open-source-forschungsprojekt-opengpt-x-veroeffentlicht-grosses-ki-sprachmodell?set_language=en
5. https://www.fz-juelich.de/en/news/archive/announcements/2024/multilingual-and-open-source-opengpt-x-releases-large-language-model
6. https://techxplore.com/news/2024-11-multilingual-source-opengpt-large-language.html
7. https://www.chemistryviews.org/open-source-ai-language-model-with-a-distinctly-european-perspective/
8. https://www.it-daily.net/en/shortnews-en/teuken-7b-european-ai-model-challenges-us-giants
9. https://huggingface.co/openGPT-X/Teuken-7B-instruct-commercial-v0.4
10. https://slator.com/first-large-language-model-supporting-all-eu-languages-is-here/