Verfügbarkeit neuer Sprachmodelle OLMo-2 und Llama-3.1-Tulu-3 auf Anychat

Neue KI-Modelle OLMo-2 und Llama-3.1-Tulu-3 jetzt auf Anychat verfügbar

Das Allen Institute for AI (AI2) hat seine neuesten Sprachmodelle OLMo-2-1124-13B-Instruct und Llama-3.1-Tulu-3-8B auf der Plattform Anychat veröffentlicht. Diese Entwicklung ermöglicht Nutzern den direkten Zugriff und die Erprobung der Modelle. Die Veröffentlichung wurde über X (ehemals Twitter) bekannt gegeben.

OLMo-2: Ein vollständig offenes Sprachmodell

OLMo-2 ist die neueste Iteration der Open Language Models des AI2. Das Projekt zielt darauf ab, die Forschung an Sprachmodellen durch die Bereitstellung von Trainingsdaten, Code und Modellen unter der Apache 2.0 Lizenz zu fördern. OLMo-2 ist in zwei Varianten verfügbar: 7B und 13B Parameter. Die Modelle wurden mit bis zu 5 Billionen Token trainiert und sollen in ihrer Leistung mit oder besser als vergleichbar große, vollständig offene Modelle sein. Sie sind außerdem wettbewerbsfähig mit Open-Weight-Modellen wie Llama 3.1 in englischen akademischen Benchmarks.

Die Entwicklung von OLMo-2 konzentrierte sich auf mehrere Schlüsselbereiche:

- Trainingsstabilität: Das AI2 hat Techniken entwickelt, um Instabilitäten und Leistungseinbußen während langer Trainingsphasen zu minimieren. - Stufenweises Training: Ein Curriculum-Ansatz und Anpassungen der Lernrate während des Trainings sollen Wissens- und Fähigkeitsdefizite ausgleichen. - Post-Training-Verfahren: Die aus dem Tülu-3-Projekt gewonnenen Erkenntnisse wurden auf OLMo-2 angewendet, um die Instruct-Varianten zu erstellen. - Evaluations-Framework: Mit dem Open Language Modeling Evaluation System (OLMES) wurden die Fortschritte während der Entwicklung anhand von 20 Benchmarks verfolgt.

Llama-3.1-Tulu-3-8B: Ein instruction-tuned Modell

Das Llama-3.1-Tulu-3-8B-Modell basiert auf Metas Llama 3.1 und wurde mit dem Tülu-3-Rezept des AI2 feinabgestimmt. Tülu-3 kombiniert verschiedene Trainingsmethoden, darunter Supervised Fine-Tuning (SFT), Preference Tuning mit Direct Preference Optimization (DPO) und Reinforcement Learning with Verifiable Rewards (RLVR). Dieses Verfahren zielt darauf ab, die Leistung des Modells bei der Befolgung von Anweisungen zu verbessern. Das AI2 hat das Tülu-3-Rezept auf OLMo-2 angewendet, um die Instruct-Varianten zu erstellen, die mit den besten Open-Weight-Modellen konkurrieren sollen.

Verfügbarkeit auf Anychat

Die Verfügbarkeit von OLMo-2-1124-13B-Instruct und Llama-3.1-Tulu-3-8B auf Anychat bietet Entwicklern und Forschern die Möglichkeit, diese Modelle direkt zu testen und in ihre Anwendungen zu integrieren. Dies unterstreicht den Fokus des AI2 auf offene Forschung und den Zugang zu fortschrittlichen Sprachmodellen.

Mindverse, als deutscher Anbieter von KI-gestützten Content-Lösungen, beobachtet diese Entwicklungen im Bereich der Sprachmodelle mit großem Interesse. Die Verfügbarkeit leistungsstarker und offener Modelle wie OLMo-2 und Llama-3.1-Tulu-3 trägt dazu bei, die Innovation im KI-Bereich zu beschleunigen und neue Möglichkeiten für Unternehmen und Entwickler zu eröffnen.

Bibliographie:

1. https://huggingface.co/allenai/OLMo-2-1124-13B-Instruct
2. https://allenai.org/blog/olmo2
3. https://huggingface.co/allenai/OLMo-2-1124-13B
4. https://analyticsindiamag.com/ai-news-updates/ai2s-new-language-models-compete-directly-with-qwen-and-llama/
5. https://twitter.com/allen_ai/status/1861512100277035281
6. https://www.threads.net/@natolambert/post/DCpByhZoAhL/first-try-our-models-via-our-free-demo-or-grab-them-on-hugging-facemy-story-behi
7. https://allenai.org/olmo/release-notes
8. https://github.com/allenai/open-instruct/blob/main/docs/tulu3.md