Alibaba Cloud präsentiert Qwen2.5-Coder: Fortschritte in Open-Source-Coding-Modellen

Alibaba Cloud veröffentlicht Qwen2.5-Coder: Eine neue Generation von Open-Source-Coding-Modellen

Alibaba Cloud hat die Veröffentlichung der Qwen2.5-Coder-Modelle bekannt gegeben, eine Weiterentwicklung ihrer Open-Source-Coding-KI. Die neue Modellfamilie erweitert die Fähigkeiten der Vorgängerversion CodeQwen, die im April vorgestellt wurde und nun offiziell in Qwen-Coder umbenannt wird. Die Qwen2.5-Coder-Modelle sind in verschiedenen Größen verfügbar (0.5B, 1.5B, 3B, 7B, 14B und 32B Parameter) und bieten sowohl Basis- als auch Instruct-Varianten, sowie quantisierte Modelle in den Formaten GPTQ, AWQ und GGUF.

Die Entwickler betonen zwei Hauptverbesserungen: die Erweiterung der Trainingsdaten für Code und die Verbesserung der Codierungsfähigkeiten bei gleichzeitiger Beibehaltung der Leistung in anderen Bereichen wie Mathematik und allgemeinen Aufgaben.

Verbesserte Codierungsfähigkeiten und erweiterte Trainingsdaten

Qwen2.5-Coder basiert auf dem Fundament von Qwen2.5 und wurde mit einem deutlich größeren Datensatz trainiert, der 5,5 Billionen Token umfasst. Dieser Datensatz beinhaltet Quellcode, Text-Code-Grounding-Daten und synthetische Daten. Das Ergebnis sind signifikante Verbesserungen bei codebezogenen Aufgaben.

Vielseitigkeit durch Fokus auf Mathematik und allgemeine Fähigkeiten

Neben den Codierungsfähigkeiten wurde Wert darauf gelegt, die Stärken des Basismodells in Mathematik und allgemeinen Aufgaben zu erhalten. Qwen2.5-Coder wurde daher mit zusätzlichen Daten in diesen Bereichen trainiert, um eine solide Grundlage für reale Anwendungen wie Code Agents zu schaffen.

Unterstützung für lange Kontexte und zahlreiche Programmiersprachen

Die Modelle unterstützen die Verarbeitung von Kontexten mit bis zu 128.000 Token und beherrschen 92 Programmiersprachen, darunter gängige Sprachen wie Python, Java, C++, JavaScript, aber auch Nischensprachen. Dies ermöglicht die Bearbeitung umfangreicher Code-Projekte und die Unterstützung einer breiten Palette von Anwendungsfällen.

Qwen2.5-Coder-32B-Instruct: Das Flaggschiff der Modellfamilie

Das Flaggschiff-Modell, Qwen2.5-Coder-32B-Instruct, erzielt laut Alibaba Cloud in einer Reihe von Benchmark-Tests erstklassige Ergebnisse und ist mit proprietären Modellen wie GPT-4o konkurrenzfähig oder übertrifft diese sogar. Zu den Benchmarks gehören HumanEval, MBPP, LiveCodeBench, BigCodeBench, McEval, Aider und CodeArena.

Anwendungsbeispiele und Integration in bestehende Frameworks

Die Modelle lassen sich mithilfe der Transformers-Bibliothek in Python integrieren und bieten verschiedene Anwendungsmöglichkeiten, darunter Chat-Interaktionen, Code-Vervollständigung und das Einfügen von Code in bestehende Code-Kontexte ("Fill-in-the-Middle"). Für die Verarbeitung von langen Texten über 32.768 Token hinaus wird die YaRN-Technik verwendet.

Ausblick und zukünftige Entwicklungen

Alibaba Cloud plant die Veröffentlichung weiterer Versionen und die Erforschung fortgeschrittener, codezentrierter Reasoning-Modelle, um die Grenzen der Code-Intelligenz weiter zu verschieben. Die Modelle sind unter der Apache-2.0-Lizenz veröffentlicht, um die offene Nutzung und Weiterentwicklung zu fördern.

Bibliographie:

1. https://github.com/QwenLM/Qwen2.5-Coder
2. https://www.reddit.com/r/LocalLLaMA/comments/1fn0a37/appreciation_post_for_qwen_25_in_coding/?tl=de
3. https://qwen2.org/qwen2-5-coder/
4. https://x.com/huybery?lang=de
5. https://www.youtube.com/watch?v=XdwneT5XtUs