Neuestes Alibaba Modell Qwen2.5-72B-Instruct jetzt in der LMSys Chatbot Arena

Herausforderungen des Benchmarkings

Das Benchmarking von LLMs ist eine komplexe Aufgabe. Die Bewertungen müssen oft auf menschlichen Vergleichen basieren, da es schwierig ist, eine Software zu schreiben, die die Qualität der Antworten automatisch bewertet. Zu den gewünschten Eigenschaften eines guten Benchmark-Systems gehören:

- Skalierbarkeit: Das System sollte in der Lage sein, eine große Anzahl von Modellen zu bewerten, auch wenn nicht genügend Daten für alle möglichen Modellpaare vorhanden sind. - Inkrementalität: Das System sollte ein neues Modell mit einer relativ geringen Anzahl von Tests bewerten können. - Eindeutige Reihenfolge: Das System sollte eine eindeutige Reihenfolge für alle Modelle bereitstellen. Für jedes Modellpaar sollte es möglich sein, das höher bewertete Modell zu identifizieren oder festzustellen, ob sie gleichwertig sind.

Das Elo-Bewertungssystem

Das Elo-Bewertungssystem ist ein weit verbreitetes System zur Berechnung der relativen Fähigkeiten von Spielern in Wettkämpfen. In der LMSys Chatbot Arena wird dieses System verwendet, um die Leistung der Sprachmodelle zu bewerten. Die Benutzer können zwei anonyme Modelle nebeneinander testen und für das bessere Modell abstimmen. Die Bewertungen werden kontinuierlich aktualisiert, um eine genaue Darstellung der Modellstärken zu gewährleisten.

Zukünftige Pläne

Die LMSys Chatbot Arena plant, in naher Zukunft mehrere Verbesserungen und Erweiterungen vorzunehmen:

- Hinzufügen weiterer geschlossener Modelle (wie ChatGPT-3.5, ChatGPT-4 und Claude-v1) - Einfügen weiterer Open-Source-Modelle - Regelmäßige Aktualisierung der Ranglisten (z. B. monatlich) - Implementierung besserer Abtastalgorithmen, Turniermechanismen und Bereitstellungssysteme zur Unterstützung einer größeren Anzahl von Modellen - Bereitstellung feinkörniger Ranglisten für verschiedene Aufgabentypen

Beteiligung der Gemeinschaft

Die LMSys Chatbot Arena lädt die gesamte Gemeinschaft ein, sich an diesem Benchmarking-Bemühen zu beteiligen, indem sie neue Modelle einbringt und für die anonymen Modelle abstimmt, die ihrer Meinung nach bessere Antworten liefern. Die Plattform ist unter https://arena.lmsys.org zugänglich. Benutzer können auch spezifische Modelle vorschlagen, die sie in der Arena sehen möchten, und den Anweisungen auf der Website folgen, um diese hinzuzufügen.

Fazit

Die Einführung des Qwen2.5-72B-Instruct in der LMSys Chatbot Arena stellt einen weiteren Meilenstein in der Entwicklung und Bewertung großer Sprachmodelle dar. Durch die fortlaufende Zusammenarbeit und das Feedback der Gemeinschaft wird die Plattform weiterhin wertvolle Einblicke in die Leistungsfähigkeit und Grenzen dieser Modelle bieten. Dies wird nicht nur die Forschung vorantreiben, sondern auch dazu beitragen, die Benutzererfahrung in verschiedenen Anwendungsfällen zu verbessern.

Bibliographie

1. https://lmsys.org/blog/2023-05-03-arena/
2. https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard
3. https://lmarena.ai/
4. https://lmsys.org/blog/2024-03-01-policy/
5. https://www.reddit.com/r/LocalLLaMA/comments/1d54ai8/qwen272b_on_chatbot_arena/
6. https://chat.lmsys.org/?wtime&utm_cta=website-mmds-foleon-ungated-wb?wtime
7. https://huggingface.co/Qwen
8. https://twitter.com/lmsysorg?lang=de