ZClawBench und GLM-5-Turbo: Neue Standards für KI-Agentenbewertungen

ZClawBench: Ein neuer Maßstab für KI-Agenten in der Praxis

Die Weiterentwicklung von Künstlicher Intelligenz (KI) hat in den letzten Jahren zu einer signifikanten Verschiebung geführt: weg von reinen Konversationssystemen hin zu autonomen Agenten, die in der Lage sind, komplexe, zielgerichtete Aufgaben in realen Umgebungen zu bewältigen. In diesem Kontext hat Zhipu AI, ein führendes chinesisches KI-Unternehmen, einen neuen Benchmark namens ZClawBench vorgestellt. Dieser soll die Leistungsfähigkeit von KI-Agenten in sogenannten OpenClaw-Szenarien realistisch bewerten.

Die Notwendigkeit eines praxisorientierten Benchmarks

Traditionelle Benchmarks für große Sprachmodelle (LLMs) konzentrieren sich oft auf isolierte Fähigkeiten wie logisches Denken, Code-Generierung oder Wissensabruf. Die Realität des Einsatzes von KI-Agenten erfordert jedoch eine ganzheitlichere Betrachtung. Agenten müssen in der Lage sein, mit verschiedenen Tools zu interagieren, mehrschrittigen Anweisungen zu folgen und komplette Arbeitsabläufe zuverlässig abzuschließen. Die Anwendungsbereiche von OpenClaw-Szenarien reichen von technischen Aufgaben wie Installation und Konfiguration bis hin zu breiteren Produktivitätsszenarien wie Büroautomation, Informationsbeschaffung, Datenanalyse und Content-Erstellung.

ZClawBench wurde entwickelt, um diese Lücke zu schließen. Er misst, wie gut Modelle als Allzweck-Agenten in praktischen OpenClaw-Workflows funktionieren. Der Benchmark umfasst 116 unterschiedliche Testfälle, die folgende Aufgabenbereiche abdecken:

• Informationssuche und -beschaffung (19,0%)
• Büro- und tägliche Aufgaben (30,2%)
• Datenanalyse (8,6%)
• Entwicklung und Betrieb (16,4%)
• Automatisierung (17,2%)
• Sicherheit (8,6%)

Bemerkenswert ist, dass 35 dieser 116 Testfälle den Einsatz spezifischer "Skills" durch den Agenten erfordern, was die Komplexität und den Praxisbezug der Aufgaben unterstreicht.

Eine vielschichtige Bewertungsmethodik

Die Bewertung von OpenClaw-artigen Agentenaufgaben stellt eine Herausforderung dar, da unterschiedliche Aufgabentypen verschiedene Evaluierungsmethoden erfordern. ZClawBench begegnet dieser Heterogenität mit einem dreistufigen Bewertungsrahmen:

1. Skriptbasierte Verifikation: Für Aufgaben, deren Ergebnisse durch explizite Regeln, Assertions oder ausführbare Programme überprüft werden können. Beispiele hierfür sind das Erstellen einer Datei mit einem bestimmten Namen oder das Bestehen von Unit-Tests. Diese Aufgaben können objektiv und reproduzierbar bewertet werden.
2. Agentische punktuelle Verifikation: Für Aufgaben, die nicht durch einfache Regeln zuverlässig bewertet werden können, aber dennoch anhand einer Reihe von Anforderungen beurteilt werden können. Hier entscheidet ein "agentischer Richter", ob die Anweisung zufriedenstellend erfüllt wurde, beispielsweise bei der Konfiguration eines Agenten mit einer bestimmten Persona oder der Sammlung spezifischer Informationen.
3. Agentische paarweise Bewertung: Für Aufgaben, bei denen die Qualität des Inhalts im Vordergrund steht, wie die Erstellung eines Berichts. Hier wird die Ausgabe des Agenten mit einer festen Baseline-Antwort verglichen und als "Sieg" (1), "Unentschieden" (0,5) oder "Niederlage" (0) bewertet. Diese Methode ist besonders geeignet für offene Aufgaben mit hoher Diversität und mehreren gültigen Lösungswegen.

Die Bewertungsumgebung ist in festen, isolierten Docker-Umgebungen implementiert, um Interferenzen zu minimieren und die Reproduzierbarkeit zu gewährleisten. Für komplexe Umgebungen wie Datenbanken oder E-Mail-Systeme werden Mock-Schnittstellen verwendet, um den Realismus der Tool-Nutzung zu erhalten, ohne durch instabile externe Dienste beeinträchtigt zu werden.

GLM-5-Turbo: Ein "Agent-natives" Modell

Parallel zur Veröffentlichung von ZClawBench hat Zhipu AI auch sein Modell GLM-5-Turbo vorgestellt, das speziell für OpenClaw-Szenarien optimiert wurde. Im Gegensatz zu vielen westlichen Modellen, die als Allzweck-Sprachmodelle trainiert und anschließend für den Agenten-Einsatz angepasst wurden, wurde GLM-5-Turbo von Grund auf als "agent-natives" Modell konzipiert. Dies bedeutet, dass es bereits während der Trainingsphase auf die Kernanforderungen komplexer, mehrschrittiger automatisierter Arbeitsabläufe ausgerichtet wurde.

Ein entscheidender Unterschied zeigt sich in der Tool-Call-Fehlerrate: GLM-5-Turbo weist eine Rate von etwa 0,67% auf, während vergleichbare Allzweckmodelle Raten zwischen 2,33% und 6,41% zeigen. Diese geringe Fehlerrate ist in Produktions-Agenten-Workflows, in denen ein einziger fehlgeschlagener Tool-Aufruf eine ganze Aufgabenkette zum Scheitern bringen kann, von großer Bedeutung.

GLM-5-Turbo basiert auf GLM-5, einem 744 Milliarden Parameter großen Mixture-of-Experts (MoE) Modell, das auf 28,5 Billionen Tokens vortrainiert wurde. GLM-5 ist ein Open-Weight-Modell und hat in verschiedenen Benchmarks, wie dem "Humanity's Last Exam", bereits sehr gute Ergebnisse erzielt, die mit denen von Closed-Source-Modellen wie Claude Opus 4.5 und GPT-5.2 vergleichbar sind.

Der globale Kontext und die Rolle chinesischer KI-Unternehmen

Die Entwicklungen bei Zhipu AI sind Teil eines größeren Trends, der die globale KI-Landschaft prägt. Chinesische KI-Unternehmen haben in den letzten Jahren eine führende Rolle bei der Entwicklung und Veröffentlichung von Open-Weight-LLMs übernommen. Bis September 2025 wurden über 1.500 solcher Modelle in China veröffentlicht, was die Anzahl in anderen Ländern deutlich übertrifft. Modelle wie Kimi K2.5 von Moonshot AI, Qwen 3.5 von Alibaba und DeepSeek V3.2 zeigen die Innovationskraft und den Wettbewerb in diesem Sektor.

Diese Entwicklung stellt westliche KI-Labore vor strategische Fragen: Ist der "General-Purpose-First"-Ansatz für KI-Modelle optimal für die Anwendungsfälle, die Unternehmen in Zukunft nachfragen werden? Die zunehmende Nachfrage nach autonomen Agenten, die "Arbeit erledigen" statt nur "Fragen zu beantworten", könnte eine Neuausrichtung der Trainingsparadigmen erfordern.

Zudem übt die Preisgestaltung chinesischer Modelle Druck auf den Markt aus. GLM-5-Turbo kostet beispielsweise 1,20 USD pro Million Input-Tokens und 4,00 USD pro Million Output-Tokens, während vergleichbare westliche Modelle deutlich teurer sein können. Dies beeinflusst die Total Cost of Ownership (TCO) erheblich, insbesondere für Unternehmen, die täglich Millionen von Agentenaufgaben ausführen.

Fazit

Die Einführung von ZClawBench und die Entwicklung von "agent-nativen" Modellen wie GLM-5-Turbo durch Zhipu AI markieren einen wichtigen Schritt in der Evolution von KI-Agenten. Sie unterstreichen die Notwendigkeit, die Leistung von KI-Systemen in realitätsnahen, end-to-end Szenarien zu bewerten und zeigen, dass chinesische Unternehmen eine zentrale Rolle bei der Definition der nächsten Welle von KI-Innovationen spielen. Der Fokus auf präzise Ausführung und geringe Fehlerraten in komplexen Arbeitsabläufen könnte zukünftig ein entscheidendes Kriterium für den Unternehmenseinsatz von KI werden.

Bibliographie:

1. zai-org/ZClawBench · Datasets at Hugging Face. (o. D.). Hugging Face. Abgerufen von https://huggingface.co/datasets/zai-org/ZClawBench
2. PinchBench — A Real-World Benchmark for OpenClaw Agents | OpenClaw.report. (o. D.). OpenClaw.report. Abgerufen von https://openclaw.report/ecosystem/pinchbench-openclaw-benchmark
3. Zhipu AI Launches GLM-5-Turbo for OpenClaw Agents ... - YouTube. (o. D.). YouTube. Abgerufen von https://www.youtube.com/watch?v=LTbJdiOgLa0
4. Z.ai from the Zhipu family has launched GLM-5-Turbo ... - Threads. (o. D.). Threads. Abgerufen von https://www.threads.com/@haoyico/post/DV93lucCSyn/z-ai-from-the-zhipu-family-has-launched-glm-turbo-which-has-been-deeply
5. AI Coding Agent Benchmark for OpenClaw - PinchBench. (o. D.). PinchBench. Abgerufen von https://pinchbench.com/submission/365e7113-c150-4b81-8d69-dfa1239d0bb7
6. Okada, T. (2026, 23. März). The World’s First Agent-Native AI Model Is Chinese - Medium. Medium. Abgerufen von https://medium.com/@tatsuru.okada/the-worlds-first-agent-native-ai-model-is-chinese-and-western-labs-should-be-worried-576e62ff4fc9
7. 302.AI. (2026, 18. März). GLM-5-Turbo Real-World Test: Abandoning Flashy “Thinking” for Hardcore Execution | by 302.AI | Mar, 2026 | Medium. Medium. Abgerufen von https://medium.com/@302.AI/glm-5-turbo-real-world-test-abandoning-flashy-thinking-for-hardcore-execution-e1497efdb835
8. InternScience/ResearchClawBench. (o. D.). GitHub. Abgerufen von https://github.com/InternScience/ResearchClawBench
9. pinchbench/skill. (o. D.). GitHub. Abgerufen von https://github.com/pinchbench/skill
10. claw-eval/claw-eval. (o. D.). GitHub. Abgerufen von https://github.com/claw-eval/claw-eval