ToolHop: Neue Standards zur Evaluierung der Werkzeugnutzung in großen Sprachmodellen

Die Evaluierung von großen Sprachmodellen (LLMs) im Hinblick auf ihre Fähigkeit, Werkzeuge effektiv zu nutzen, stellt eine zentrale Herausforderung in der aktuellen KI-Forschung dar. Ein neuer Benchmark namens ToolHop adressiert diese Herausforderung, indem er die Leistung von LLMs in mehrstufigen Werkzeugaufgaben anhand von Abfragen bewertet.

ToolHop: Ein Abfrage-gesteuerter Benchmark

ToolHop bietet einen neuartigen Ansatz zur Evaluierung von LLMs, indem er sich auf abfragegesteuerte, mehrstufige Werkzeugaufgaben konzentriert. Im Gegensatz zu bisherigen Benchmarks, die oft isolierte Werkzeugfähigkeiten testen, simuliert ToolHop realistischere Szenarien, in denen LLMs mehrere Werkzeuge in sequentieller Reihenfolge verwenden müssen, um komplexe Aufgaben zu lösen. Dies spiegelt die Anwendung von LLMs in der Praxis wider, wo sie häufig auf verschiedene Ressourcen und Funktionalitäten zugreifen müssen.

Mehrstufige Werkzeugnutzung

Die Fähigkeit, Werkzeuge in mehreren Schritten zu verwenden, ist entscheidend für die Lösung komplexer Probleme. ToolHop testet diese Fähigkeit, indem er Aufgaben definiert, die die Verkettung verschiedener Werkzeuge erfordern. Ein Beispiel hierfür wäre die Kombination eines Bilderkennungswerkzeugs mit einer Wissensdatenbankabfrage, um Informationen über ein bestimmtes Objekt in einem Bild zu erhalten. Die Bewertung erfolgt anhand der Fähigkeit des LLMs, den korrekten Werkzeugablauf zu planen und auszuführen.

Architektur von ToolHop

Der Benchmark umfasst eine Vielzahl von Werkzeugen, darunter multimodale Modelle, öffentlich zugängliche APIs und Bildverarbeitungsmodule. Für jede Aufgabe in ToolHop wird eine entsprechende Abfrage formuliert, die das LLM zur Lösung der Aufgabe auffordert. Der Benchmark enthält sowohl automatisch generierte als auch von Menschen verifizierte Werkzeugpläne, die als Grundlage für die Bewertung dienen. Dies ermöglicht eine umfassende Analyse der LLM-Planungsfähigkeiten.

Evaluierung mit ToolHop

ToolHop ermöglicht die Evaluierung verschiedener Aspekte der LLM-Leistung, darunter die Auswahl der richtigen Werkzeuge, die korrekte Reihenfolge der Werkzeuge und die erfolgreiche Ausführung des gesamten Plans. Der Benchmark unterstützt verschiedene Planungsstrategien, wie z.B. die mehrstufige Planung, bei der der gesamte Plan auf einmal generiert wird, und die schrittweise Planung, bei der jeder Schritt einzeln geplant wird. Zusätzlich können verschiedene Feedback-Mechanismen integriert werden, um die Leistung der LLMs zu verbessern.

Bedeutung für die Entwicklung von LLMs

ToolHop bietet eine wertvolle Ressource für die Entwicklung und Verbesserung von LLMs. Durch die Bereitstellung eines standardisierten Benchmarks können Forscher die Stärken und Schwächen verschiedener LLMs im Hinblick auf die Werkzeugnutzung systematisch untersuchen. Die Ergebnisse dieser Evaluierungen können dazu beitragen, die Entwicklung von robusteren und effektiveren LLMs für reale Anwendungen zu fördern. Für Unternehmen wie Mindverse, die maßgeschneiderte KI-Lösungen entwickeln, bietet ToolHop eine wichtige Grundlage für die Optimierung von Chatbots, Voicebots, KI-Suchmaschinen und Wissensdatenbanken. Die Fähigkeit, Werkzeuge effektiv zu nutzen, ist entscheidend für die Entwicklung von KI-Systemen, die komplexe Aufgaben in verschiedenen Bereichen bewältigen können.

Bibliographie:

1. Tang, Y., & Yang, Y. (2024). MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries. arXiv preprint arXiv:2401.15391.
2. Ma, Z., Huang, W., Zhang, J., Gupta, T., & Krishna, R. (2024). \name: A Benchmark to Evaluate Tool-Use for multi-step multi-modal Tasks. arXiv preprint arXiv:2403.11085v3.
3. Karpathy, A. [karpathy]. (2024, Februar 20). "My benchmark for large language models" [Tweet]. X. https://x.com/karpathy/status/1760022429605474550?lang=de
4. Soboroff, I. (2023, November 14). Attended a recent talk on evaluating LLMs that talked about benchmarks.... LinkedIn. https://www.linkedin.com/posts/ian-soboroff_attended-a-recent-talk-on-evaluating-llms-activity-7185776415181545473-HBd1
5. Tang, Y., & Yang, Y. (2024). MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries. OpenReview. https://openreview.net/forum?id=t4eB3zYWBK