Bewertung multimodaler Betriebssystemagenten in der Windows Agent Arena

Der Multi-Modale Agent Navi

Um die Fähigkeiten der Windows Agent Arena zu demonstrieren, wurde ein neuer multimodaler Agent namens Navi eingeführt. Dieser Agent erzielte eine Erfolgsquote von 19,5% im Windows-Domänenvergleich, während ein unassistierter Mensch 74,5% erreichte. Navi zeigt auch starke Leistungen in einem anderen beliebten webbasierten Benchmark, Mind2Web. Eine umfassende quantitative und qualitative Analyse von Navis Leistung bietet Einblicke in die Herausforderungen und Möglichkeiten für zukünftige Forschung in der Agentenentwicklung und Datengenerierung unter Verwendung der Windows Agent Arena.

Aufgaben und Evaluierung in der Windows Agent Arena

Die initiale Veröffentlichung der Windows Agent Arena umfasst 154 diverse Aufgaben, die typische Benutzerarbeitslasten innerhalb des Windows-OS repräsentieren. Dazu gehören:

- Bearbeitung von Dokumenten und Tabellenkalkulationen (LibreOffice Calc/Writer) - Internetsurfen (Microsoft Edge, Google Chrome) - Windows-Systemaufgaben (Datei-Explorer, Einstellungen) - Codierung (Visual Studio Code) - Video ansehen (VLC Player) - Utility-Funktionen (Notepad, Uhr, Paint)

Die Auswertung der Aufgaben erfolgt deterministisch, wobei benutzerdefinierte Skripte verwendet werden, um am Ende jeder Episode eine Belohnung zu generieren.

Parallelisierung in Azure

Die Infrastruktur hinter der Windows Agent Arena unterstützt flexible, lokale Ausführung während der Prototyping-Phase sowie skalierbare und sichere Cloud-Parallelisierung in Azure. Der Kern unseres Systems ist ein Docker-Container, der die Windows 11 VM hostet. Innerhalb des Containers wird ein Client-Prozess für die Aufgabenplanung und -konfiguration sowie der Agent und die Bewertungsskripte bereitgestellt. Die VM dient als Hauptsimulationsumgebung, wobei ein Python Flask-Server als Brücke zwischen dem Container und der VM fungiert, indem er Befehle von den Client-Prozessen empfängt und innerhalb der VM ausführt und Beobachtungen und Dateien an den Client zurücksendet.

Ergebnisse und Erkenntnisse

Wir benchmarken mehrere State-of-the-Art-Modelle für visuelle Sprachmodelle. Dabei stellen wir fest, dass alle vorhandenen Modelle im Vergleich zum menschlichen Verhalten eine geringe Leistung erzielen, wobei große Unterschiede zwischen den Domänen bestehen. Die Qualität der Set-of-Marks spielt eine entscheidende Rolle für die Leistung des Agenten. Agenten, die ausschließlich auf pixelbasierte OCR und Symbolerkennung angewiesen sind, erzielen eine geringere Leistung als diejenigen, die auch den UIA-Baum verwenden. Wir stellen auch fest, dass die Symbolbeschriftungsfähigkeit von Omniparser die Leistung steigert.

Schlussfolgerung

Die Windows Agent Arena bietet eine innovative und skalierbare Umgebung zur Bewertung von Multi-Modalen OS-Agenten. Mit der Einführung des Agenten Navi und der umfassenden Analyse seiner Leistung haben wir wertvolle Einblicke in die aktuellen Fähigkeiten und Herausforderungen von OS-Agenten gewonnen. Diese Arbeit legt den Grundstein für zukünftige Forschung und Entwicklung in diesem Bereich und unterstreicht das Potenzial von LLMs, die menschliche Produktivität und Softwarezugänglichkeit weiter zu verbessern.

Bibliographie

1. https://microsoft.github.io/WindowsAgentArena/
2. https://github.com/microsoft/WindowsAgentArena
3. https://aclanthology.org/2024.acl-long.50.pdf
4. https://arxiv.org/abs/2401.13649
5. https://arxiv-sanity-lite.com/?rank=pid&pid=2402.17553
6. https://github.com/showlab/Awesome-GUI-Agent
7. https://arxiv.org/html/2401.13649v2
8. https://arxiv-sanity-lite.com/?rank=pid&pid=2401.13649
9. https://medium.com/@techsachin/benchmarking-multimodal-agents-for-open-ended-tasks-in-real-computer-environments-ef338142c9c1
10. https://openreview.net/forum?id=zAdUB0aCTQ