EvoSkill GUI ermöglicht selbstlernende Fähigkeiten für robuste Computeragenten

Die berichteten Ergebnisse auf drei Benchmarks

Die Studie untersucht EvoSkill-GUI auf MobileWorld, AndroidWorld und OSWorld. Die Benchmarks decken unterschiedliche Formen der Computerbedienung ab und umfassen mobile sowie Desktop-orientierte Szenarien. Solche Testumgebungen dienen dazu, die Fähigkeit von Agenten zu bewerten, mehrstufige Aufgaben in realitätsnahen Softwareumgebungen auszuführen.

Nach den Angaben in der veröffentlichten Zusammenfassung erzielt EvoSkill-GUI maximale Leistungssteigerungen von 16,2 Prozent auf MobileWorld, 6,0 Prozent auf AndroidWorld und 10,5 Prozent auf OSWorld. Die Formulierung „maximale Verbesserung“ ist dabei von Bedeutung. Sie beschreibt nicht notwendigerweise eine einheitliche Steigerung über jede Aufgabe, jedes Modell und jede Konfiguration hinweg. Vielmehr verweist sie auf die jeweils beste beobachtete Verbesserung innerhalb der untersuchten Versuchsreihen.

Die Autoren berichten, dass mehrere Basismodelle von der Entwicklung der Skill-Bibliothek profitieren. Außerdem sollen die verbesserten Fähigkeiten auch bei verwandten Aufgaben Vorteile bringen. Das ist ein wichtiger Unterschied zu einem System, das lediglich eine einzelne Trajektorie nachträglich korrigiert. Im beschriebenen Szenario wird die Erfahrung in eine wiederverwendbare Wissensstruktur überführt.

Für die Einordnung der Ergebnisse ist zu berücksichtigen, dass es sich bei der Arbeit um eine Forschungspublikation beziehungsweise einen Preprint handelt. Benchmarkwerte sind von der Auswahl der Aufgaben, der verwendeten Modelle, den Bewertungsregeln und der jeweiligen Systemkonfiguration abhängig. Für eine Übertragung in produktive Unternehmensprozesse wären zusätzliche Tests unter realen Bedingungen erforderlich.

Training-frei bedeutet nicht kostenfrei

Der Begriff „training-free“ kann missverständlich sein. EvoSkill-GUI benötigt kein zusätzliches Fine-Tuning des zugrunde liegenden Modells. Das bedeutet jedoch nicht, dass keine Rechenzeit, keine Speicherressourcen und keine Prüfprozesse anfallen. Reflexion, Fehlerdiagnose und die Überarbeitung von Skills benötigen zusätzliche Inferenzschritte. Außerdem müssen Ausführungen protokolliert, Änderungen gespeichert und neue Versionen getestet werden.

Der mögliche Vorteil liegt in der Verlagerung des Aufwands. Klassisches Training erfordert häufig die Sammlung, Bereinigung und Aufbereitung großer Datenmengen sowie wiederholte Modellläufe. Ein laufzeitnahes Skill-System kann bestimmte Verbesserungen schneller und gezielter umsetzen. Dafür entstehen neue Kosten im Betrieb: zusätzliche Modellaufrufe, größere Wissensspeicher, Validierungsschritte und möglicherweise menschliche Freigaben.

Unternehmen müssen daher zwischen mehreren Betriebsmodellen unterscheiden:

• Vollständig automatische Anpassung: Das System ändert Skills selbstständig und verwendet sie unmittelbar weiter.
• Automatische Anpassung mit Tests: Änderungen werden zunächst in einer isolierten Umgebung oder gegen bekannte Aufgaben geprüft.
• Freigabepflichtige Anpassung: Der Agent erstellt Verbesserungsvorschläge, die vor der produktiven Nutzung durch eine zuständige Person oder ein Kontrollsystem bestätigt werden.
• Nur beobachtendes Lernen: Der Agent sammelt Fehler und Verbesserungsideen, verändert den aktiven Skill jedoch nicht automatisch.

Welche Variante geeignet ist, hängt unter anderem von der Kritikalität des Prozesses ab. Bei einer internen Rechercheaufgabe kann eine automatische Anpassung vertretbar sein. Bei Zahlungsfreigaben, Personalprozessen oder Änderungen an produktiven Systemen sind strengere Kontrollen erforderlich.

Einordnung in die aktuelle Forschung

EvoSkill-GUI steht in einer breiteren Entwicklung rund um selbstverbessernde Computer-Use-Agenten. Mehrere Forschungsarbeiten untersuchen, wie Agenten aus Erfolgen, Fehlern oder langfristig gespeicherten Entscheidungshistorien lernen können.

Der Ansatz GUI-Reflection konzentriert sich beispielsweise auf die Fähigkeit multimodaler GUI-Modelle, eigene Fehler zu erkennen, falsche Aktionen rückgängig zu machen und einen neuen Versuch zu starten. Dort wird Selbstreflexion als Verhalten des Modells behandelt und über spezielle Trainings- und Datengenerierungsprozesse gefördert. EvoSkill-GUI verfolgt dagegen eine stärker systemorientierte Perspektive: Die Verbesserung wird in externen, strukturierten Skill-Paketen abgelegt und soll ohne zusätzliches Training erfolgen.

SEAgent untersucht das autonome Lernen aus Erfahrungen in unbekannter Software. Dabei steht die schrittweise Anpassung an neue Anwendungen durch Erkundung und Versuch-und-Irrtum im Mittelpunkt. Andere Arbeiten, etwa zu SkillHone, betonen die Bedeutung persistenter Entscheidungshistorien. Nicht nur das Endergebnis einer Änderung, sondern auch verworfene Alternativen, frühere Bewertungen und die Gründe für Überarbeitungen können für spätere Agenten wertvoll sein.

Eine weitere Forschungslinie befasst sich mit hybriden Agenten, die grafische Interaktionen mit strukturierten Werkzeugaufrufen verbinden. Bei solchen Systemen muss der Agent entscheiden, ob eine Aufgabe besser über einen sichtbaren Bedienvorgang oder über eine API beziehungsweise ein Protokoll wie das Model Context Protocol ausgeführt wird. Erfahrungsbanken und laufzeitnahe Verbesserungen können dabei unterschiedliche Fehlerarten adressieren.

Gemeinsam ist diesen Ansätzen die Abkehr von der Vorstellung, dass ein Agent nach dem Training unverändert bleibt. Im Mittelpunkt steht zunehmend ein Kreislauf aus Ausführung, Beobachtung, Bewertung, Anpassung und erneuter Nutzung.

Warum die Fehleranalyse besonders anspruchsvoll ist

Fehler in GUI-Aufgaben sind häufig mehrdeutig. Ein erfolgloser Klick kann auf eine falsche Koordinate, eine nicht geladene Oberfläche, ein verdecktes Fenster, eine falsche Interpretation des Bildschirminhalts oder eine fehlende Berechtigung zurückgehen. Wenn das System die Ursache nicht korrekt bestimmt, besteht die Gefahr, dass es eine ungeeignete Regel speichert.

Eine solche Fehlanpassung kann sich anschließend auf viele Aufgaben auswirken. Wird beispielsweise eine grundsätzlich korrekte Interaktionsstrategie aufgrund eines einzelnen temporären Ladeproblems verworfen, kann die neue Version schlechter sein als die ursprüngliche. Umgekehrt kann ein lokaler Workaround in einer bestimmten Softwareversion später ungünstig werden, wenn die Oberfläche aktualisiert wurde.

Für produktive Systeme sind daher mindestens drei Prüfungen erforderlich:

• Die Änderung muss den ursprünglichen Fehler unter vergleichbaren Bedingungen beheben.
• Die Änderung darf bereits funktionierende Aufgaben nicht verschlechtern.
• Die Änderung muss unter veränderten Oberflächenbedingungen eine angemessene Robustheit zeigen.

Diese Anforderungen machen deutlich, dass Skill-Evolution nicht mit einer einfachen automatischen Speicherung von Fehlermeldungen gleichzusetzen ist. Entscheidend ist die Qualität der Diagnose und die kontrollierte Übertragung der Erkenntnis auf andere Situationen.

Implikationen für Unternehmen und Plattformbetreiber

Für Unternehmen, die GUI-Agenten einsetzen oder evaluieren, ergibt sich aus der Forschung ein erweitertes Architekturmodell. Neben dem Basismodell und der eigentlichen Agentenlogik werden ein Skill-Repository, ein Evaluierungsmechanismus, eine Versionsverwaltung und ein Berechtigungskonzept erforderlich.

Ein solches Repository sollte die Herkunft und den Status jeder Fähigkeit dokumentieren. Dazu gehören die verwendete Anwendungsversion, der Zeitpunkt der letzten Prüfung, die Aufgaben, anhand derer ein Skill validiert wurde, sowie bekannte Einschränkungen. Ebenso sollte erkennbar sein, ob eine Regel automatisch erzeugt, durch einen Menschen überprüft oder aus einer anderen Fähigkeit abgeleitet wurde.

Für den B2B-Einsatz sind insbesondere folgende Fragen relevant:

• Wer darf neue Skills anlegen oder bestehende Regeln verändern?
• Welche Anwendungen und Daten darf der Agent während einer Reflexion analysieren?
• Wie werden sensible Bildschirmdaten, Zugangsdaten und personenbezogene Informationen aus Protokollen entfernt?
• Wie lässt sich eine fehlerhafte Änderung auf eine frühere Version zurücksetzen?
• Welche Aufgaben müssen vor jeder produktiven Aktivierung erneut getestet werden?
• Wie wird verhindert, dass ein Skill aus einer Anwendung in einem unpassenden Kontext verwendet wird?
• Wie werden Änderungen für Audit, Compliance und interne Qualitätssicherung dokumentiert?

Gerade der letzte Punkt gewinnt an Bedeutung, wenn Agenten nicht nur Informationen abrufen, sondern Aktionen mit geschäftlichen Folgen ausführen. Eine nachvollziehbare Entscheidungshistorie kann dann ebenso wichtig sein wie die technische Erfolgsquote.

Die Rolle von Mindverse im entstehenden Agenten-Ökosystem

Die beschriebenen Entwicklungen betreffen nicht ausschließlich spezialisierte Forschungsplattformen. Sie sind auch für Anbieter relevant, die KI-gestützte Text-, Recherche-, Bild- und Automatisierungsfunktionen in einer gemeinsamen Arbeitsumgebung bereitstellen. Je stärker KI-Systeme von der reinen Generierung zur Ausführung mehrstufiger Aufgaben übergehen, desto wichtiger werden zuverlässige Abläufe und überprüfbare Zustände.

Für eine Plattform wie Mindverse ergeben sich daraus mehrere Beobachtungspunkte. Erstens können strukturierte Skills dazu beitragen, wiederkehrende Arbeitsprozesse konsistenter abzubilden. Zweitens kann ein dokumentierter Umgang mit Fehlern die Qualität von Recherche- und Produktionsabläufen verbessern. Drittens ermöglichen externe Skill-Bibliotheken eine Trennung zwischen dem allgemeinen Modell und organisationsspezifischem Prozesswissen.

Diese Trennung kann Vorteile für Wartbarkeit und Datenschutz bieten. Ein Unternehmen muss nicht zwangsläufig ein allgemeines Modell neu trainieren, um eigene Abläufe, Begriffe oder Prüfregeln abzubilden. Stattdessen können bestimmte Verfahren in kontrollierten Wissens- und Skill-Schichten organisiert werden. Ob dies im Einzelfall sinnvoll ist, hängt jedoch von der Komplexität, der Änderungsfrequenz und dem Schutzbedarf der jeweiligen Prozesse ab.

Offene Fragen der Methode

Die Forschungsergebnisse zeigen ein mögliches Verfahren für selbstverbessernde GUI-Agenten, beantworten aber noch nicht alle Fragen für den breiten Praxiseinsatz. Eine zentrale offene Frage ist die langfristige Stabilität der Skill-Bibliothek. Mit jeder Änderung kann der Wissensbestand wachsen. Ohne regelmäßige Bereinigung besteht das Risiko redundanter, widersprüchlicher oder veralteter Regeln.

Auch die Übertragbarkeit zwischen Anwendungen ist begrenzt. Eine Strategie, die in einem Textverarbeitungsprogramm funktioniert, muss nicht auf eine browserbasierte Oberfläche oder eine mobile Anwendung passen. Retrieval-Metadaten und Anwendungskontext müssen daher präzise genug sein, damit ein Skill nicht nur thematisch, sondern auch technisch geeignet ist.

Darüber hinaus müssen Benchmarkaufgaben und reale Geschäftsprozesse unterschieden werden. In standardisierten Tests ist häufig klar, ob eine Aufgabe erfolgreich abgeschlossen wurde. In Unternehmen können Ergebnisse dagegen teilweise korrekt, aber dennoch unzulässig sein. Ein Agent kann beispielsweise den richtigen Datensatz bearbeiten, dabei aber eine vorgeschriebene Kontrollstufe überspringen. Erfolg muss deshalb nicht nur anhand des Endzustands, sondern auch anhand des zulässigen Weges bewertet werden.

Schließlich bleibt die Frage, wie viel Autonomie ein Agent bei der Änderung seiner eigenen Fähigkeiten erhalten sollte. Ein vollständig selbstständiger Evolutionsprozess kann schnell reagieren, erhöht jedoch die Anforderungen an Überwachung und Absicherung. Ein stärker kontrollierter Prozess ist langsamer, kann aber für regulierte oder geschäftskritische Aufgaben besser geeignet sein.

Was Unternehmen aus der Studie ableiten können

Die Arbeit legt nahe, dass der Aufbau zuverlässiger GUI-Agenten nicht mit der Auswahl eines leistungsfähigen multimodalen Modells abgeschlossen ist. Für die Einführung in Unternehmen empfiehlt sich vielmehr ein schrittweises Vorgehen.

• Mit klar begrenzten Aufgaben beginnen: Geeignet sind Prozesse mit eindeutigem Ziel, überschaubaren Risiken und verlässlicher Erfolgskontrolle.
• Ausführungen vollständig protokollieren: Beobachtungen, Aktionen, Fehlermeldungen und Umgebungszustände bilden die Grundlage für spätere Analysen.
• Skills modular strukturieren: Pläne, Suchinformationen, Fehlerregeln und Hilfsfunktionen sollten getrennt aktualisierbar sein.
• Änderungen versionieren: Jede Anpassung sollte einem Auslöser, einer Bewertung und einer verantwortlichen Instanz zugeordnet werden.
• Regressionstests einrichten: Eine neue Verbesserung darf nicht unbemerkt andere Aufgaben beeinträchtigen.
• Risikostufen definieren: Je nach Prozess sollten automatische Änderungen, menschliche Freigaben oder reine Vorschlagsmodi eingesetzt werden.
• Veraltete Fähigkeiten erkennen: Oberflächenänderungen, neue Softwareversionen und geänderte Berechtigungen müssen in die Bewertung einfließen.

Damit wird Skill-Evolution zu einer Frage des laufenden Betriebs und nicht nur der einmaligen Implementierung. Unternehmen benötigen Prozesse, mit denen Agentenwissen bewertet, gepflegt und gegebenenfalls zurückgezogen werden kann.

Fazit: Vom statischen Assistenten zum wartbaren Handlungssystem

Die Forschung zu EvoSkill-GUI beschreibt einen wichtigen Perspektivwechsel bei GUI-Agenten. Ein Agent soll nicht ausschließlich aus einem vorab trainierten Modell und einem einmaligen Plan bestehen. Er kann stattdessen auf strukturierte Fähigkeiten zurückgreifen, Ausführungsfehler analysieren, einzelne Bestandteile überarbeiten und die daraus entstandenen Verbesserungen bei ähnlichen Aufgaben wiederverwenden.

Der Ansatz ist insbesondere deshalb relevant, weil grafische Benutzeroberflächen dynamisch, kontextabhängig und fehleranfällig sind. Ein System, das nur auf ideale Abläufe vorbereitet wurde, bleibt in der Praxis empfindlich. Ein System mit kontrolliertem Erfahrungsmanagement kann dagegen bestimmte Anpassungen ohne erneutes Modelltraining vornehmen.

Die berichteten Benchmarkverbesserungen sind ein Hinweis auf das Potenzial dieses Prinzips, sollten jedoch im Kontext der jeweiligen Versuchsbedingungen betrachtet werden. Für den Unternehmenseinsatz sind darüber hinaus Fragen der Sicherheit, Nachvollziehbarkeit, Versionskontrolle und Prozesskonformität entscheidend.

Die weitere Entwicklung wird daher nicht nur davon abhängen, wie gut Modelle Bildschirme verstehen oder Aktionen planen. Ebenso wichtig wird sein, wie zuverlässig Agenten ihr Wissen organisieren, aus Fehlern lernen und Änderungen unter klaren technischen und organisatorischen Regeln verwalten. Für B2B-Anwendungen entsteht damit ein neues Entwicklungsfeld zwischen Modellbetrieb, Softwareautomatisierung und Wissensmanagement.

Bibliografie

1. Bofan Chen, Boxuan Zhang, Fei Tang, Zhengxi Lu, Yong Du, Tongbo Chen, Weiming Lu, Jun Xiao, Yueting Zhuang und Yongliang Shen: „Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents“, arXiv:2609.17653, 2026. https://arxiv.org/abs/2609.17653
2. Hugging Face Papers: „Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents“, Paper-Seite zu arXiv:2609.17653. https://huggingface.co/papers/2609.17653
3. Penghao Wu, Shengqian Ma, Bo Wang, Jeongmin Yu, Lewei Lu und Ziwei Liu: „GUI-Reflection: Empowering Multimodal GUI Models with Self-Reflection Behavior“, arXiv:2506.08012, 2025. https://doi.org/10.48550/arXiv.2506.08012
4. Zhiwei Li und Yong Hu: „SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History“, arXiv:2606.08671, 2026. https://huggingface.co/papers/2606.08671
5. Zeyi Sun, Ziyu Liu, Yuhang Zang, Yuhang Cao, Xiaoyi Dong, Tong Wu, Dahua Lin und Jiaqi Wang: „SEAgent: Self-Evolving Computer Use Agent with Autonomous Learning from Experience“, arXiv:2508.04700, 2025. https://arxiv.org/abs/2508.04700
6. Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy und Yuhui Zhang: „Learning from Failure: Inference-Time Self-improvement for Computer-Use Agents“, in: Computer Vision – ECCV 2026, Springer Nature, 2026. https://doi.org/10.1007/978-3-032-37577-3_12
7. Tiantian He, Yihang Chen, Keyue Jiang, Ka Yiu Lee, Kaiwen Zhou, Kun Shao und Shuai Wang: „Self-evolving MCP-GUI Agents via Automated Environment Generation and Experience Learning“, in: Computer Vision – ECCV 2026, Springer Nature, 2026. https://doi.org/10.1007/978-3-032-37556-8_35
8. Tianbao Xie et al.: „OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments“, Advances in Neural Information Processing Systems, Band 37, 2024. https://arxiv.org/abs/2404.07972
9. Zhou et al.: „WebArena: A Realistic Web Environment for Building Autonomous Agents“, International Conference on Learning Representations, 2024. https://arxiv.org/abs/2307.13854