Bewertung von KI-Agenten in industriellen Anwendungen mit AssetOpsBench

Die fortschreitende Integration künstlicher Intelligenz in industrielle Prozesse verspricht eine Revolution in der Effizienz und Wartung komplexer Systeme. Insbesondere im Bereich des Asset Lifecycle Managements (ALM) bieten KI-Agenten das Potenzial, manuelle Arbeitsabläufe zu automatisieren und Ausfallzeiten zu minimieren. Doch die Überführung von Laborergebnissen in die anspruchsvolle Realität der Industrie stellt eine erhebliche Herausforderung dar. Hier setzt AssetOpsBench an, ein von IBM Research entwickeltes, umfassendes Benchmark-System, das darauf abzielt, KI-Agenten unter realitätsnahen Bedingungen zu testen und weiterzuentwickeln.

Die Herausforderung der industriellen KI-Agenten

Traditionelle KI-Benchmarks konzentrieren sich oft auf isolierte Aufgaben wie Codegenerierung oder Web-Navigation. Diese Ansätze erfassen jedoch nicht die Vielschichtigkeit industrieller Operationen, die durch heterogene Datenströme, komplexe Fehlerbilder und die Notwendigkeit der Multi-Agenten-Koordination gekennzeichnet sind. Für den Einsatz in kritischen Infrastrukturen, wie beispielsweise bei der Überwachung von Kühlsystemen oder Luftbehandlungsanlagen, müssen KI-Agenten nicht nur Aufgaben korrekt ausführen, sondern auch in der Lage sein, mit unvollständigen oder verrauschten Daten umzugehen, Unsicherheiten zu erkennen und angemessen zu reagieren.

AssetOpsBench wurde spezifisch entwickelt, um diese Lücke zu schließen. Es bietet ein Rahmenwerk, das die Leistung von Agenten über sechs kritische Dimensionen industrieller Anwendungen hinweg bewertet. Dabei liegt der Fokus auf der Koordination mehrerer Agenten, die über "Lone-Wolf"-Modelle hinausgeht, um komplexe Fehler zu bewältigen, verschiedene Datenströme zu integrieren und detaillierte Arbeitsaufträge zu verwalten.

Struktur und Umfang von AssetOpsBench

Das Framework basiert auf einem umfangreichen Datensatz, der die Komplexität realer industrieller Anlagen widerspiegelt:

• 2,3 Millionen Sensortelemetriepunkte: Gesammelt von sechs Anlagen (vier Kühler und zwei Luftbehandlungsanlagen), erfassen diese Daten Zeitreihensignale wie Rücklauftemperatur, Lastprozentsatz und Kondensatorwasserdurchfluss.
• 140+ kuratierte Szenarien: Über vier Agenten hinweg werden vielfältige Aufgabenstellungen abgedeckt, die von der Anomalieerkennung in Sensorströmen über die Fehlerursachenanalyse bis zur KPI-Prognose und der Priorisierung von Arbeitsaufträgen reichen.
• 4.200 Arbeitsaufträge: Diese historischen Daten umfassen ISO-Standard-Fehlercodes, Ereigniszeitstempel und Verknüpfungen zu Alarmen und erkannten Anomalien.
• 53 strukturierte Fehlermodi: Basierend auf FMEA-Aufzeichnungen (Failure Mode and Effects Analysis) bieten diese detaillierte Einblicke in Fehlerorte, Degradationsmechanismen und beeinflussende Faktoren.

Die Entwicklung dieser Szenarien erfolgte in Zusammenarbeit mit Experten, um sicherzustellen, dass sie die realen Herausforderungen des industriellen Asset Managements adäquat abbilden.

Das Evaluierungssystem: Mehr als nur Erfolg

AssetOpsBench bewertet agentische Systeme anhand von sechs qualitativen Dimensionen, die die operativen Einschränkungen in der industriellen Anlagenverwaltung widerspiegeln. Anstatt sich auf eine einzige Erfolgsmetrik zu konzentrieren, legt der Benchmark Wert auf:

1. Aufgabenerfüllung (Task Completion): Inwieweit wurde die gestellte Aufgabe vollständig und korrekt bearbeitet?
2. Abrufgenauigkeit (Retrieval Accuracy): Wie präzise wurden relevante Informationen aus den Datenquellen extrahiert?
3. Ergebnisverifikation (Result Verification): Wurden die Ergebnisse kritisch überprüft und ihre Korrektheit bestätigt?
4. Ablaufkorrektheit (Sequence Correctness): Wurden die notwendigen Schritte in der logisch richtigen Reihenfolge ausgeführt?
5. Klarheit und Begründung (Clarity and Justification): Sind die vom Agenten gelieferten Antworten verständlich und nachvollziehbar begründet?
6. Halluzinationsrate (Hallucination Rate): Wie oft generiert der Agent inkorrekte oder nicht belegbare Informationen?

Ein zentraler Beitrag von AssetOpsBench ist die explizite Behandlung von Fehlermodi als primäre Evaluationssignale. Anstatt Misserfolg als binäres Ergebnis zu betrachten, analysiert das Framework die vollständigen Ausführungspfade von Multi-Agenten-Systemen, um zu identifizieren, wo, wie und warum das Verhalten des Agenten unter realistischen Betriebsbedingungen versagt. Dies geschieht mittels einer speziellen Trajektorien-Analyse-Pipeline (TrajFM), die LLM-basiertes Reasoning mit statistischer Clusterbildung kombiniert, um interpretierbare Fehlermuster zu identifizieren.

Wiederkehrende Fehlermodi umfassen:

• Fehlende Abstimmung zwischen Sensortelemetrie, Alarmen und historischen Arbeitsaufträgen.
• Übertriebene Schlussfolgerungen unter fehlenden, verzögerten oder unzureichenden Beweisen.
• Inkonsistente Aggregation heterogener Datenmodalitäten über Agenten hinweg.
• Vorzeitige Aktionsauswahl ohne ausreichende Verifikations- oder Validierungsschritte.
• Zusammenbrüche in der Multi-Agenten-Koordination, wie ignorierte Eingaben oder Diskrepanzen zwischen Aktion und Begründung.

Diese fehlersensitive Bewertung spiegelt die Realität des industriellen Asset Managements wider, wo vorsichtiges, degradationsbewusstes Reasoning – und die Fähigkeit, Unsicherheiten zu erkennen, Maßnahmen aufzuschieben oder angemessen zu eskalieren – oft aggressiver, aber anfälliger Automation vorzuziehen ist.

Experimente und Beobachtungen

Eine Community-Evaluierung testete zwei Ansätze:

1. Planungsorientierte Multi-Agenten-Orchestrierung.
2. Ausführungsorientierter dynamischer Multi-Agenten-Workflow.

Über 225 Nutzer und mehr als 300 Agenten sowie führende Open-Source-Modelle wurden getestet. Die Ergebnisse zeigten, dass viele allgemeine Agenten bei oberflächlichem Reasoning gut abschnitten, jedoch mit anhaltender Multi-Schritt-Koordination, die Arbeitsaufträge, Fehlersyntax und zeitliche Abhängigkeiten umfasste, Schwierigkeiten hatten. Agenten, die explizit den operativen Kontext und Unsicherheiten modellierten, erzeugten stabilere und interpretierbarere Trajektorien, selbst wenn die endgültige Aufgabenerfüllung nur teilweise erfolgte.

Wichtige Fehlerfeststellungen:

• „Klingt richtig, ist falsch“: Agenten behaupteten, Aufgaben erledigt zu haben, und meldeten Erfolg, selbst nach erfolgloser Fehlerbehebung.
• Werkzeugnutzung: Dies war der größte Unterschied zwischen leistungsstarken und leistungsschwachen Agenten, wobei Top-Agenten eine Werkzeuggenauigkeit von 94 % im Vergleich zu 61 % bei schwächeren Agenten aufwiesen.
• Multi-Agenten multipliziert Fehler: Die Aufgaben-Genauigkeit bei einzelnen Agenten (68 %) im Vergleich zu Multi-Agenten (47 %) verdeutlicht die Komplexität, die Multi-Agenten mit Kontextverlust, asynchronen Problemen und kaskadierten Fehlern mit sich bringen.
• Domänenwissen: Agenten mit Zugang zu Fehlermodus-Datenbanken und Wartungshandbüchern schnitten besser ab. Allerdings wurde RAG-Wissen nicht immer korrekt genutzt, was auf einen Bedarf an strukturiertem Reasoning hindeutet.
• Ambiguität: Fehlende Sensoren, widersprüchliche Protokolle und vage Bedienerbeschreibungen führten zu einem Rückgang der Erfolgsquote um 34 %. Agenten müssen Strategien zur Klärung integriert haben.

Es ist wichtig zu beachten, dass keines der getesteten Modelle die Evaluierungskriterien von 85 Punkten erreichte, die als Schwellenwert für die Einsatzbereitschaft definiert wurden.

Ausblick und praktische Anwendungen

AssetOpsBench bietet eine Plattform für Entwickler, um Agentenimplementierungen in einer kontrollierten, datenschutzfreundlichen Umgebung zu testen, die reale industrielle Asset-Management-Einschränkungen widerspiegelt. Die Möglichkeit, Agenten iterativ zu verbessern, indem Fehlermuster diagnostiziert und das Agentendesign oder die Workflow-Struktur verfeinert werden, ist ein entscheidender Vorteil.

Die fortlaufende Entwicklung von AssetOpsBench, einschließlich der Berücksichtigung von Rechen- und Tool-Nutzungskosten in zukünftigen Evaluierungen, unterstreicht das Bestreben, KI-Agenten für den Unternehmenseinsatz nicht nur zuverlässig, sondern auch kosteneffizient zu gestalten. Dieses Framework ist ein wichtiger Schritt, um die Vision von KI-Agenten, die komplexe Betriebsaufgaben autonom verwalten, in der Industrie 4.0 Realität werden zu lassen.

Für weitere Informationen und zur aktiven Teilnahme an der Weiterentwicklung von AssetOpsBench stehen Ressourcen auf Hugging Face und GitHub zur Verfügung.

Bibliography

1. "AssetOpsBench: Bridging the Gap Between AI Agent Benchmarks and Industrial Reality." IBM Research, Hugging Face Blog. Veröffentlicht am 21. Januar 2026.
2. "Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance." Dhaval Patel et al. arXiv:2506.03828. Veröffentlicht am 4. Juni 2025.
3. "AssetOpsBench - A Framework for Industrial Agentic AI | Maximo." IBM Community. Veröffentlicht am 9. Januar 2026.
4. "IBM/AssetOpsBench - Industry 4.0." GitHub. Verfügbar unter: https://github.com/IBM/AssetOpsBench.
5. "AI Agents for Industrial Asset Operations & Maintenance." YouTube-Video von Reliability Odyssey. Veröffentlicht am 24. Dezember 2025.
6. "IBM’s new benchmark puts industrial agents to the test." Kim Martineau, IBM Research Blog. Veröffentlicht am 15. Juli 2025.