Arch Gateway: Ein Open-Source-Gateway für KI-Agenten und API-Management

Arch Gateway: Ein intelligentes Gateway für KI-Agenten

Arch Gateway, ein Open-Source-Projekt von Katanemo, stellt ein intelligentes Layer-7-Gateway dar, das entwickelt wurde, um KI-Agenten in Verbindung mit APIs zu schützen, zu beobachten und zu personalisieren. Es basiert auf Envoy Proxy und nutzt dessen bewährte Funktionen für HTTP-Management und Skalierbarkeit, um eingehenden und ausgehenden Datenverkehr im Zusammenhang mit Prompts und LLMs zu verwalten.

Funktionsweise und Kernfunktionen

Arch Gateway läuft als separater containerisierter Prozess neben Anwendungsservern und nutzt spezielle LLMs, um wichtige, aber undifferenzierte Aufgaben im Zusammenhang mit der Handhabung und Verarbeitung von Prompts zu erledigen. Dazu gehören:

• Erkennung und Abwehr von Jailbreak-Versuchen
• Intelligentes Aufrufen von Backend-APIs zur Erfüllung von Benutzeranfragen, die in einem Prompt dargestellt werden
• Routing und Disaster Recovery zwischen Upstream-LLMs
• Zentrale Verwaltung der Beobachtbarkeit von Prompts und LLM-API-Aufrufen

Die Kernfunktionen von Arch Gateway umfassen:

• Basierend auf Envoy: Nutzen der robusten HTTP-Management- und Skalierbarkeitsfunktionen von Envoy.
• Funktionsaufrufe für schnelle Agenten und RAG-Apps: Verwendung spezialisierter LLMs für schnelle und genaue promptbasierte Aufgaben wie Funktions-/API-Aufrufe und Parameterextraktion aus Prompts.
• Prompt Guard: Zentralisierte Schutzmechanismen zur Verhinderung von Jailbreak-Versuchen und zur Gewährleistung sicherer Benutzerinteraktionen ohne Code-Schreiben.
• Routing & Verkehrsmanagement: Verwaltung von LLM-Aufrufen mit intelligenten Wiederholungsversuchen, automatischer Umschaltung und robusten Upstream-Verbindungen für kontinuierliche Verfügbarkeit.
• Beobachtbarkeit: Verwendung des W3C Trace Context Standards für die vollständige Anfrageverfolgung über Anwendungen hinweg und Bereitstellung von Metriken zur Überwachung von Latenz, Token-Nutzung und Fehlerraten.

Anwendungsfälle und Vorteile

Arch Gateway bietet Entwicklern eine Reihe von Vorteilen bei der Entwicklung von GenAI-Anwendungen:

• Schnellere Entwicklung: Durch die Automatisierung von Aufgaben im Zusammenhang mit Prompts und LLMs können Entwickler sich auf die Kernfunktionen ihrer Anwendungen konzentrieren.
• Verbesserte Sicherheit: Die Prompt Guard-Funktion schützt vor Jailbreak-Versuchen und anderen Sicherheitsrisiken.
• Optimierte Leistung: Das Routing- und Verkehrsmanagement sorgt für eine hohe Verfügbarkeit und niedrige Latenzzeiten.
• Umfassende Beobachtbarkeit: Die detaillierten Metriken und die Anfrageverfolgung ermöglichen eine umfassende Analyse der Anwendungsleistung.
• Flexibilität und Anpassbarkeit: Arch Gateway kann an verschiedene Anwendungsfälle und Umgebungen angepasst werden.

Integration und Ausblick

Arch Gateway lässt sich nahtlos in bestehende Entwicklungsabläufe integrieren und bietet eine umfassende Dokumentation und Unterstützung. Das Projekt wird aktiv weiterentwickelt, mit Fokus auf der Erweiterung der Funktionen und der Verbesserung der Leistung. Katanemo plant, den Zugang zur gehosteten Version des Function-Calling-LLM (Arch-Function) in Zukunft über Entwicklerschlüssel zu ermöglichen und die Option anzubieten, dieses LLM lokal auszuführen.

Mit Arch Gateway bietet Katanemo Entwicklern ein leistungsstarkes Werkzeug, um die nächste Generation von KI-Agenten und GenAI-Anwendungen zu entwickeln und zu betreiben.

Bibliographie:

1. https://github.com/katanemo/archgw
2. https://twitter.com/RustTrending/status/1874915331522830406
3. https://x.com/RustTrending/status/1866244524823208375
4. https://archgw.com/
5. https://github.com/katanemo
6. https://x.com/RustTrending/status/1857396973017747810
7. https://news.ycombinator.com/item?id=41864014
8. https://www.linkedin.com/posts/adilhafeez_github-katanemoarch-arch-is-an-intelligent-activity-7250212832451915776-gr_a