// KI-Agenten 21.09.2026 · 12:34 Uhr 14 Min. Lesezeit

Instinct und die Grenzen autonomer KI-Agenten

Mindverse News

KI-gestützt erstellt 6 Quellen Arbeitsweise

Instinct und die Grenzen autonomer KI-Agenten — Symbolbild

Das Wichtigste in Kürze

Der KI-Agent Instinct von Spear Street Technology soll Nachrichten, E-Mails, Bildschirminhalte, Audio- und Standortdaten zu einem persönlichen Assistenten verbinden.
Ausgewählte Tester berichten von automatisierten Reservierungen, Kundendienstanfragen, Preisvergleichen und Verhandlungen mit Anbietern.
Einige Nutzer gaben dem Agenten Zugriff auf ihre Kreditkarte. Dabei soll es zu kostenpflichtigen Fehlentscheidungen gekommen sein.
Genannt werden unter anderem 300 US-Dollar Stornokosten für einen voreilig annullierten Flug sowie eine Restaurantreservierung mit einer Gebühr von 200 US-Dollar.
Besonders kritisch ist, dass Instinct laut Berichten auch per E-Mail empfangene Zwei-Faktor-Codes automatisch eingeben kann.
Der Fall zeigt ein Grundproblem autonomer KI-Agenten: Je mehr digitale und finanzielle Handlungsmacht sie erhalten, desto größer werden auch die Folgen von Missverständnissen, Fehlplanungen und Sicherheitslücken.

// Inhalt · 15 Abschnitte

Wenn ein KI-Assistent nicht nur antwortet, sondern handelt
Was Instinct laut Testberichten leisten soll
Die entscheidende Grenze: Optionen prüfen oder eine Buchung auslösen?
Kreditkartenzugriff macht aus einem Missverständnis einen Schaden
Zwei-Faktor-Authentifizierung: Sicherheitsbarriere oder automatisierter Zwischenschritt?
Das Problem der kumulierten Berechtigungen
Warum autonome Systeme anders bewertet werden müssen als Chatbots
Was der Fall für Unternehmen bedeutet
Technische und organisatorische Schutzmaßnahmen
Datenschutz und Vertraulichkeit
Finanzierung signalisiert Marktinteresse, ersetzt aber keine Sicherheitsnachweise
Wie Anbieter das Vertrauen in KI-Agenten stärken können
Die offene Frage der Verantwortung
Einordnung: Fortschritt mit klaren Grenzen
Was Unternehmen jetzt prüfen sollten
Quellen

Wenn ein KI-Assistent nicht nur antwortet, sondern handelt

KI-Agenten sollen den nächsten Entwicklungsschritt nach klassischen Chatbots markieren. Sie formulieren nicht nur Texte, beantworten Fragen oder erzeugen Bilder, sondern führen Aufgaben eigenständig aus. Sie durchsuchen Postfächer, koordinieren Termine, kommunizieren mit Unternehmen, buchen Leistungen und treffen auf Grundlage einer Anweisung operative Entscheidungen.

Der derzeit nur ausgewählten Testpersonen zugängliche Agent Instinct steht exemplarisch für diese Entwicklung. Das System des Start-ups Spear Street Technology aus San Francisco soll verschiedene digitale Lebensbereiche miteinander verknüpfen. Dazu gehören nach Angaben aus der Berichterstattung unter anderem E-Mails, Messaging-Dienste, Bildschirminhalte, Audio und Standortinformationen.

Der Anspruch ist weitreichend: Instinct soll nicht lediglich auf einzelne Befehle reagieren, sondern den Kontext einer Person verstehen. Daraus könnte ein Assistent entstehen, der erkennt, welche Aufgaben dringend sind, welche Termine übersehen wurden oder welche Ausgaben sich reduzieren lassen. Die technische Attraktivität dieses Ansatzes liegt auf der Hand. Gleichzeitig verschiebt sich damit die Verantwortung von einzelnen, klar abgegrenzten Aktionen hin zu einem System, das mehrere Schritte selbstständig plant und ausführt.

Genau an diesem Punkt entstehen die Risiken. Ein Missverständnis in einer Textunterhaltung ist meist ärgerlich, aber reversibel. Eine voreilig stornierte Reise, eine verbindliche Reservierung oder ein ausgelöster Zahlungsvorgang kann dagegen unmittelbar finanzielle Folgen haben.

Was Instinct laut Testberichten leisten soll

Instinct wird in den vorliegenden Berichten als persönlicher Agent beschrieben, der sich über bestehende Kommunikationskanäle wie iMessage oder WhatsApp bedienen lässt. Diese Form der Interaktion unterscheidet sich von vielen klassischen Produktivitätsanwendungen: Nutzer müssen sich nicht zwingend in ein neues Dashboard einarbeiten, sondern können den Agenten offenbar wie einen Kontakt anschreiben.

Aus Beiträgen von Testpersonen in sozialen Netzwerken ergeben sich mehrere Anwendungsszenarien:

Der Agent soll Restaurantreservierungen vornehmen können.
Er kann Hinweise aus E-Mails und Nachrichten zusammenführen und an vergessene Termine erinnern.
Er soll bei Garantie- und Kundendienstfällen mit Unternehmen kommunizieren.
Er kann Angebote verschiedener Händler vergleichen.
In bestimmten Fällen soll er Anbieter selbstständig kontaktieren und über Preise oder Konditionen verhandeln.
Er kann nach den Berichten Informationen aus unterschiedlichen digitalen Quellen miteinander verknüpfen.

Ein Beispiel für den möglichen praktischen Nutzen betrifft einen Internetanschluss. Der Agent soll einem Nutzer ein Gesprächsskript für den Kontakt mit dem Kundendienst erstellt haben. Infolge des Gesprächs sei ein vergleichbarer Tarif mit einer monatlichen Ersparnis von 40 US-Dollar angeboten worden. Ob der Agent selbst verhandelt oder lediglich die Vorbereitung unterstützt hat, ist bei solchen Erfahrungsberichten nicht immer eindeutig. Das Beispiel verdeutlicht jedoch, weshalb autonome Assistenten Aufmerksamkeit erhalten: Sie können Informationen auswerten, kommunikative Aufgaben vorbereiten und möglicherweise wiederkehrende Verhandlungen effizienter machen.

Für Unternehmen ist diese Entwicklung besonders relevant. In einem geschäftlichen Umfeld könnten ähnliche Systeme beispielsweise Dienstleister vergleichen, Termine koordinieren, Reisekosten optimieren oder Standardanfragen bearbeiten. Der Produktivitätsgewinn hängt allerdings davon ab, ob der Agent zwischen einer unverbindlichen Recherche und einer verbindlichen Handlung zuverlässig unterscheiden kann.

Die entscheidende Grenze: Optionen prüfen oder eine Buchung auslösen?

Die bisher bekannt gewordenen Vorfälle drehen sich im Kern um eine Fehlinterpretation der Nutzerabsicht. Eine Person kann nach Möglichkeiten fragen, ohne eine Entscheidung getroffen zu haben. Ein autonomer Agent könnte dieselbe Äußerung jedoch als Auftrag verstehen, unmittelbar zu handeln.

In einem der beschriebenen Fälle soll Instinct eine Flugbuchung voreilig storniert haben. Für den betroffenen Nutzer seien dadurch Kosten von 300 US-Dollar entstanden. Bei Flugreisen können Gebühren, Tarifbedingungen und zeitabhängige Erstattungsregeln dazu führen, dass eine Fehlentscheidung nicht ohne Weiteres rückgängig gemacht werden kann.

Ein weiterer Fall betrifft eine Restaurantreservierung in Tokio. Der Nutzer habe nach Optionen gefragt, der Agent jedoch offenbar eine Reservierung vorgenommen. Das Restaurant soll dafür eine Gebühr von 200 US-Dollar verlangt haben. Da eine solche Zahlung nicht zwingend bei einer späteren Stornierung zurückerstattet wird, entstand nach den vorliegenden Angaben ein unmittelbarer finanzieller Verlust.

Die Beispiele sind nicht deshalb relevant, weil die Beträge im Verhältnis zu größeren Unternehmensschäden besonders hoch wären. Sie zeigen vielmehr, wie ein vergleichsweise kleiner Interpretationsfehler zu einer realen Zahlung führen kann. Die technische Leistung des Systems – etwa die Fähigkeit, ein passendes Restaurant oder einen Flug zu finden – ist dabei nicht das Hauptproblem. Kritisch ist die fehlende Trennschärfe zwischen einer Empfehlung und einer autorisierten Transaktion.

Für die Gestaltung agentischer Systeme ergibt sich daraus eine grundlegende Anforderung: Jede Handlung muss nach ihrem Verbindlichkeitsgrad bewertet werden. Eine Suche, eine Zusammenfassung oder ein Preisvergleich sind in der Regel vorbereitende Schritte. Eine Buchung, eine Stornierung, eine Vertragsänderung oder eine Zahlung sind dagegen zustimmungspflichtige Aktionen.

Kreditkartenzugriff macht aus einem Missverständnis einen Schaden

Ein KI-Agent kann nur dann selbstständig einkaufen oder Leistungen buchen, wenn er über geeignete Zahlungs- und Kontozugänge verfügt. Einige Testpersonen sollen Instinct Zugriff auf ihre Kreditkarte gewährt haben, damit das System Transaktionen ausführen kann. Damit steigt der praktische Nutzen, aber auch die mögliche Schadenshöhe.

Ein Agent mit Zugriff auf Zahlungsdaten benötigt keine außergewöhnliche Fehlfunktion, um Kosten zu verursachen. Es genügt, wenn er eine Anfrage falsch interpretiert, einen ungeeigneten Anbieter auswählt oder eine Bedingung übersieht. Auch dynamische Preise, nicht erstattungsfähige Tarife, Mindestabnahmen oder Reservierungsgebühren können für ein Sprachmodell schwer zuverlässig zu beurteilen sein, wenn die entsprechenden Regeln nicht eindeutig dargestellt werden.

Hinzu kommt, dass Transaktionen häufig aus mehreren Schritten bestehen. Ein Agent muss möglicherweise eine Website aufrufen, ein Konto auswählen, Zahlungsdaten eintragen, Geschäftsbedingungen prüfen und anschließend eine Bestätigung absenden. Jeder einzelne Schritt kann eine neue Fehlerquelle darstellen. Je stärker der Agent dabei auf Webseiten, Formulare und unstrukturierte Texte angewiesen ist, desto größer wird die Wahrscheinlichkeit, dass er relevante Informationen übersieht oder falsch gewichtet.

Für Nutzer und Unternehmen ist deshalb nicht allein die Frage entscheidend, ob ein Agent Kreditkartendaten technisch verarbeiten kann. Wichtiger ist, unter welchen Bedingungen dies geschieht:

Gibt es ein festgelegtes Ausgabenlimit pro Transaktion?
Kann der Agent nur eine virtuelle Karte mit begrenztem Guthaben verwenden?
Werden nicht erstattungsfähige Buchungen grundsätzlich blockiert?
Ist für jede Zahlung eine menschliche Freigabe erforderlich?
Werden Händler, Betrag, Zeitpunkt und Vertragsbedingungen vor der Ausführung angezeigt?
Kann der Zugriff bei Auffälligkeiten sofort deaktiviert werden?

Solche Kontrollmechanismen sind keine Komfortfunktionen, sondern Teil einer sicheren Systemarchitektur. Ein Agent, der uneingeschränkt auf ein Zahlungsmittel zugreifen kann, besitzt faktisch eine operative Handlungsvollmacht. Diese sollte nicht größer sein als für den jeweiligen Anwendungsfall erforderlich.

Zwei-Faktor-Authentifizierung: Sicherheitsbarriere oder automatisierter Zwischenschritt?

Besondere Aufmerksamkeit verdient der Umgang mit Zwei-Faktor-Authentifizierung, kurz 2FA. Das Verfahren soll verhindern, dass ein Passwort allein für den Zugriff auf ein Konto ausreicht. Ein zusätzlicher Code wird beispielsweise per E-Mail, SMS oder Authentifizierungsanwendung übermittelt.

Nach den vorliegenden Berichten kann Instinct per E-Mail empfangene 2FA-Codes automatisch erkennen und eingeben. Dadurch entfällt an dieser Stelle die ansonsten notwendige manuelle Bestätigung. Technisch kann dies den Bedienkomfort erhöhen, sicherheitspolitisch ist der Schritt jedoch ambivalent.

Die Zwei-Faktor-Authentifizierung dient nicht nur dazu, einen weiteren technischen Faktor hinzuzufügen. In vielen Nutzungssituationen stellt die Codeeingabe zugleich einen Moment bewusster Aufmerksamkeit dar. Die Person sieht, dass ein Login oder eine sensible Aktion stattfindet, und kann den Vorgang gegebenenfalls abbrechen. Wird der Code automatisch verarbeitet, wird diese Kontrollmöglichkeit reduziert.

Das bedeutet nicht, dass jede automatisierte 2FA-Eingabe grundsätzlich unsicher ist. Entscheidend sind der konkrete Dienst, die Art des Codes, die Kontoberechtigungen und die nachgelagerten Aktionen. Wenn ein Agent jedoch gleichzeitig Zugriff auf E-Mails, Zahlungsdaten und externe Websites besitzt, entsteht eine weitreichende Berechtigungskette. Der Agent kann dann möglicherweise nicht nur einen Login abschließen, sondern anschließend auch eine Zahlung auslösen oder Kontoeinstellungen verändern.

Aus Sicht der IT-Sicherheit sollte deshalb zwischen einer technischen Authentifizierung und einer geschäftlichen Freigabe unterschieden werden. Ein erfolgreich eingegebener Code beweist, dass ein zusätzlicher Faktor vorliegt. Er beweist nicht automatisch, dass die konkrete Aktion inhaltlich gewollt ist.

Das Problem der kumulierten Berechtigungen

Die Risiken von Instinct ergeben sich nicht aus einer einzelnen Funktion allein. E-Mail-Zugriff, Messaging, Bildschirmsteuerung, Standortdaten und Zahlungsinformationen können jeweils für sich genommen vertretbar erscheinen. In Kombination erzeugen sie jedoch eine deutlich größere Macht über die digitale Umgebung eines Nutzers.

Ein Agent mit Zugriff auf E-Mails kann Reisebestätigungen und Zahlungsaufforderungen lesen. Mit Messaging-Zugriff kann er Unternehmen kontaktieren. Mit Bildschirm- oder Browsersteuerung kann er Formulare ausfüllen. Mit 2FA-Codes kann er Logins abschließen. Mit einer Kreditkarte kann er die daraus resultierenden Vorgänge bezahlen. Die Verbindung dieser Fähigkeiten macht den Agenten leistungsfähig – und schafft zugleich eine Angriffskette, wenn eine Komponente kompromittiert oder manipuliert wird.

Ein weiteres Risiko liegt in sogenannten Prompt-Injection-Angriffen. Dabei enthält eine Webseite, eine E-Mail oder ein Dokument Anweisungen, die ein KI-System als Handlungsaufforderung interpretieren könnte. Ein Agent, der externe Inhalte liest und gleichzeitig Aktionen ausführen darf, muss daher zwischen Daten und Befehlen unterscheiden können. Gelingt das nicht zuverlässig, kann ein fremder Inhalt versuchen, das System zu einer unerwünschten Handlung zu bewegen.

Die klassische Sicherheitsregel der geringsten Rechte – im Englischen „Least Privilege“ – gewinnt in diesem Umfeld an Bedeutung. Ein Agent sollte nur auf die Daten, Konten und Funktionen zugreifen können, die er für eine konkrete Aufgabe benötigt. Wer einen Restaurantvergleich anfordert, sollte nicht automatisch eine umfassende Berechtigung für das gesamte Postfach, alle Zahlungsmittel und sämtliche Konten erteilen müssen.

Warum autonome Systeme anders bewertet werden müssen als Chatbots

Ein Chatbot produziert in erster Linie Inhalte. Die Verantwortung für die Umsetzung liegt normalerweise bei der Person, die den Text liest und verwendet. Ein Agent dagegen kann den Abstand zwischen einer Empfehlung und ihrer Umsetzung verkürzen oder vollständig überbrücken.

Das verändert die Risikobewertung in mehreren Dimensionen:

Geschwindigkeit: Fehler können innerhalb weniger Sekunden zu einer verbindlichen Aktion führen.
Skalierung: Ein Agent kann zahlreiche Aufgaben parallel oder in kurzer Folge bearbeiten.
Intransparenz: Nutzer erkennen möglicherweise nicht, welche Zwischenschritte das System ausgeführt hat.
Kontextabhängigkeit: Eine Aussage wie „Schauen Sie nach Möglichkeiten“ kann je nach System als Recherche oder als Handlungsauftrag verstanden werden.
Irreversibilität: Stornierungen, Zahlungen oder Vertragsänderungen lassen sich nicht immer rückgängig machen.
Berechtigungsketten: Der Agent kann mehrere Dienste miteinander verbinden und dadurch neue Handlungsmöglichkeiten erhalten.

Für die Akzeptanz agentischer KI ist deshalb nicht nur die Qualität der Antworten entscheidend. Ebenso wichtig sind nachvollziehbare Prozesse, klare Freigaben und eine verlässliche Dokumentation. Ein System kann in neun von zehn Fällen korrekt handeln und dennoch problematisch sein, wenn der zehnte Fehler hohe Kosten oder einen Datenschutzvorfall verursacht.

Was der Fall für Unternehmen bedeutet

Unternehmen prüfen zunehmend, ob KI-Agenten administrative und operative Aufgaben übernehmen können. Das Spektrum reicht von internen Assistenzfunktionen bis zu kundenbezogenen Prozessen. Der Fall Instinct liefert dafür keine abschließende Bewertung des Produkts, macht aber die Anforderungen an einen kontrollierten Einsatz sichtbar.

Vor einer Einführung sollten Unternehmen zunächst die Aufgaben nach ihrem Risiko klassifizieren. Unkritische Tätigkeiten wie das Zusammenfassen von E-Mails oder das Erstellen von Entwürfen können weitgehend automatisiert werden. Bei kostenwirksamen oder rechtlich relevanten Vorgängen sind dagegen zusätzliche Kontrollen erforderlich.

Eine mögliche Einteilung umfasst drei Ebenen:

Vorbereitende Aufgaben: Recherche, Zusammenfassung, Entwurf und Vergleich. Der Agent darf Informationen sammeln, aber keine verbindliche Aktion auslösen.
Bedingt autonome Aufgaben: Standardbestellungen oder Terminvereinbarungen innerhalb klarer Grenzen. Hier gelten definierte Budgets, erlaubte Anbieter und feste Zeitfenster.
Freigabepflichtige Aufgaben: Zahlungen, Vertragsänderungen, Kündigungen, Stornierungen und der Umgang mit besonders schützenswerten Daten. Diese Schritte benötigen eine explizite menschliche Bestätigung.

Darüber hinaus sollten Unternehmen Protokolle führen, in denen Eingaben, Entscheidungen, verwendete Datenquellen und ausgeführte Aktionen nachvollziehbar dokumentiert werden. Ohne solche Aufzeichnungen ist es schwierig, Fehler zu analysieren, Verantwortlichkeiten zu klären oder gegenüber Kunden und Aufsichtsstellen Auskunft zu geben.

Technische und organisatorische Schutzmaßnahmen

Ein sicherer Einsatz autonomer Agenten erfordert mehrere Schutzschichten. Keine einzelne Maßnahme kann alle Risiken beseitigen. Sinnvoll ist eine Kombination aus Berechtigungsmanagement, Transaktionskontrolle, Überwachung und menschlicher Aufsicht.

Virtuelle Zahlungskarten: Für Agenten sollten nach Möglichkeit Karten mit niedrigen Limits, begrenzter Gültigkeit oder Händlerbeschränkungen eingesetzt werden.
Transaktionslimits: Beträge können pro Vorgang, Tag oder Anbieter begrenzt werden.
Freigabeschwellen: Ab einem bestimmten Betrag oder bei nicht erstattungsfähigen Leistungen muss eine Person zustimmen.
Vorschau vor Ausführung: Das System sollte Ziel, Preis, Bedingungen und Folgen einer Aktion verständlich darstellen.
Trennung von Rollen: Ein Agent, der recherchiert, sollte nicht automatisch auch Zahlungen autorisieren können.
Überwachung: Ungewöhnliche Aktivitäten, wiederholte Fehlversuche oder neue Empfänger sollten Warnungen auslösen.
Notfallabschaltung: Berechtigungen müssen zentral und unverzüglich entziehbar sein.
Schutz vor Prompt Injection: Externe Inhalte dürfen nicht ohne Prüfung als privilegierte Anweisungen interpretiert werden.
Testumgebungen: Neue Workflows sollten zunächst mit simulierten Konten und Testzahlungen geprüft werden.
Regelmäßige Berechtigungsprüfung: Nicht mehr benötigte Zugänge sind zu widerrufen.

Auch die Nutzeroberfläche spielt eine Rolle. Freigabeanfragen sollten nicht lediglich einen Button mit der Aufschrift „Bestätigen“ anzeigen. Erforderlich sind konkrete Angaben: Was wird gekauft? Bei wem? Für welchen Betrag? Ist die Leistung erstattungsfähig? Welche Daten werden übermittelt? Erst wenn diese Informationen verständlich vorliegen, kann eine Zustimmung tatsächlich informiert sein.

Datenschutz und Vertraulichkeit

Ein Agent, der E-Mails, Nachrichten, Audio, Bildschirminhalte und Standortdaten miteinander verbindet, verarbeitet potenziell sehr persönliche Informationen. Dazu können Reisepläne, Gesundheitsangaben, berufliche Kommunikation, Zahlungsinformationen und Kontakte gehören.

Die zentrale Datenschutzfrage lautet daher nicht nur, ob die Daten verschlüsselt übertragen werden. Ebenso wichtig ist, welche Daten dauerhaft gespeichert werden, wie lange sie vorgehalten werden, zu welchen Zwecken sie verarbeitet werden und welche Drittanbieter Zugriff erhalten. Unternehmen müssen zudem prüfen, ob die Verarbeitung mit ihren internen Richtlinien, vertraglichen Verpflichtungen und den geltenden Datenschutzanforderungen vereinbar ist.

Für geschäftliche Nutzer ist eine klare Trennung zwischen privaten und beruflichen Konten besonders wichtig. Ein Agent, der auf ein persönliches Postfach zugreift, sollte nicht automatisch vertrauliche Unternehmensdaten verarbeiten dürfen. Umgekehrt kann ein beruflicher Agent durch private Nachrichten oder Standortdaten mit Informationen in Berührung kommen, die für den Geschäftszweck nicht erforderlich sind.

Transparenz ist auch gegenüber den betroffenen Personen relevant. Wenn ein Agent im Namen eines Unternehmens mit Kunden, Lieferanten oder Dienstleistern kommuniziert, sollte erkennbar sein, ob eine automatisierte Anwendung beteiligt ist und welche Entscheidungen weiterhin durch Menschen getroffen werden.

Finanzierung signalisiert Marktinteresse, ersetzt aber keine Sicherheitsnachweise

Die Berichte über Instinct fallen in eine Phase großer Investitionen in agentische KI. Spear Street Technology soll Ende August 350 Millionen US-Dollar von Investoren erhalten haben. Die Bewertung des Unternehmens wird in den vorliegenden Quellen mit rund 2,5 Milliarden US-Dollar angegeben. Andere Berichte nennen allerdings deutlich höhere Bewertungszahlen. Die Angaben sind daher als Medienberichte einzuordnen und nicht als unabhängig bestätigte Kennzahlen.

Unabhängig von der konkreten Bewertung zeigt die Finanzierung, dass der Markt den Übergang von generativen Modellen zu handelnden Systemen als wirtschaftlich bedeutend betrachtet. Investoren und Nutzer sehen offenbar Potenzial in Anwendungen, die nicht nur Inhalte erzeugen, sondern Aufgaben vollständig erledigen.

Kapitalzuflüsse und hohe Nutzeraufmerksamkeit sagen jedoch wenig darüber aus, wie zuverlässig ein Agent in sensiblen Situationen arbeitet. Für Unternehmen sind daher andere Nachweise entscheidend: unabhängige Sicherheitstests, nachvollziehbare Berechtigungskonzepte, dokumentierte Vorfallprozesse und klare Haftungsregelungen.

Wie Anbieter das Vertrauen in KI-Agenten stärken können

Die Vorfälle rund um Instinct verdeutlichen, dass Hersteller autonome Funktionen nicht allein über die Leistungsfähigkeit des zugrunde liegenden Modells definieren sollten. Entscheidend ist das Gesamtsystem aus Modell, Werkzeugen, Berechtigungen, Benutzeroberfläche und Kontrollmechanismen.

Ein vertrauenswürdiger Agent sollte Unsicherheit erkennen und offenlegen können. Wenn die Anweisung mehrdeutig ist, sollte er nachfragen, anstatt eine kostenpflichtige Aktion auszuführen. Bei einer Flugreise könnte die Rückfrage lauten, ob tatsächlich storniert werden soll oder lediglich alternative Optionen geprüft werden sollen. Bei einer Restaurantanfrage sollte das System zwischen „Finden Sie ein Restaurant“ und „Reservieren Sie einen Tisch“ unterscheiden.

Darüber hinaus sollten Anbieter riskante Aktionen standardmäßig deaktivieren oder auf eine Bestätigung warten lassen. Ein sicherer Standard ist in diesem Zusammenhang wichtiger als eine nachträglich versteckte Einstellung. Nutzer wählen häufig die bequemste Konfiguration und unterschätzen, welche Reichweite eine einmal erteilte Berechtigung besitzt.

Zur technischen Qualitätssicherung gehören außerdem kontrollierte Tests mit realistischen, aber simulierten Szenarien. Dabei sollten auch missverständliche Formulierungen, widersprüchliche Informationen, manipulierte Webseiten und ungewöhnliche Preisbedingungen berücksichtigt werden. Ein System, das nur unter idealen Bedingungen getestet wurde, ist für den produktiven Einsatz nicht ausreichend vorbereitet.

Die offene Frage der Verantwortung

Wenn ein autonomer Agent eine falsche Buchung vornimmt, stellt sich die Frage nach der Verantwortung. Ist der Nutzer verantwortlich, weil er den Zugang gewährt hat? Liegt die Verantwortung beim Anbieter, weil das System die Anweisung falsch interpretiert hat? Oder trägt der Händler einen Teil der Verantwortung, weil seine Prozesse eine automatisierte Fehlbuchung ermöglicht haben?

Eine pauschale Antwort gibt es nicht. Entscheidend sind die konkreten Vertragsbedingungen, die Art der Autorisierung, die Darstellung der Freigabe und die technischen Möglichkeiten zur Fehlervermeidung. Gerade deshalb müssen Anbieter und Unternehmen bereits vor dem Einsatz klären, welche Aktionen der Agent ausführen darf und wie mit Fehlentscheidungen umgegangen wird.

Für B2B-Anwendungen sind Service-Level-Vereinbarungen, Audit-Rechte und definierte Eskalationswege besonders relevant. Unternehmen sollten außerdem prüfen, ob Versicherungen Schäden durch automatisierte Systeme abdecken und welche Nachweise im Fall einer Reklamation erforderlich sind.

Einordnung: Fortschritt mit klaren Grenzen

Instinct steht für eine Entwicklung, die über klassische Assistenzfunktionen hinausgeht. Ein System, das Informationen aus mehreren Quellen zusammenführt, selbstständig kommuniziert und alltägliche Aufgaben übernimmt, kann Zeit sparen und Abläufe vereinfachen. Die positiven Beispiele aus den Testberichten zeigen, warum solche Agenten für private Nutzer ebenso wie für Unternehmen interessant sind.

Die geschilderten finanziellen Verluste machen zugleich deutlich, dass Autonomie nicht mit Zuverlässigkeit gleichzusetzen ist. Ein Agent kann sprachlich überzeugend wirken, komplexe Aufgaben bewältigen und dennoch eine einzelne, folgenschwere Anweisung falsch interpretieren. Je direkter der Weg von der Eingabe zur Zahlung oder Vertragsänderung ist, desto wichtiger werden Freigaben, Limits und eine nachvollziehbare Protokollierung.

Für die weitere Entwicklung wird daher nicht nur die Frage entscheidend sein, welche Aufgaben KI-Agenten übernehmen können. Ebenso wichtig ist, welche Aufgaben sie unter welchen Bedingungen übernehmen dürfen. Unternehmen sollten agentische Systeme nicht als vollständig autonome Mitarbeiter betrachten, sondern als leistungsfähige Software mit klar begrenzten Zuständigkeiten.

Der Fall Instinct liefert damit vor allem eine praktische Lehre: Ein KI-Agent sollte niemals mehr Zugriff erhalten, als für den jeweiligen Zweck notwendig ist. Finanzielle Handlungsmacht, Kontozugriff und automatisierte Authentifizierung müssen getrennt, begrenzt und überprüfbar gestaltet werden. Erst wenn diese Grundlagen erfüllt sind, kann der Produktivitätsgewinn autonomer KI nachhaltig genutzt werden.

Was Unternehmen jetzt prüfen sollten

Vor der Einführung eines KI-Agenten empfiehlt sich eine strukturierte Prüfung des geplanten Einsatzes. Die folgenden Fragen können als Ausgangspunkt dienen:

Welche konkreten Aufgaben soll der Agent ausführen und welche ausdrücklich nicht?
Welche Datenquellen benötigt er tatsächlich?
Welche Aktionen sind rein vorbereitend, welche rechtlich oder finanziell verbindlich?
Ab welchem Betrag oder Risiko ist eine menschliche Freigabe erforderlich?
Welche Zahlungs- und Kontolimits werden eingerichtet?
Wie werden 2FA-Codes und andere Authentifizierungsfaktoren verarbeitet?
Wie werden externe Inhalte auf Manipulationsversuche geprüft?
Welche Protokolle werden erstellt und wie lange bleiben sie verfügbar?
Wie kann der Zugriff im Notfall sofort beendet werden?
Wer untersucht Vorfälle und wer entscheidet über eine Wiederaufnahme des Betriebs?

Die Antworten sollten nicht nur in technischen Dokumentationen stehen, sondern in verbindliche Prozesse übersetzt werden. Dazu gehören Schulungen, regelmäßige Kontrollen und ein klarer Umgang mit Fehlermeldungen. Die Verantwortung für sichere Automatisierung liegt nicht allein beim Modellanbieter. Auch die Organisation, die einen Agenten einführt und mit Berechtigungen ausstattet, muss die Risiken aktiv steuern.

Bibliografie

t3n, Marvin Fuhrmann: „KI-Agent Instinct: Teure Fehler durch Zugriff auf Kreditkarten“, veröffentlicht am 20.09.2026. https://t3n.de/news/ki-agent-instinct-kreditkarte-kosten-1763170/
t3n, Marvin Fuhrmann: „KI-Agent Instinct: Warum alle davon schwärmen und welche Risiken es gibt“, veröffentlicht am 14.09.2026. https://t3n.de/news/instinct-neuer-ki-agent-leistungen-risiken-1763170/
The Atlantic, Lila Shroff: „It’s All Fun and Games Until You Give AI Your Credit Card“, veröffentlicht im September 2026. https://www.theatlantic.com/technology/2026/09/instinct-ai-personal-assistant-credit-card/688607/
Heute.at: „Risiken bei KI-Assistenten – KI-Agent geht mit Kreditkarte auf Shopping-Tour“, veröffentlicht im September 2026. https://www.heute.at/s/ki-agent-geht-mit-kreditkarte-auf-shopping-tour-120252072
Der KI-Auditor, Lars Zimmermann: „KI-Agent mit eigener Kreditkarte: Feature oder Scheunentor?“, veröffentlicht am 15.07.2026. https://der-ki-auditor.de/wissen/ki-agent-mit-kreditkarte-feature-oder-scheunentor/
Stork.AI: „Instinct AI: Ihr Leben auf Autopilot?“, veröffentlicht im September 2026. https://www.stork.ai/blog/de/instinct-ai-your-life-on-autopilot