Menschliche Überprüfer und Datenschutz bei der Optimierung von KI-Konversationen

Die fortschreitende Entwicklung künstlicher Intelligenz (KI) ist eng mit der kontinuierlichen Verbesserung der zugrundeliegenden Modelle verbunden. Eine aktuelle Untersuchung hat nun detaillierte Einblicke in die Methoden von OpenAI zur Optimierung seines Flaggschiffprodukts ChatGPT gegeben. Es wurde festgestellt, dass OpenAI Hunderte von Vertragsmitarbeitern beschäftigt, die reale Nutzerkonversationen mit ChatGPT sichten und bewerten. Diese Praxis, intern unter dem Codenamen "Project Lily" bekannt, wirft wichtige Fragen bezüglich des Datenschutzes und der Transparenz im Umgang mit Nutzerdaten auf.

Die Rolle menschlicher Überprüfer bei der KI-Optimierung

Die Untersuchung, basierend auf internen Dokumenten und Aussagen von Beteiligten, beleuchtet die zentrale Rolle, die menschliche Überprüfer bei der Verfeinerung der ChatGPT-Antworten spielen. Diese Mitarbeiter haben die Aufgabe, die vom Chatbot generierten Antworten auf einer Skala von eins bis sieben zu bewerten. Ein Hauptziel dieser Evaluation ist es, die Modelle dahingehend zu trainieren, übermäßige Schmeicheleien und ein zu menschenähnliches Verhalten zu reduzieren. Solche Anpassungen sind entscheidend, um die Glaubwürdigkeit und Nützlichkeit der KI-generierten Inhalte zu steigern.

"Project Lily" und der Prozess der Konversationsanalyse

Im Rahmen von "Project Lily" lesen die Vertragsmitarbeiter vollständige Konversationen zwischen Nutzern und dem Chatbot. Anschließend fassen sie die mutmaßliche Absicht des Nutzers zusammen und bewerten mehrere von ChatGPT generierte Antworten. Dabei wird detailliert festgehalten, welche Teile der Antwort als "aligned" (übereinstimmend mit den Trainingszielen) oder "misaligned" (nicht übereinstimmend) eingestuft werden. Beispielsweise wird der übermäßige Einsatz von Emojis oder ein als "AI-speak" empfundenes Vokabular als negativ bewertet, wenn es das Nutzererlebnis beeinträchtigt.

Die Überprüfer werden angewiesen, Antworten zu vermeiden, die persönliche Erfahrungen suggerieren, wie "Als Koch mag ich..." oder "Ich weiß, wie sich das anfühlt". Stattdessen sollen die Antworten hilfreich, ehrlich, wahrheitsgemäß, ermächtigend, intelligent, aber bescheiden sein. Die Modelle sollen den Ton des Nutzers aufgreifen, aber nicht den Eindruck erwecken, menschlich zu sein oder Emotionen zu empfinden.

Datenschutzbedenken und Anonymisierungsprozesse

Ein zentraler Kritikpunkt ist die mögliche Offenlegung sensibler persönlicher Informationen. Obwohl OpenAI angibt, Anonymisierungsverfahren einzusetzen und persönliche Daten vor der Weitergabe an die Überprüfer zu entfernen, räumt das Unternehmen ein, dass diese Filter nicht fehlerfrei sind. Ein "Privacy Filter"-Modell soll persönliche Informationen erkennen und entfernen, kann jedoch seltene Identifikatoren oder mehrdeutige private Referenzen übersehen.

Einige der gesichteten Prompts zeigten, dass Nutzer den Chatbot explizit baten, Inhalte privat zu halten, was darauf hindeutet, dass sie sich der menschlichen Überprüfung nicht bewusst waren. Ein Vertragsmitarbeiter äußerte ebenfalls die Ansicht, dass die meisten Nutzer nicht wüssten, dass ihre Chats von Menschen gelesen werden könnten.

Die Opt-out-Möglichkeit für Nutzer

OpenAI bietet Nutzern die Möglichkeit, die Einstellung "Modell für alle verbessern" zu deaktivieren. Diese Einstellung ist standardmäßig für kostenlose, Plus- und Pro-Tarife aktiviert. Eine Deaktivierung verhindert, dass neue Konversationen für das Modelltraining verwendet und potenziell von menschlichen Überprüfern gesichtet werden. Für Unternehmenskunden (Enterprise, Business, Edu) ist diese Funktion standardmäßig deaktiviert. Es wird jedoch darauf hingewiesen, dass diese Einstellung nur für neue Konversationen gilt und nicht rückwirkend wirkt.

Die Transparenz dieser Regelung wird kritisiert, da die Informationen über die menschliche Überprüfung in den FAQ-Seiten von OpenAI als unzureichend und zu versteckt angesehen werden. Die Formulierung "Modell für alle verbessern" könnte eher als eine freundliche Geste der Community-Beteiligung missverstanden werden, anstatt als Zustimmung zur menschlichen Überprüfung von Konversationen.

Die breitere Landschaft der KI-Entwicklung

Es ist wichtig zu betonen, dass die Praxis der menschlichen Überprüfung von KI-Interaktionen nicht auf OpenAI beschränkt ist. Auch andere führende KI-Unternehmen wie Anthropic und Google nutzen menschliche Überprüfer, um ihre Modelle zu verbessern. Anthropic hat bestätigt, menschliche Überprüfer für die Verbesserung seines Modells Claude einzusetzen, wobei auch hier eine Anonymisierung der Konversationen erfolgt. Google weist in Gemini ebenfalls darauf hin, dass menschliche Überprüfer gespeicherte Chats einsehen können.

Diese Erkenntnisse unterstreichen die Notwendigkeit einer ausgewogenen Herangehensweise an die KI-Entwicklung, die sowohl die technologische Innovation als auch den Schutz der Nutzerdaten berücksichtigt. Die fortlaufende Debatte über den Datenschutz in der KI-Ära wird voraussichtlich weiterhin ein zentrales Thema bleiben, da sich die Interaktion zwischen Mensch und Maschine immer weiterentwickelt.

Vergütung und Arbeitsbedingungen der Vertragsmitarbeiter

Die Vertragsmitarbeiter, die an "Project Lily" beteiligt sind, werden Berichten zufolge über Rekrutierungsfirmen wie Crossing Hurdles und AI-Trainingsunternehmen wie Mercor engagiert. Die Vergütung soll in Nordamerika bei über 50 US-Dollar pro Stunde liegen, was im Vergleich zu anderen Tätigkeiten im Tech-Sektor, insbesondere in der Content-Moderation, als relativ hoch gilt. Die Arbeit wird jedoch als repetitiv beschrieben, und die Richtlinien können sich häufig ändern und widersprüchlich erscheinen.

Diese Einblicke verdeutlichen, dass die "magische" Leistung von KI-Modellen oft auf der unsichtbaren Arbeit von Hunderten von Menschen basiert, die im Hintergrund agieren. Die Diskussion um die Arbeitsbedingungen und die Anerkennung dieser unsichtbaren Arbeit ist ein weiterer Aspekt, der in der weiteren Entwicklung der KI-Branche Beachtung finden sollte.

Ausblick und Empfehlungen für Nutzer

Für Nutzer von ChatGPT und ähnlichen KI-Diensten ist es ratsam, sich der Möglichkeit bewusst zu sein, dass ihre Konversationen von Menschen überprüft werden könnten. Um die Privatsphäre zu schützen, sollten sensible oder persönliche Informationen, die nicht öffentlich werden sollen, nicht mit KI-Modellen geteilt werden. Zudem wird empfohlen, die Datenschutzeinstellungen der jeweiligen Dienste regelmäßig zu überprüfen und gegebenenfalls die Funktionen zur Verbesserung der Modelle zu deaktivieren, wenn dies gewünscht ist.

Die Transparenz seitens der KI-Anbieter und eine klare Kommunikation über den Umgang mit Nutzerdaten sind essenziell, um das Vertrauen der Anwender zu gewährleisten und eine verantwortungsvolle Entwicklung der KI-Technologien zu fördern.

Bibliography

1. "Inside ‘Project Lily’: The Humans Reading Your ChatGPT Chats" von Joseph Cox, 404 Media.
2. "OpenAI has hundreds of contract workers reading your ChatGPT conversations" von Matthias Bastian, The Decoder.
3. "ChatGPT transcripts are reportedly read by humans to improve responses, including those with personal information — 'Project Lilly' has seen OpenAI hire hundreds of contractors to manually review logs" von Bruno Ferreira, Tom's Hardware.
4. "Humans may be reading your ChatGPT prompts — here’s how to stop it" von Amanda Caswell, Tom's Guide.
5. "OpenAI is reading ChatGPT chats, humans look at what people say to AI" India Today.
6. "OpenAI Project Lily: contractors read ChatGPT chats" von Trace Cohen, Value Add Pulse.
7. "OpenAI Contractors Review ChatGPT User Conversations Under Project Lily" Gate News.
8. "OpenAI Contract Workers Review ChatGPT Chats" von Brian Petersen, AI Daily Post.
9. "Project Lily: Humans Are Reading ChatGPT Chats" Developments Today.
10. "OpenAI hires contractors to review ChatGPT user chats: report" Crypto Briefing.