Die Rolle von menschlichen Datenbeschriftern in der Interaktion mit KI-Systemen

Ehemalige OpenAI-Mitarbeiterin beleuchtet die Bedeutung von "Frag die KI"

Der Begriff "Frag die KI" ist in den letzten Jahren allgegenwärtig geworden. Doch was bedeutet es wirklich, eine KI zu fragen? Andrej Karpathy, ehemaliger OpenAI-Forscher und Leiter der KI-Abteilung bei Tesla, erläuterte kürzlich, dass Nutzer, die eine KI befragen, tatsächlich mit gemittelten Antworten menschlicher Datenbeschrifteter interagieren, nicht mit einem magischen, selbstdenkenden KI-System.

"Sie fragen nicht eine KI, sondern eine Art Verschmelzung der Geister ihrer durchschnittlichen Datenbeschrifteter", so Karpathy. Um dies zu veranschaulichen, verwendet er ein typisches Beispiel aus dem Tourismusbereich. Wenn jemand nach den "Top 10 Sehenswürdigkeiten in Amsterdam" fragt, generiert die KI eine Antwort basierend darauf, wie menschliche Datenbeschrifteter zuvor ähnliche Fragen beantwortet haben.

Bei Fragen, die nicht in den Trainingsdaten enthalten sind, erzeugt das System statistisch ähnliche Antworten basierend auf seinem Training und ahmt dabei menschliche Antwortmuster nach. Karpathy warnt insbesondere davor, KI-Systeme zu komplexen politischen Fragen wie der optimalen Regierungsführung zu befragen. Er argumentiert, dass man die gleichen Antworten erhalten würde, wenn man das Beschriftungsteam direkt bitten würde, die Antwort innerhalb einer Stunde zu recherchieren.

„Der Punkt ist, dass die Frage an ein LLM, wie man eine Regierung führt, genauso gut an Maria aus Ohio gerichtet werden könnte, für 10 Dollar, mit 30 Minuten Zeit, etwas Recherche, und sie muss sich an die 100-seitige Beschriftungsdokumentation des LLM-Unternehmens halten, die beschreibt, wie solche Fragen zu beantworten sind“, erklärt Karpathy.

Wie KI-Assistenten ihre "Persönlichkeit" erhalten

Große Sprachmodelle durchlaufen zwei Trainingsphasen. Zunächst lernen sie aus großen Mengen an Internetinhalten und anderen Daten. In der Feinabstimmung trainieren sie dann anhand von Konversationen zwischen "menschlichen" und "Assistenten"-Rollen, wobei menschliche Annotatoren die Antworten des Assistenten vorgeben.

Wenn KI-Modelle auf kontroverse Themen mit Formulierungen wie "es ist eine strittige Frage" reagieren, liegt das daran, dass menschliche Beschrifteter angewiesen werden, solche Formulierungen zu verwenden, um Neutralität zu wahren, so Karpathy. Der Feinabstimmungsprozess lehrt die KI, sich wie ein hilfreicher Assistent zu verhalten, wobei sie ihr Basiswissen beibehält, aber ihren Stil an die Feinabstimmungsdaten anpasst. Viele führen den explosionsartigen Erfolg von ChatGPT vor zwei Jahren auf diesen Feinabstimmungsprozess zurück – er gab den Nutzern das Gefühl, mit einem echten, verständnisvollen Wesen zu sprechen und nicht nur mit einem fortschrittlichen Autovervollständigungssystem.

Expertenwissen stammt von Experten-Beschriftetern

Für spezialisierte Themen beauftragen Unternehmen entsprechende Experten als Datenbeschrifteter. Karpathy merkt an, dass medizinische Fragen von professionellen Ärzten beantwortet werden, während Top-Mathematiker wie Terence Tao bei mathematischen Problemen helfen. Menschen brauchen nicht auf jede mögliche Frage eine Antwort – das System benötigt nur genügend Beispiele, um zu lernen, wie professionelle Antworten simuliert werden.

Das garantiert jedoch keine Antworten auf Expertenniveau für alle Fragen. Der KI fehlen möglicherweise die zugrunde liegenden Kenntnisse oder Denkfähigkeiten, obwohl ihre Antworten in der Regel die von durchschnittlichen Internetnutzern übertreffen, so Karpathy. LLMs können also je nach Anwendungsfall sowohl sehr begrenzt als auch sehr nützlich sein.

Der renommierte KI-Forscher hat diesen Ansatz, bekannt als Reinforcement Learning from Human Feedback (RLHF), zuvor kritisiert. Er hält ihn für eine Zwischenlösung, da ihm im Gegensatz zu Systemen wie DeepMinds AlphaGo objektive Erfolgskriterien fehlen. Karpathy, der kürzlich zusammen mit mehreren anderen hochrangigen KI-Forschern OpenAI verlassen hat, hat sein eigenes KI-Bildungsunternehmen gegründet.

Quellen:

1. Karpathy via X
2. Matthias Bastian, THE DECODER
3. Tristan Bove, Fortune
4. Jose Antonio Lanz, Decrypt
5. Kevin Okemwa, Windows Central
6. Noam Hassenfeld, Vox
7. The New York Times
8. Transparency Coalition.ai
9. https://www.youtube.com/watch?v=ccHVRMrO7Uk
10. https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
11. https://www.youtube.com/watch?v=om5KAKSSpNg
12. https://fortune.com/2023/05/03/openai-ex-safety-researcher-warns-ai-destroy-humanity/
13. https://decrypt.co/138310/openai-researcher-chance-ai-catastrophe
14. https://www.windowscentral.com/software-apps/former-openai-researcher-says-agi-could-be-achieved-by-2027
15. https://www.reddit.com/r/OpenAI/comments/1d8h6bl/former_openai_researcher_agi_by_2027_is/
16. https://www.youtube.com/watch?v=WLJJsIy1x44
17. https://www.vox.com/unexplainable/2023/7/15/23793840/chat-gpt-ai-science-mystery-unexplainable-podcast
18. https://www.transparencycoalition.ai/news/former-openai-researcher-says-the-company-broke-copyright-law