Empirie statt Intelligenzexplosion: Warum Google DeepMind selbstverbessernde KI noch in weiter Ferne sieht

Der General Capability Index (GCI): Lineares Wachstum statt Intelligenzexplosion

Neben der Analyse einzelner Agenten-Durchläufe wollte das Team von Google DeepMind systematisch überprüfen, ob sich das Tempo des allgemeinen Fähigkeitszuwachses von KI-Modellen im Zeitverlauf beschleunigt [1]. Zu diesem Zweck entwickelten die Forscher den sogenannten General Capability Index (GCI v1), ein umfassendes Messinstrument, das insgesamt 123 verschiedene Modelle über 92 unterschiedliche Benchmarks hinweg abdeckt [1]. Würde die bestehende KI-Generation tatsächlich die Entwicklung der jeweils nächsten Generation signifikant beschleunigen, müsste sich in dieser Zeitreihe eine exponentielle oder zumindest überproportionale Kurve abzeichnen [1].

Die Daten des GCI zeigen jedoch das genaue Gegenteil: Die Fähigkeiten der Gemini-Modelle wachsen in einem stetigen, gleichmäßigen Tempo von etwa 0,1 GCI-Punkten pro Monat [1]. Eine statistisch signifikante Veränderung der Geschwindigkeit ist nicht nachweisbar [1]. Zwar liegt das aktuelle Modell Gemini 4 Argon in der Grafik leicht oberhalb der langfristigen Trendlinie, doch das Forschungsteam führt diesen leichten Ausschlag explizit auf den Einsatz von mehr Rechenleistung (Compute) sowie auf verstärkte organisatorische Investitionen zurück – und ausdrücklich nicht auf eine durch KI getriebene Beschleunigung [1].

Obwohl Google DeepMind das Risiko einer unkontrollierten Forschungsautomatisierung auf Basis dieser Daten aktuell als niedrig einstuft, handelt das Unternehmen nicht sorglos [1]. Wie Belfield erläutert, baut das Team genau jetzt diese detaillierte Messinfrastruktur rund um den GCI und interne Agenten-Auswertungen auf, um mögliche Anzeichen einer künftigen Beschleunigung frühzeitig und objektiv erfassen zu können [1].

Kontroverse in der Spitzenforschung: Warnungen vor rekursiver Selbstverbesserung bei OpenAI und Anthropic

Mit seiner nüchternen Bestandsaufnahme bezieht Google DeepMind eine deutliche Gegenposition zu einer wachsenden Gruppe von Wissenschaftlern und Wettbewerbern, die vor dramatischen Risiken durch sich selbst verbessernde Systeme warnen [1, 2]. Erst kürzlich hatten mehr als 20 führende KI-Forscher – darunter die KI-Pioniere Geoffrey Hinton und Yoshua Bengio sowie Jakub Pachocki, Chief Scientist bei OpenAI – in einem gemeinsamen Forschungspapier vor einer möglichen Intelligenzexplosion gewarnt [1]. Ihre These lautet, dass KI-Systeme innerhalb weniger Jahre die gesamte KI-Forschung und -Entwicklung automatisieren könnten, wodurch Fortschritte, die normalerweise Jahre dauern würden, auf wenige Monate komprimiert würden [1].

Wie stark diese Befürchtungen die Unternehmenskultur bei anderen führenden KI-Laboren prägen, zeigten bereits im September 2026 Berichte über interne Spannungen bei Anthropic und OpenAI [2]. Ausgelöst durch den Rücktritt des Sicherheitsforschers Jacob Coxon, der sein Unternehmen aus Sorge um die KI-Sicherheit verließ, äußerten sich zahlreiche Experten in den sozialen Medien [2]. Evan Hubinger, ein leitender Alignment-Forscher bei Anthropic, erklärte auf der Plattform X, er sehe eine Wahrscheinlichkeit von mehr als zehn Prozent, dass KI innerhalb des nächsten Jahrzehnts die gesamte Menschheit auslöschen könnte [2]. Als konkreten Grund für seine Besorgnis nannte Hubinger eine Superintelligenz, die aus rekursiver Selbstverbesserung entsteht – ein Prozess, der laut Anthropic schneller voranschreite als ursprünglich angenommen [2].

Auch weitere namhafte Forscher schlossen sich diesen Warnungen an [2]. Jakub Pachocki schrieb in einem Unternehmens-Blogbeitrag von OpenAI, er sei besorgt, dass niemand auf die Konsequenzen eines anhaltend schnellen Anstiegs maschineller Intelligenz vorbereitet sei; die Systeme der nächsten Jahre würden wahrscheinlich weitere Leistungssprünge gleichen oder größeren Ausmaßes darstellen und ihre eigene Entwicklung zunehmend selbst vorantreiben [2]. Jasmine Wang, Alignment-Forscherin bei OpenAI, warnte davor, wie gefährlich ein ungebremstes Zusteuern auf RSI sei, und Anna Wang, die bei Anthropic an AGI-Sicherheit und Alignment arbeitet, betonte, dass noch kein tragfähiger wissenschaftlicher Plan existiere, um die Risiken einer sich rekursiv selbst verbessernden KI zu lösen [2].

Trotz dieser dramatischen Einzelstimmen zeichnet die offizielle Szenario-Analyse von Anthropic ein differenzierteres Bild der Zukunft [2]. In seinem Blogbeitrag vom August 2026 skizzierte das Unternehmen drei mögliche Entwicklungspfade [2]: Ein erstes Szenario, in dem der Fortschritt an der technologischen Spitze stagniert und sich bestehende Fähigkeiten lediglich breit verteilen, hält Anthropic für unwahrscheinlich [2]. Ein zweites Szenario, in dem KI-Labore weiterhin Fortschritte erzielen, während der Mensch die Kontrolle behält und sich die Arbeitswelt tiefgreifend verändert, stuft Anthropic selbst als wahrscheinlich ein [2]. Als drittes Szenario beschreibt das Unternehmen schließlich die vollständige rekursive Selbstverbesserung, bei der Menschen nur noch eine stark verminderte Rolle in der Entwicklung spielen und bei der völlig ungewiss sei, wie das sogenannte Alignment-Problem – also die Ausrichtung der KI an menschlichen Zielen – gelöst werden könne [2].

Einzelbeispiele für KI-Forschungsimpulse vs. systematische Autonomie

Warum kommen Forscher bei Anthropic und OpenAI zu einer so anderen Risikowahrnehmung als das Team um Haydn Belfield bei Google DeepMind [1, 2]? Ein Grund liegt darin, dass moderne Modelle durchaus bereits vereinzelte inhaltliche Beiträge liefern können [2]. So erklärte Vincent Conitzer, Professor für Informatik an der Carnegie Mellon University, gegenüber dem Sender CNBC, dass KI bereits ein Niveau erreicht habe, auf dem sie einige neue Ideen einbringen könne; deshalb sei es extrem schwer vorherzusagen, ab welchem Punkt dieser Prozess die KI-Fähigkeiten drastisch beschleunigen werde [2].

In Branchenberichten vom August 2026 wurde zudem thematisiert, dass eine unveröffentlichte Version von Anthropics Modell Claude – nach ausdrücklicher Ermutigung durch einen Forscher – eine mathematische Schranke im Zusammenhang mit der ungelösten Riemannschen Vermutung von 41,6 Prozent auf 67,2 Prozent verbessern konnte und dass das Modell Grok 4.6 von SpaceX AI laut Mitarbeiterangaben erstmals auf internen Aufgaben zur Modellentwicklung trainiert wurde [4]. Solche punktuellen Erfolge und neuen Trainingsansätze sorgen in der Branche für erhebliches Aufsehen [2, 4]. Die systematische Breitenerhebung von Google DeepMind über 1.389 Agenten-Durchläufe und 123 Modelle hinweg zeigt jedoch, dass punktuelle Assistenzleistungen in der Mathematik oder Codegenerierung bislang noch zu keiner messbaren Beschleunigung der gesamten Modellentwicklungskurve geführt haben [1].

Technische Ursachenforschung: Warum „Active Learning“ und Generalisierung den Engpass bilden

Um aus technischer Sicht zu verstehen, warum das von Google DeepMind gemessene Wachstum linear von menschlichen Investitionen und Rechenleistung abhängt, lohnt sich eine Analyse der zugrunde liegenden Lernparadigmen [1, 3]. Eine fundierte theoretische Erklärung hierfür lieferte der KI-Forscher Jacob Buckman in einer vielbeachteten Analyse zu den strukturellen Grenzen sich schnell selbst verbessernder KI-Systeme [3]. Buckman zeigt auf, dass der enorme Fortschritt des Deep Learning seit dem Jahr 2012 im Wesentlichen auf drei kontinuierlichen Trends beruht: Jedes Jahr fließt mehr Kapital in das Training von Modellen, jeder investierte Dollar kauft mehr Rechenoperationen (FLOPs), und die Modellleistung verbessert sich zuverlässig mit jedem aufgewendeten FLOP [3].

Dieser Mechanismus des sogenannten passiven Deep Learning – auf dem bekannte Sprach- und Bildmodelle wie GPT-3, GPT-4, Chinchilla oder Llama basieren – trennt die Datensammlung strikt vom Modelltraining [3]. Menschen kuratieren gewaltige Datensätze, und das neuronale Netz lernt anschließend, die darin enthaltenen Muster zu erkennen [3]. Zwar lässt sich auf diese Weise für nahezu jede Aufgabe menschliches Spitzenniveau erreichen, sofern genügend hochwertige Demonstrationsdaten menschlicher Experten vorliegen [3]. Doch genau hier liegt der Flaschenhals: Die Fähigkeiten passiv trainierter Modelle sind durch die Fähigkeit des Menschen begrenzt, gute Datensätze zu konstruieren [3]. Ein schneller, sich selbst verstärkender Aufstieg zu übermenschlicher Intelligenz ist auf diesem Weg ausgeschlossen, weil das System auf menschliche Datenlieferanten angewiesen bleibt [3].

Damit eine KI menschliche Experten weit hinter sich lassen und sich rekursiv selbst verbessern kann, muss sie das Paradigma des aktiven Lernens (Active Deep Learning beziehungsweise Deep Reinforcement Learning) nutzen, wie es etwa AlphaZero durch das Spielen gegen sich selbst im Schach oder Go demonstriert hat [3]. Beim aktiven Lernen befindet sich das Modell selbst in der Schleife: Es interagiert mit seiner Umgebung, probiert Handlungsoptionen aus, beobachtet die Ergebnisse und sammelt auf Basis seines aktuellen Wissensstandes eigenständig genau jene neuen Datenpunkte, die seine Wissenslücken am effizientesten schließen [3].

In der Praxis erweisen sich bestehende Algorithmen für aktives Lernen bei großen neuronalen Netzen außerhalb billig und schnell simulierbarer Spielewelten jedoch als äußerst ineffizient [3]. Selbst das großangelegte Reinforcement Learning from Human Feedback (RLHF) führte laut dem technischen Bericht zu GPT-4 bei Prüfungsaufgaben zu keiner signifikanten Fähigkeitssteigerung gegenüber dem vortrainierten Basismodell [3]. Der Grund für dieses Scheitern ist fundamentaler Natur: Damit ein Algorithmus gezielt entscheiden kann, welcher neue Datenpunkt für den nächsten Lernschritt besonders wertvoll und nicht bloß redundant ist, müsste er vorab berechnen können, wie das neuronale Netz aus dieser neuen Information generalisiert [3]. Das Verständnis der Generalisierung großer neuronaler Netze ist jedoch eines der schwierigsten, seit Jahrzehnten ungelösten Grundprobleme der gesamten KI-Forschung [3]. Solange hier kein grundlegender wissenschaftlicher Durchbruch gelingt, bleibt die Datengewinnung durch aktive Agenten im realen Umfeld zu ineffizient, um eine plötzliche Intelligenzexplosion auszulösen [3].

• Passives Deep Learning: Hohe Leistungsfähigkeit bis zum Niveau menschlicher Top-Experten, aber strikt limitiert durch die menschliche Erstellung hochwertiger Trainingsdatensätze [3].
• Aktives Lernen (Deep Reinforcement Learning): Theoretische Basis für rekursive Selbstverbesserung durch eigene Datensammlung, in der Praxis jedoch bisher nur in extrem schnell und günstig simulierbaren Umgebungen erfolgreich [3].
• Das Generalisierungsproblem: Um im realen Einsatz effizient eigene Trainingsdaten auszuwählen, müsste ein Modell vorhersagen können, wie sich neue Datenpunkte auf seine Vorhersagen auswirken – ein ungelöstes Kernproblem der Informatik [3].

Strategische Einordnung für B2B-Entscheider und IT-Organisationen

Aus der Gesamtschau der empirischen Daten von Google DeepMind [1], den Berichten aus anderen führenden KI-Laboren [2] und den methodischen Grundlagen des maschinellen Lernens [3] lassen sich für Ihre Unternehmenspraxis klare analytische Schlussfolgerungen ableiten. Die wichtigste Erkenntnis lautet: Sie müssen Ihre IT- und Geschäftsstrategie nicht an spekulativen Szenarien einer über Nacht entstehenden Superintelligenz ausrichten, sondern an einem stetig wachsenden, aber kontrollierbaren Automatisierungspotenzial [1, 3]. Das Tempo des Fähigkeitszuwachses verläuft im Branchenschnitt linear und wird primär durch den Ausbau von Rechenzentren, Hardware-Investitionen und organisatorischem Aufwand getrieben [1, 3].

Für Ihre Softwareentwicklung und technische Produktentwicklung bedeutet die Google-Statistik eine tiefgreifende Verschiebung der Anforderungsprofile [1]. Wenn KI-Systeme in fortgeschrittenen Technologieunternehmen über 75 Prozent des Produktionscodes verfassen [1] und Entwicklerteams bei Anbietern wie Anthropic das Achtfache an Code-Volumen pro Quartal ausliefern [2], verlagert sich der Engpass in Ihrer IT-Organisation vollständig von der Code-Erstellung hin zur Code-Überprüfung. Da selbst bei Google DeepMind 88 Prozent der Änderungen menschliche Eingriffe benötigen und 100 Prozent manuell abgenommen werden müssen [1], dürfen Sie Einsparungen beim reinen Schreiben von Quellcode keinesfalls mit einem reduzierten Bedarf an erfahrenen Softwarearchitekten und Senior-Entwicklern verwechseln.

Darüber hinaus liefern die Ergebnisse der 1.389 Argon-Durchläufe eine präzise Entscheidungshilfe für den Einsatz autonomer KI-Agenten in Ihren Geschäftsprozessen [1]. Übertragen Sie KI-Agenten bevorzugt Aufgaben, die klar abgegrenzt, kurzzyklisch und anhand eindeutiger Metriken automatisiert überprüfbar sind [1]. Bei komplexen, langlaufenden Vorhaben, der Fehlerdiagnose in instabilen Systemumgebungen sowie der strategischen und konzeptionellen Planung bleibt die menschliche Expertise auf absehbare Zeit der entscheidende Erfolgsfaktor [1].

Konkrete Handlungsfelder für das Technologiemanagement

Erstens sollten Sie Ihre Review- und Governance-Prozesse in der Softwareentwicklung gezielt skalieren: Wenn KI-Werkzeuge die Menge an Code-Vorschlägen vervielfachen, benötigen Ihre Teams robuste Test-Pipelines und klare Richtlinien für die manuelle Abnahme, um Sicherheitslücken und subtile Systemfehler abzufangen [1, 2].

Zweitens empfiehlt sich bei der Evaluierung neuer KI-Modelle ein Blick auf realistische, mehrstufige Engineering-Benchmarks statt auf isolierte Einzeltests: Wie der Sprung von Gemini 3.7 Flash auf Argon im RE-Bench zeigt, entwickeln sich die Modelle zwar deutlich weiter, lösen aber selbst in der Spitzenklasse erst rund die Hälfte komplexer Ingenieursaufgaben eigenständig [1].

Quellen

1. [1] Google says self-improving AI isn't anywhere close — https://the-decoder.com/google-says-self-improving-ai-isnt-anywhere-close (abgerufen am 2026-10-14)
2. [2] AI self-improvement fears prompt ‘existential’ concerns at Anthropic, OpenAI — https://www.cnbc.com/2026/09/11/anthropic-openai-ai-existential-concerns.html (abgerufen am 2026-10-14)
3. [3] We Aren't Close To Creating A Rapidly Self-Improving AI — https://jacobbuckman.substack.com/p/we-arent-close-to-creating-a-rapidly (abgerufen am 2026-10-14)
4. [4] Google Is Going ALL IN on Self-Improving AI... - YouTube — https://www.youtube.com/watch?v=b7AldEM__SE (abgerufen am 2026-10-14)