GPT 4.5: Fortschritte in der KI-Entwicklung durch Skalierung

GPT 4.5: Skalierung im Fokus der KI-Entwicklung bei OpenAI

OpenAI hat mit GPT 4.5 sein bisher größtes Sprachmodell vorgestellt. Der Fokus liegt dabei laut Mark Chen, Chief Research Officer bei OpenAI, weiterhin auf der Skalierung, die das Potenzial für weitere Fortschritte in der KI-Entwicklung birgt.

Die Veröffentlichung von GPT 4.5 markiert einen weiteren Schritt in der Entwicklung großer Sprachmodelle. Für OpenAI dient das neue Modell als Beweis dafür, dass die Skalierung, also die Vergrößerung und Optimierung der Modelle, weiterhin ein Schlüssel zum Fortschritt ist. Dies widerlegt Kritiker, die die Grenzen dieser Strategie erreicht sahen. Mark Chen betont, dass GPT 4.5 die nächste Größenordnung in diesem Skalierungsparadigma darstellt.

Zwei parallele Entwicklungspfade: Vortraining und Schlussfolgern

OpenAI verfolgt laut Chen zwei zentrale Entwicklungsstränge: das unüberwachte Lernen im Vortraining und die Verbesserung der Schlussfolgerungsfähigkeiten. Die längere Entwicklungszeit zwischen GPT-4 und 4.5 begründet er mit dem intensiven Fokus auf die Weiterentwicklung des Schlussfolgerns. Chen verdeutlicht die Komplementarität beider Ansätze: Wissen, erworben durch unüberwachtes Lernen, bildet die Grundlage für das Schlussfolgern. Die beiden Paradigmen verstärken sich gegenseitig und bilden Feedbackschleifen.

GPT 4.5 verfügt über ein deutlich größeres Weltwissen als seine Vorgänger. In internen Vergleichen wurde das neue Modell von Nutzern in 60% der alltäglichen Anwendungsfälle und in fast 70% der Fälle im Bereich Produktivität und Wissensarbeit gegenüber GPT-4 bevorzugt. Dies deutet auf eine verbesserte Anwendbarkeit in verschiedenen Szenarien hin.

Entwicklungsverlauf von GPT 4.5 im erwarteten Rahmen

Zur Frage nach den Grenzen der Skalierung äußert sich Chen optimistisch. Die Entwicklung von GPT 4.5 verlief den Erwartungen entsprechend. OpenAI verwendet Projektionen basierend auf den Daten vorheriger Modelle, um die Performance neuer Modelle abzuschätzen. GPT 4.5 erfüllt diese Erwartungen. Neben Verbesserungen in traditionellen Benchmarks, die ähnlich den Fortschritten von GPT-3.5 zu GPT-4 ausfallen, verfügt GPT 4.5 laut Chen über neue Fähigkeiten, wie z.B. die Erstellung von ASCII-Kunst, eine Aufgabe, die frühere Modelle nicht beherrschten.

Chen entkräftet Berichte über besondere Schwierigkeiten bei der Entwicklung von GPT 4.5. Die Entwicklung von großen Sprachmodellen sei grundsätzlich experimentell und beinhalte oftmals das Anhalten, Analysieren und Neustarten von Trainingsläufen. Dies sei kein spezifisches Problem von GPT 4.5, sondern gehöre zum Standardverfahren bei OpenAI.

Interessanterweise übertrifft das deutlich kleinere Modell Claude 3.7 Sonnet von Anthropic GPT 4.5 in einigen Bereichen. Ein möglicher Grund hierfür liegt in den Trainingsdaten. Seit 2023, dem Wissensstand von GPT 4.5, wurden erhebliche Fortschritte im Bereich der synthetischen Daten erzielt, die für das Training von KI-Modellen verwendet werden.

Bibliographie:

1. https://the-decoder.com/gpt-4-5-is-proof-that-we-can-continue-the-scaling-paradigm-says-openais-chief-research-officer/
2. https://www.bigtechnology.com/p/openai-chief-research-officer-mark
3. https://www.linkedin.com/news/story/openai-unveils-new-gpt-45-model-6332284/?utm_source=rss&utm_campaign=storylines_en
4. https://www.threads.net/@the_ainavigator/post/DGogWUmgJr_/gpt-45-is-proof-that-we-can-continue-the-scaling-paradigm-says-openais-chief-res
5. https://twitter.com/Kantrowitz/status/1895208162472665117
6. https://the-decoder.com/gpt-4-5-is-here-openais-largest-model-in-the-world-convinces-with-vibes-instead-of-benchmarks/
7. https://www.businessinsider.com/openai-sam-altman-releases-gpt-4-5-emotionally-intelligent-model-2025-2
8. https://pod.wave.co/podcast/big-technology-podcast/openai-chief-research-officer-mark-chen-gpt-45-is-live-and-scaling-isnt-dead-6c751a2a
9. https://www.youtube.com/watch?v=pdfI9MuxWq8
10. https://openai.com/index/introducing-gpt-4-5/