Fortschritte und Herausforderungen bei OpenAIs neuem Modell Orion

Branchenweiter Trend: Stagnation bei der Entwicklung großer Sprachmodelle

Die Verlangsamung des Fortschritts bei LLMs betrifft nicht nur OpenAI. Auch bei anderen Unternehmen wie Google und Anthropic zeigen sich ähnliche Tendenzen. Googles kommendes Gemini 2.0 soll interne Ziele verfehlen, und Anthropic hat die Entwicklung von Version 3.5 seines Flaggschiffmodells Opus Berichten zufolge gestoppt und stattdessen ein verbessertes Sonnet veröffentlicht – möglicherweise, um Enttäuschungen bei Nutzern und Investoren zu vermeiden.

Die Entwicklung von Open-Source-Modellen, die in den letzten 18 Monaten zu den milliardenschweren proprietären Modellen aufgeschlossen haben, unterstreicht diese branchenweite Stagnation. Dieser Fortschritt wäre unwahrscheinlich, wenn große Technologieunternehmen ihre massiven Investitionen effektiv in eine bessere KI-Leistung umsetzen könnten.

Neue Ansätze und Optimismus trotz Herausforderungen

Trotz der Herausforderungen zeigt sich OpenAI-CEO Sam Altman optimistisch. Er betont, dass der Weg zur künstlichen allgemeinen Intelligenz (AGI) klar sei und es auf die kreative Nutzung bestehender Modelle ankomme. Altman könnte sich dabei auf die Kombination von LLMs mit Reasoning-Ansätzen wie o1 und agentenbasierter KI beziehen.

Das neue Modell o1 zielt darauf ab, neue Skalierungsmöglichkeiten zu schaffen. Der Fokus verschiebt sich vom Training zur Inferenz – der Rechenzeit, die KI-Modelle benötigen, um Aufgaben zu erledigen. Dieser Ansatz wird als "neue Dimension für die Skalierung" betrachtet, erfordert jedoch Milliarden von Dollar und einen erheblichen Energieverbrauch. Eine zentrale Frage der Branche für die kommenden Monate ist daher, ob der Bau immer leistungsfähigerer KI-Modelle – und der dafür benötigten riesigen Rechenzentren – wirtschaftlich und ökologisch sinnvoll ist.

Kritik an der Skalierung von Sprachmodellen

Experten wie François Chollet kritisieren die Skalierung von Sprachmodellen für mathematische Aufgaben und die Verwendung des Begriffs "LLM" als Marketingbegriff für alle aktuellen KI-Fortschritte, auch wenn diese nicht mit Sprachmodellen zusammenhängen. Empirische Daten zeigen, dass Deep Learning und große Sprachmodelle mathematische Probleme nicht selbstständig lösen können, sondern diskrete Suchmethoden benötigen.

Zukunftsausblick

Die Entwicklung im Bereich der LLMs steht vor neuen Herausforderungen. Die Verlangsamung des Fortschritts und die Knappheit an Trainingsdaten erfordern neue Strategien und Ansätze. Die Verwendung synthetischer Daten und die Optimierung der Inferenz sind vielversprechende Wege, die jedoch mit hohen Kosten und Energieverbrauch verbunden sind. Die Zukunft wird zeigen, ob diese Strategien den Weg zur AGI ebnen und ob die damit verbundenen Investitionen gerechtfertigt sind.

Quellen:

1. https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december
2. https://hyperight.com/openai-will-reportedly-unleash-next-gen-orion-ai-model/
3. https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-will-reportedly-unleash-next-gen-orion-ai-model-this-december-orion-is-expected-to-be-100x-more-potent-than-gpt-4
4. https://www.linkedin.com/pulse/exponential-growth-large-language-models-openais-next-wallace-rogers-mokme
5. https://www.timesofai.com/news/openais-orion-100x-more-powerful-than-gpt-4/
6. https://www.inc.com/kit-eaton/openai-will-send-its-next-ai-to-businesses-before-a-public-release/90994783
7. https://www.thehansindia.com/technology/tech-news/openai-plans-to-launch-new-powerful-ai-model-orion-by-december-report-916914
8. https://www.timesnownews.com/technology-science/openai-to-launch-new-ai-model-orion-by-december-what-you-need-to-know-article-114579672
9. https://techcrunch.com/2024/11/09/openai-reportedly-developing-new-strategies-to-deal-with-ai-improvement-slowdown/
10. https://www.reddit.com/r/OpenAI/comments/1f9ovbm/openai_is_reportedly_considering_highpriced/