Cosines KI-Revolution: Ein neuer Standard in der Softwareentwicklung

Selbstverbesserung durch synthetische Daten

Ein wesentlicher Faktor für Genies Leistung war sein selbstverbesserndes Training. Anfangs lernte das Modell hauptsächlich von perfektem, funktionierendem Code, hatte jedoch Schwierigkeiten mit eigenen Fehlern. Cosine löste dieses Problem durch den Einsatz synthetischer Daten: Wenn Genies erster Lösungsvorschlag falsch war, wurde dem Modell gezeigt, wie es die richtige Lösung verbessern kann. Mit jeder Iteration verbesserten sich Genies Lösungen und erforderten weniger Korrekturen.

Überwindung technischer Einschränkungen

Pullen erkannte das Potenzial großer Sprachmodelle zur Unterstützung menschlicher Softwareentwickler bereits Anfang 2022. Zu dieser Zeit war die Technologie jedoch noch nicht weit genug fortgeschritten, um Genies Vision zu verwirklichen. Das Kontextfenster, das oft auf 4.000 Tokens begrenzt war, stellte ein großes Hindernis dar. Heutzutage können Modelle wie Gemini 1.5 Pro bis zu zwei Millionen Tokens in einem Prompt verarbeiten. Cosine hat die Token-Kapazität von Genie jedoch nicht offengelegt.

Vorteile gegenüber anderen Modellen

Cosine glaubt, dass es einen Vorteil gegenüber Codierungsassistenten hat, die einfach allgemeine Modelle wie GPT-4 als separate Produkte einsetzen. „Alle, die an diesem Problem arbeiten, stoßen an die gleiche Grenze der Modellintelligenz, deshalb haben wir uns entschieden zu trainieren, statt zu prompten“, erklärt Pullen.

Erweiterung über die Softwareentwicklung hinaus

Cosine plant, sein Portfolio sowohl mit kleineren, spezialisierten Modellen als auch mit größeren, allgemeineren Modellen zu erweitern. Das Unternehmen wird auch seine Beteiligung an Open-Source-Communities erhöhen und Genies Fähigkeiten regelmäßig basierend auf Kundenfeedback verbessern. Angesichts der Größe des Datensatzes ist ein vollständiges Modelltraining für die Zukunft nicht ausgeschlossen. Pullen glaubt, dass das Konzept Anwendungen über das Programmieren hinaus hat: „Wir glauben wirklich, dass wir in der Lage sind, menschliches Denken für jeden Job und jede Branche zu kodifizieren. Softwareentwicklung ist nur der intuitivste Ausgangspunkt, und wir können es kaum erwarten, Ihnen alles zu zeigen, woran wir noch arbeiten.“

Preismodelle und Finanzierung

Cosine wird Genie in zwei Preiskategorien anbieten: eine Option für etwa 20 Dollar mit einigen Funktions- und Nutzungseinschränkungen und ein Enterprise-Angebot mit erweiterten Funktionen und nahezu unbegrenzter Nutzung. Derzeit können sich interessierte Parteien nur auf eine Warteliste setzen lassen. Der Y Combinator Ableger hat kürzlich 2,5 Millionen Dollar an Seed-Finanzierung von verschiedenen Risikokapitalfirmen erhalten, um Genies Entwicklung und Pläne zu unterstützen.

Schlussfolgerung

Cosine scheint wesentliche Erkenntnisse aus den jüngsten KI-Entwicklungen kombiniert zu haben: Die Nachahmung menschlicher Arbeit kann zu verbesserten Ergebnissen führen, und die Qualität der Trainingsdaten ist entscheidend. KI-Modelle wie Genie könnten die Softwareentwicklungsbranche erheblich beeinflussen, indem sie die Produktivität steigern. Es sei jedoch darauf hingewiesen, dass bisher nur die von der Firma selbst gemeldeten Benchmarks vorliegen.

Bibliographie

1. https://the-decoder.com/cosine-trained-gpt-4o-on-high-quality-data-to-codify-human-reasoning-for-its-genie-assistant/
2. https://cosine.sh/
3. https://openai.com/index/hello-gpt-4o/
4. https://cosine.sh/blog/state-of-the-art
5. https://medium.com/gptalk/cosines-genie-the-future-of-ai-coding-assistants-c662dfa2bb6b
6. https://startupsmagazine.co.uk/article-ycombinators-cosine-unveils-ai-22x-more-advanced-gpt-4
7. https://www.youtube.com/watch?v=uMr1My5Lq7s
8. https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
9. https://medium.com/@chiapeilie/goodbye-devin-meet-genie-the-most-powerful-ai-engineer-built-on-gpt-4o-0d92464b1140