// Google 15.12.2024 · 13:10 Uhr 2 Min. Lesezeit

Googles Trillium TPU v6e: Neue Maßstäbe für KI-Rechenleistung in der Cloud

Mindverse News

KI-gestützt erstellt 9 Quellen Arbeitsweise

Googles Trillium TPU v6e: Neue Maßstäbe für KI-Rechenleistung in der Cloud — Symbolbild

Googles Trillium TPU v6e: Leistungssprung für KI in der Cloud

Google hat die allgemeine Verfügbarkeit seiner sechsten Generation von Tensor Processing Units (TPUs), genannt Trillium oder v6e, für Google Cloud-Kunden bekannt gegeben. Die neuen Chips versprechen einen erheblichen Leistungssprung für KI-Anwendungen und sollen die steigenden Anforderungen von großen, multimodalen KI-Modellen erfüllen. Google betont neben der Leistungssteigerung auch die verbesserte Energieeffizienz der neuen TPU-Generation.

Trillium: Leistung im Dienste der KI

Die Trillium TPUs wurden speziell für das Training, die Feinabstimmung und die Inferenz von komplexen KI-Modellen entwickelt. Sie bilden das Herzstück von Googles "AI Hypercomputer", einer Supercomputer-Architektur, die leistungsoptimierte Hardware mit offener Software, gängigen ML-Frameworks und flexiblen Nutzungsmodellen kombiniert. Die Architektur integriert über 100.000 Trillium-Chips pro Jupiter-Netzwerkstruktur mit einer Bandbreite von 13 Petabit/s und ermöglicht die Skalierung verteilter Trainingsaufgaben auf Hunderttausende von Beschleunigern. Zu den wichtigsten Verbesserungen von Trillium gegenüber der Vorgängergeneration gehören:

Eine mehr als vierfache Verbesserung der Trainingsleistung
Eine bis zu dreifache Steigerung des Inferenzdurchsatzes
Eine um 67 Prozent höhere Energieeffizienz
Eine 4,7-fache Steigerung der Spitzenrechenleistung pro Chip
Die doppelte High Bandwidth Memory (HBM)-Kapazität
Die doppelte Interchip Interconnect (ICI)-Bandbreite

Anwendungsbereiche und Vorteile

Die Trillium TPUs sollen in einer Vielzahl von KI-Workloads überzeugen, darunter:

Skalierung von KI-Trainingsworkloads
Training von LLMs, einschließlich dichter und Mixture of Experts (MoE)-Modelle
Inferenzleistung und Sammlungsplanung
Einbettungsintensive Modelle
Bereitstellung von Preis-Leistungs-Verhältnis für Training und Inferenz

Google hebt die nahezu lineare Skalierbarkeit von Trillium hervor, die es ermöglicht, große Modelle wie Gemini 2.0 deutlich schneller zu trainieren. Durch die Verteilung der Arbeitslast auf mehrere Trillium-Hosts, die über eine Hochgeschwindigkeitsverbindung innerhalb eines 256-Chip-Pods und das Jupiter-Rechenzentrumsnetzwerk verbunden sind, wird eine hohe Effizienz erreicht. Auch bei der Optimierung bestehender KI-Modelle durch Feinabstimmung mit eigenen Trainingsdaten soll Trillium punkten. Für Inferenzaufgaben bietet Trillium eine verbesserte Leistung und neue Funktionen wie die Sammlungsplanung, die eine intelligente Verwaltung mehrerer TPU-Slices ermöglicht.

Verfügbarkeit und Preisgestaltung

Trillium-TPU-Instanzen sind in Europa im Rechenzentrum Amsterdam verfügbar. Die Preise richten sich nach der Nutzungsdauer und beginnen bei 2,97 US-Dollar pro Chipstunde bei On-Demand-Nutzung. Bei einer zugesicherten Nutzung von einem Jahr sinkt der Preis auf 2,08 US-Dollar, bei drei Jahren auf 1,34 US-Dollar. Weitere Standorte für Trillium-Instanzen sind South Carolina, Ohio und Tokio.

Fazit

Mit Trillium stellt Google eine leistungsstarke und energieeffiziente Hardware für KI-Anwendungen in der Cloud bereit. Die neuen TPUs versprechen, die Entwicklung und den Einsatz von großen, multimodalen KI-Modellen zu beschleunigen und die Innovation im Bereich der Künstlichen Intelligenz voranzutreiben. Die verbesserte Skalierbarkeit und die neuen Funktionen wie die Sammlungsplanung machen Trillium zu einer attraktiven Option für Unternehmen und Forschungseinrichtungen, die KI-Lösungen entwickeln und einsetzen.