Lokale KI-Modelle auf Apple Hardware: Exo Labs präsentiert Nemotron 70B Cluster

KI-Power im Mini-Format: Nemotron 70B auf Mac mini M4 Pro Cluster

Das Startup Exo Labs demonstriert die Leistungsfähigkeit lokaler KI-Modelle auf Basis von Apple Hardware. Mit einem Cluster aus vier Mac mini M4 Pro Rechnern, verbunden über Thunderbolt 5, erreicht das Unternehmen eine beachtliche Performance beim Betrieb des Large Language Models (LLM) Nemotron 70B.

Die Thunderbolt 5-Verbindung ermöglicht eine hohe Datenübertragungsrate von bis zu 80 Gbps zwischen den einzelnen Mac mini Einheiten. Laut Alex Cheema, Gründer von Exo Labs, erreicht das Setup eine Verarbeitungsgeschwindigkeit von acht Token pro Sekunde mit Nemotron 70B. Zukünftig soll das Cluster auch größere Modelle wie Llama 405B unterstützen. Detaillierte Benchmark-Ergebnisse werden in Kürze erwartet.

Lokale KI-Lösungen: Datenschutz und Flexibilität

Lokale KI-Modelle bieten gegenüber Cloud-basierten Lösungen entscheidende Vorteile, insbesondere im Hinblick auf Datenschutz und Anpassbarkeit. Durch die Verarbeitung der Daten auf eigener Hardware entfällt die Notwendigkeit, sensible Informationen an externe Dienstleister zu übertragen. Zudem erlaubt der lokale Betrieb eine flexible Konfiguration und Anpassung des Sprachmodells an spezifische Bedürfnisse. Unternehmen können so ihre KI-Lösungen optimal auf ihre individuellen Anforderungen zuschneiden.

Mac mini M4 Pro: Kompakt und Leistungsstark

Der Mac mini M4 Pro erweist sich als ideale Plattform für lokale KI-Anwendungen. Seine kompakte Bauweise ermöglicht platzsparende Installationen, während die leistungsstarken M4 Pro Chips für eine hohe Rechenleistung sorgen. Die Kombination aus CPU- und GPU-Kernen, unterstützt durch eine schnelle SSD und großzügigen Arbeitsspeicher, bietet die notwendige Hardwarebasis für anspruchsvolle KI-Workloads. Die Preise für den Mac mini M4 Pro beginnen bei 1649 Euro für das Modell mit 24 GB RAM und 512 GB SSD.

Energieeffizienz und zukünftige Entwicklungen

Trotz der hohen Leistung der M4 Pro Chips spielt auch der Energieverbrauch eine Rolle. Alex Cheema räumt ein, dass ein zukünftiges Mac Studio M4 Setup mit M4 Ultra Chip und erweitertem RAM das aktuelle Mac mini Cluster in Sachen Performance und Energieeffizienz übertreffen könnte. Dennoch verdeutlicht das Experiment von Exo Labs das Potenzial lokaler KI-Lösungen auf Basis von Apple Hardware und unterstreicht die wachsende Bedeutung von Datenschutz und Flexibilität im Bereich der Künstlichen Intelligenz. Die Software von Exo Labs ist quelloffen und auf GitHub verfügbar, was die Weiterentwicklung und Anpassung durch die Community fördert.

Bibliografie:

1. https://www.heise.de/news/Lokale-KI-Nemotron-70B-auf-vier-Mac-minis-M4-Pro-mit-Thunderbolt-5-Interconnect-10014248.html
2. https://www.heise.de/thema/Apple
3. https://www.finanzen.at/nachrichten/aktien/hebestreit-scholz-wird-am-mittwoch-nicht-die-vertrauensfrage-stellen-1033991229
4. https://www.finanzen.at/nachrichten/aktien/kreise-finanzinvestor-triton-erwagt-uebernahme-von-evotec-aktie-mit-kurssprung-1033991217
5. https://www.apple.com/de/newsroom/2024/10/apples-new-mac-mini-is-more-mighty-more-mini-and-built-for-apple-intelligence/
6. https://www.youtube.com/watch?v=e-b3CtgoDg8
7. https://www.amazona.de/report-apple-mac-mini-m4-mac-mini-m4-pro-oktober-2024/
8. https://www.pcmasters.de/news/133713797-apple-mac-mini-geschrumpfter-mini-pc-mit-m4-und-m4-pro-chips-verbesserter-leistung-und-thunderbolt-5-unterstuetzung.html
9. https://www.youtube.com/watch?v=G6tFp-V6tnA