NVIDIA fördert souveräne KI durch Einführung neuer Mikroservices

Erweiterung des japanischen Sprachangebots

Zusätzlich wird das japanische Sprachangebot durch die RakutenAI 7B Modellfamilie verstärkt. Diese Modelle, die auf dem Mistral-7B basieren und sowohl auf englischen als auch japanischen Datensätzen trainiert wurden, sind als zwei verschiedene NIM-Mikroservices für Chat- und Instruct-Funktionen verfügbar. Bemerkenswert ist, dass Rakutens Modelle beeindruckende Ergebnisse im LM Evaluation Harness-Benchmark erzielt haben und den höchsten Durchschnittswert unter den offenen japanischen großen Sprachmodellen zwischen Januar und März 2024 erreichten.

Wichtigkeit der regionalen Sprachmodelle

Das Training großer Sprachmodelle (LLMs) auf regionalen Sprachen ist entscheidend für die Verbesserung der Effizienz der Ausgaben. Durch die genaue Reflexion kultureller und sprachlicher Feinheiten ermöglichen diese Modelle eine präzisere und nuanciertere Kommunikation. Im Vergleich zu Basismodellen wie Llama 3 zeigen diese regionalen Varianten eine überlegene Leistung beim Verständnis von Japanisch und Mandarin, bei der Bearbeitung regionaler rechtlicher Aufgaben, beim Beantworten von Fragen sowie beim Übersetzen und Zusammenfassen von Texten.

Globale Investitionen in souveräne KI

Dieser globale Vorstoß für souveräne KI-Infrastrukturen zeigt sich in bedeutenden Investitionen von Ländern wie Singapur, den Vereinigten Arabischen Emiraten, Südkorea, Schweden, Frankreich, Italien und Indien.

Wichtige Stimmen zur Bedeutung souveräner KI

„LLMs sind keine mechanischen Werkzeuge, die denselben Nutzen für alle bieten. Sie sind eher intellektuelle Werkzeuge, die mit der menschlichen Kultur und Kreativität interagieren. Der Einfluss ist wechselseitig, wobei nicht nur die Modelle von den Daten, auf denen wir sie trainieren, beeinflusst werden, sondern auch unsere Kultur und die Daten, die wir generieren, von LLMs beeinflusst werden“, sagte Rio Yokota, Professor am Global Scientific Information and Computing Center des Tokyo Institute of Technology.

„Daher ist es von größter Bedeutung, souveräne KI-Modelle zu entwickeln, die unseren kulturellen Normen entsprechen. Die Verfügbarkeit von Llama-3-Swallow als NVIDIA NIM-Mikroservice ermöglicht es Entwicklern, das Modell einfach zu nutzen und für japanische Anwendungen in verschiedenen Branchen bereitzustellen.“

Möglichkeiten für Unternehmen und Universitäten

NVIDIA’s NIM-Mikroservices ermöglichen es Unternehmen, Regierungsstellen und Universitäten, native LLMs in ihren eigenen Umgebungen zu hosten. Entwickler profitieren von der Möglichkeit, anspruchsvolle Copiloten, Chatbots und KI-Assistenten zu erstellen. Verfügbar mit NVIDIA AI Enterprise, sind diese Mikroservices für die Inferenzoptimierung unter Verwendung der Open-Source-Bibliothek NVIDIA TensorRT-LLM optimiert, was eine verbesserte Leistung und Bereitstellungsgeschwindigkeit verspricht.

Leistungsgewinne und Kostensenkungen

Leistungsverbesserungen sind mit den Llama 3 70B Mikroservices offensichtlich, die als Basis für die neuen Llama–3-Swallow-70B und Llama-3-Taiwan-70B Angebote dienen. Diese bieten bis zu 5-mal höhere Durchsatzraten, was zu reduzierten Betriebskosten und verbesserten Benutzererfahrungen durch minimierte Latenzzeiten führt.

Fazit

Die Einführung der neuen NVIDIA NIM-Mikroservices markiert einen bedeutenden Schritt in Richtung einer zunehmend souveränen und lokal angepassten KI. Durch die Unterstützung regionaler Sprachmodelle und die Optimierung der Inferenzleistung bietet NVIDIA eine robuste Plattform, die es Nationen und Unternehmen ermöglicht, ihre KI-Strategien effektiver und kulturell relevanter zu gestalten.

Bibliographie

1. https://www.artificialintelligence-news.com/news/sovereign-ai-gets-boost-new-nvidia-microservices/
2. https://blogs.nvidia.com/blog/nim-microservices-generative-ai/
3. https://blockchain.news/news/nvidia-introduces-nim-microservices-generative-ai-japan-taiwan
4. https://futurumgroup.com/insights/oracle-and-nvidia-boost-sovereign-ai-globally/
5. https://blogs.nvidia.com/blog/nemo-retriever-microservices/
6. https://www.datanami.com/this-just-in/nvidia-ai-foundry-builds-custom-llama-3-1-generative-ai-models-for-the-worlds-enterprises/
7. https://www.linkedin.com/posts/goziker_oracle-and-nvidia-boost-sovereign-ai-globally-activity-7180595084231389184-dZl2
8. https://finance.yahoo.com/news/nvidia-ai-foundry-builds-custom-151500592.html
9. https://nebul.com/nvidia-nim-offers-optimized-inference-microservices-for-deploying-ai-models-at-scale/
10. https://www.artificialintelligence-news.com/