NVIDIA präsentiert Nemotron Nano V2 VL: Ein neuer Ansatz für multimodales KI-Verstehen
Mindverse News
KI-gestützt erstellt 8 Quellen Arbeitsweise
Das Wichtigste in Kürze
- NVIDIA hat Nemotron Nano V2 VL vorgestellt, ein 12 Milliarden Parameter umfassendes multimodales Modell, das für die Verarbeitung und das Verständnis von Dokumenten und Videos optimiert ist.
- Das Modell integriert eine hybride Mamba-Transformer-Architektur, die hohe Genauigkeit mit effizienter Sequenzmodellierung für verbesserte Durchsatzraten und geringere Latenz kombiniert.
- Nemotron Nano V2 VL zeichnet sich durch seine Fähigkeit aus, sowohl Text- als auch Bildinformationen zu verarbeiten, und zeigt eine starke Leistung bei Aufgaben wie OCR, Diagrammanalyse und visueller Fragebeantwortung.
- Ein wesentlicher Fortschritt ist die Einführung von Efficient Video Sampling (EVS), das die Verarbeitung langer Videos durch Reduzierung temporaler Redundanz effizienter gestaltet, ohne die Genauigkeit zu beeinträchtigen.
- Das Modell wird mit offenen Gewichten und Trainingsdaten veröffentlicht, was Entwicklern Transparenz und Flexibilität bei der Anpassung an spezifische Anwendungsfälle ermöglicht.
- Es ist in verschiedenen Präzisionsformaten (BF16, FP8, FP4) verfügbar und für die Bereitstellung auf NVIDIA GPUs sowie über Inferenz-Engines wie vLLM und TRT-LLM optimiert.
// Inhalt · 6 Abschnitte
Einführung in NVIDIAs Nemotron Nano V2 VL: Ein Fortschritt im multimodalen Verständnis
NVIDIA hat mit der Einführung des Nemotron Nano V2 VL ein neues multimodales Modell vorgestellt, das darauf abzielt, die Fähigkeiten von KI-Systemen im Bereich des Verständnisses komplexer visueller und textueller Informationen zu erweitern. Dieses Modell, das auf einer 12 Milliarden Parameter umfassenden Architektur basiert, ist speziell für Aufgaben wie die Analyse von Dokumenten, das Verständnis von Videos und die Beantwortung visueller Fragen konzipiert. Es repräsentiert eine Weiterentwicklung der Nemotron-Serie und verspricht signifikante Verbesserungen in Bezug auf Genauigkeit und Effizienz.
Architektur und technische Innovationen
Hybride Mamba-Transformer-Architektur
Im Kern des Nemotron Nano V2 VL steht eine hybride Mamba-Transformer-Architektur. Diese Kombination nutzt die Stärken beider Ansätze: die hohe Genauigkeit, die typischerweise mit Transformer-Modellen assoziiert wird, und die Speichereffizienz der Mamba-Architektur bei der Sequenzmodellierung. Das Ergebnis ist ein Modell, das nicht nur präzise Ergebnisse liefert, sondern auch einen höheren Inferenz-Durchsatz und geringere Latenzzeiten ermöglicht – insbesondere bei der Verarbeitung langer Dokumente und Videosequenzen.
Effizientes Video Sampling (EVS)
Eine bemerkenswerte Neuerung ist das integrierte Efficient Video Sampling (EVS). Diese Methode ermöglicht es dem Modell, die Anzahl der visuellen Token zu reduzieren, indem temporär statische Bereiche in aufeinanderfolgenden Videobildern identifiziert und beschnitten werden. Dadurch kann das Modell deutlich längere Videos mit geringerer Latenz und reduziertem Speicherverbrauch verarbeiten, ohne architektonische Änderungen oder erneutes Training zu erfordern. Dies führt zu einer bis zu 2,5-fachen Steigerung des Durchsatzes bei minimalem Einfluss auf die Genauigkeit.
Verarbeitung von Bild- und Textdaten
Nemotron Nano V2 VL verarbeitet nicht nur Text, sondern auch mehrere Bilder und Videos. Es kann bis zu vier Bilder mit einer Auflösung von jeweils 1k x 2k zusammen mit einem langen Textprompt verarbeiten. Dies ist besonders vorteilhaft für Anwendungsfälle, die eine detaillierte Analyse von Dokumenten, wie Rechnungen oder Handbücher, erfordern. Die Bildverarbeitung erfolgt durch eine Kachelstrategie, bei der Bilder in nicht überlappende Kacheln von 512x512 Pixeln unterteilt werden, ergänzt durch ein Thumbnail zur Erfassung des globalen Bildkontexts.
Trainingsstrategie und Datensätze
Mehrstufiges Training
Das Modell wurde mittels einer mehrstufigen Trainingsstrategie entwickelt. Diese Methode zielt darauf ab, sowohl das visuelle Verständnis zu verbessern als auch die Textverständnisfähigkeiten des zugrunde liegenden Sprachmodells zu erhalten. Das Training umfasst mehrere SFT-Phasen (Supervised Finetuning), beginnend mit der Ausrichtung von Sprach- und Bilddomänen, gefolgt von der Erweiterung der Kontextlänge und der Wiederherstellung der Text-Reasoning-Fähigkeiten.
Umfangreiche Datensätze
Nemotron Nano V2 VL wurde auf dem Nemotron VLM Dataset V2 trainiert, das über 8 Millionen Trainingsbeispiele umfasst. Diese Datensammlung beinhaltet eine breite Palette an Aufgaben und Quellen, darunter Bild- und Video-Captioning, visuelle Fragebeantwortung, OCR sowie Dokumenten- und Tabellenextraktion. Es wurden sowohl öffentlich zugängliche als auch intern entwickelte Datensätze verwendet, teilweise angereichert durch synthetisch generierte Daten und Annotierungen von anderen hochleistungsfähigen LLMs.
Leistungsfähigkeit und Anwendungsbereiche
Verbesserte Genauigkeit und Effizienz
Das Modell zeigt im Vergleich zu seinem Vorgänger, Llama-3.1-Nemotron-Nano-VL-8B, konsistente Verbesserungen über eine Vielzahl von Benchmarks hinweg. Diese Steigerungen werden auf die verbesserte LLM-Basis, erweiterte und qualitativ hochwertigere Trainingsdatensätze sowie eine optimierte Trainingsmethode zurückgeführt.
Vielfältige Anwendungsfelder
Nemotron Nano V2 VL ist besonders prädestiniert für Anwendungen, die ein tiefes Verständnis von Dokumenten und Videos erfordern. Dazu gehören:
- Dokumentenintelligenz: Extrahieren und Interpretieren von Informationen aus Rechnungen, Quittungen und Handbüchern, auch über mehrere Seiten hinweg.
- Videoanalyse: Verständnis und Zusammenfassung von Videoinhalten, einschließlich der Extraktion von Szenen und der Erstellung dichter Bildunterschriften.
- Visuelle Fragebeantwortung (VQA): Beantwortung von Fragen basierend auf visuellen Eingaben.
- Automatisierung von Workflows: Unterstützung bei der Datenanalyse, Medienverwaltung und der Erstellung von Berichten.
Reasoning Budget Control
Das Modell unterstützt auch die Steuerung des "Reasoning Budgets" während der Inferenz. Dies ermöglicht es, die Genauigkeit in verschiedenen Aufgaben zu optimieren, indem die maximale Anzahl der generierten Tokens angepasst wird. Dies kann besonders nützlich sein, um die Balance zwischen Recheneffizienz und Aufgabenleistung zu finden.
Verfügbarkeit und Integration
NVIDIA stellt die Modellgewichte des Nemotron Nano V2 VL in verschiedenen Formaten (BF16, FP8, FP4) auf Plattformen wie Hugging Face zur Verfügung. Dies unterstreicht NVIDIAs Engagement für Open-Source-Initiativen und fördert die Forschung und Entwicklung in der KI-Gemeinschaft. Das Modell ist für die Ausführung auf NVIDIA GPU-beschleunigten Systemen optimiert und kann über Inferenz-Engines wie vLLM und TRT-LLM integriert werden. Es ist auch als NVIDIA NIM verfügbar, was eine einfache Bereitstellung auf jeder GPU-beschleunigten Infrastruktur ermöglicht.
Schlussfolgerung
NVIDIAs Nemotron Nano V2 VL stellt einen bedeutenden Fortschritt im Bereich der multimodalen KI dar. Durch die Kombination einer innovativen Architektur, effizienter Verarbeitungstechniken und einer umfassenden Trainingsstrategie bietet das Modell eine leistungsstarke Lösung für komplexe Aufgaben im Dokumenten- und Videoverständnis. Die Offenheit des Modells und der zugehörigen Ressourcen fördert zudem die weitere Entwicklung und Anpassung an spezifische Geschäftsanforderungen, was es zu einem wertvollen Werkzeug für Unternehmen macht, die ihre KI-Fähigkeiten erweitern möchten.
Bibliography
- Alexiuk, C. (2025, October 28). Develop Specialized AI Agents with New NVIDIA Nemotron Vision, RAG, and Guardrail Models. NVIDIA Technical Blog.
- Bristot, D. (2025, October 28). NVIDIA Nemotron Nano 2 VL in Nebius AI Studio: powering agentic AI. Nebius AI.
- Fireworks AI. (2025, October 27). Accelerate your Vision Pipelines with the new NVIDIA Nemotron Nano 2 VL Model on Fireworks AI.
- Hugging Face. (n.d.). nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16.
- NVIDIA. (2025, January 1). Nemotron Nano V2 VL — Megatron Bridge - NVIDIA Docs Hub.
- NVIDIA. (2025, August 22). NVIDIA Nemotron AI Models.
- NVIDIA et al. (2025). NVIDIA Nemotron Nano V2 VL. arXiv preprint arXiv:2511.03929.
- OpenRouter. (2025, October 28). Nemotron Nano 12B 2 VL (free) - API, Providers, Stats.
//Nächster Artikel
Google DeepMind widerlegt Thesen einer nahen KI-Selbstverbesserung: Neue Daten zu Gemini 4 Argon zeigen lineares Wachstum und klare Grenzen.
// Artikel teilen
Mehr zu NVIDIA
Alle NVIDIA-News- Rechenleistung statt Direktkapital: Wie Nvidia mit 250 Millionen US-Dollar die britische Sicherheitsforschung für KI-Agenten prägt
Nvidia sagt Großbritannien 250 Mio. US-Dollar an Rechenleistung für die Sicherheitsforschung zu KI-Agenten zu. Analyse der Technik und Strategie.
- Debatte um KI-Regulierung: Nvidia-CEO Jensen Huang lehnt Kartellrechts-Ausnahmen für Entwicklungsbremsen ab
Nvidia-Chef Jensen Huang weist den Vorstoß von Anthropic für Kartellrechts-Ausnahmen zur Verlangsamung der KI-Entwicklung als unnötig zurück.
- NVIDIA veröffentlicht Nemotron 3 Diarization für die Analyse mehrerer Sprecher in Echtzeit
NVIDIA veröffentlicht mit Nemotron 3 Diarization ein Open-Weight-Modell zur Sprecherdiarisierung. Es erkennt für bis zu 8 Sprecher in Echtzeit oder offline, wer wann spricht – auch bei überlappender Sprache. Ideal für präzise Audio-Transkriptionen in Meetings, Kundenservice und Sprach-KI.
- NVIDIA veröffentlicht FoundationPose für die 6D-Posenschätzung unbekannter Objekte
NVIDIA veröffentlicht FoundationPose auf Hugging Face: Ein einheitliches KI-Modell für die 6D-Posenschätzung und Verfolgung unbekannter Objekte ohne Fine-Tuning. Ideal für Robotik, Montage und industrielle Bildverarbeitung mittels CAD-Modell oder Referenzbildern.
// Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Passend dazu in Mindverse Studio
- KI-Chat mit allen führenden ModellenGPT, Claude und Gemini in einer Oberfläche — mit Websuche und Quellenangaben.
- Dokumente und Daten analysierenAuswerten, vergleichen und Abweichungen automatisch erkennen.
- Eigene Modelle und Assistenten trainierenBilden Sie einen digitalen Marken-Experten auf Ihrem Wissen aus.
Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.
7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.
//Chronik
Aus dem Archiv · rund um den 9. November 2025
← Davor erschienen