Hugging Face präsentiert innovative Storage Buckets für effiziente ML-Datenverwaltung

Revolution im ML-Datenspeicher: Hugging Face stellt Storage Buckets vor

Die Verwaltung von Daten in Machine Learning (ML)-Projekten stellt Unternehmen vor wachsende Herausforderungen. Insbesondere die Speicherung und der effiziente Zugriff auf große Mengen an Zwischenergebnissen, wie Trainings-Checkpoints, Logs und verarbeitete Datensätze, erfordert Lösungen, die über traditionelle Dateisysteme oder versionierte Repositories hinausgehen. In diesem Kontext hat Hugging Face, eine zentrale Plattform für die ML-Community, kürzlich "Storage Buckets" eingeführt. Diese Neuerung zielt darauf ab, die Speicherlandschaft für ML-Teams zu optimieren und eine leistungsfähigere, kostengünstigere Alternative zu bestehenden Cloud-Speicherdiensten anzubieten.

Die Herausforderung traditioneller Speicherlösungen für ML-Workflows

Bestehende Lösungen, wie beispielsweise AWS S3, sind zwar robust und weit verbreitet, behandeln jedoch alle Dateitypen, von hochauflösenden Bildern bis zu umfangreichen Modell-Checkpoints, gleich. Dies führt in ML-Workflows, die durch iterative Änderungen, häufige Überschreibungen und die Generierung großer, ähnlicher Dateien gekennzeichnet sind, zu Ineffizienzen. Git-basierte Versionierungssysteme, wie sie traditionell für Code verwendet werden, stoßen an ihre Grenzen, wenn es um die Speicherung von Gigabyte-großen Binärdateien geht. Jede noch so kleine Änderung an einer solchen Datei erfordert oft das erneute Hochladen der gesamten Datei, was Zeit und Ressourcen kostet.

Warum Git für bestimmte ML-Artefakte ungeeignet ist

Hugging Face nutzt seit Langem Git-basierte Repositories für Modelle und Datensätze. Diese eignen sich hervorragend für die Veröffentlichung finaler Artefakte, jedoch weniger für die dynamischen, sich ständig ändernden Daten während des Entwicklungsprozesses. Die Gründe hierfür sind vielfältig:

• Versionierung: Git ist auf eine detaillierte Historie ausgelegt. Für temporäre Checkpoints oder Logs ist dies oft unnötig und führt zu einer unnötigen Aufblähung des Speichers.
• Große Binärdateien: ML-Artefakte sind häufig sehr groß. Git LFS (Large File Storage) wurde zwar entwickelt, um dies zu adressieren, speichert aber bei jeder Änderung die gesamte Datei neu, selbst wenn nur ein kleiner Teil sich geändert hat.
• Konkurrierende Schreibzugriffe: Trainingscluster erzeugen gleichzeitig viele Datensätze und Checkpoints, was mit Git-basierten Systemen schwer zu handhaben ist.

Hugging Face Storage Buckets: Eine maßgeschneiderte Lösung

Die neu eingeführten Storage Buckets von Hugging Face sind als S3-ähnlicher Objektspeicher konzipiert, jedoch mit einem entscheidenden Unterschied: Sie sind speziell für ML-Artefakte optimiert. Sie bieten einen veränderbaren, nicht versionierten Speicher, der direkt im Hugging Face Hub verwaltet werden kann.

Die Rolle von Xet: Chunk-basierte Deduplizierung

Das Herzstück der Storage Buckets ist die Xet-Technologie. Xet ist ein Chunk-basiertes Speichersystem, das Dateien nicht als monolithische Blöcke behandelt, sondern in kleinere, inhaltsdefinierte "Chunks" zerlegt. Diese Chunks werden dann dedupliziert. Das bedeutet, wenn beispielsweise ein Modell-Checkpoint aktualisiert wird und sich nur 5% der Gewichte ändern, werden nur diese 5% der Daten hochgeladen und gespeichert. Die bereits vorhandenen Chunks bleiben unverändert. Dies hat mehrere Vorteile:

• Effizientere Speichernutzung: Reduziert den benötigten Speicherplatz erheblich, insbesondere bei iterativen ML-Workflows, wo viele Artefakte ähnliche Inhalte aufweisen.
• Schnellere Übertragungen: Da nur die geänderten Chunks übertragen werden müssen, verkürzen sich Upload- und Download-Zeiten drastisch.
• Kostenreduzierung: Die Abrechnung basiert auf dem deduplizierten Speicher, was die effektiven Kosten für Unternehmen senken kann.

Funktionsweise und Integration

Die Interaktion mit den Storage Buckets ist vielseitig gestaltet:

• Kommandozeilen-Interface (CLI): Mit dem hf CLI können Nutzer Buckets erstellen, Dateien synchronisieren (ähnlich wie rsync), kopieren und löschen.
• Python SDK: Das huggingface_hub Python-Paket (ab Version 1.5.0) bietet eine API zur programmatischen Verwaltung von Buckets, was die Integration in Trainings-Skripte und Datenpipelines erleichtert.
• Fsspec-Integration: Durch die Kompatibilität mit HfFileSystem können Bibliotheken wie Pandas, Polars und Dask direkt auf Bucket-Inhalte zugreifen.
• Web-Interface: Buckets können auch über das Hugging Face Hub-Webinterface durchsucht und verwaltet werden.

Preise und Kostenvergleich

Hugging Face bietet eine gestaffelte Preisstruktur für Storage Buckets an, die mit zunehmendem Speichervolumen sinkt. Im Vergleich zu AWS S3 Standard, bei dem die Kosten bei etwa 23 USD pro TB pro Monat liegen können, starten Hugging Face Buckets bei 12 USD pro TB pro Monat für öffentlichen Speicher und können bei Volumina über 500 TB auf bis zu 8 USD pro TB pro Monat sinken. Für private Repositories liegen die Preise etwas höher. Die Deduplizierungsfunktion von Xet kann die effektiven Kosten zusätzlich senken, da nur der tatsächlich gespeicherte (deduplizierte) Inhalt berechnet wird.

Praktische Anwendungen und Vorteile für Unternehmen

Die Einführung von Storage Buckets adressiert mehrere kritische Anwendungsfälle in der ML-Entwicklung:

• Trainings-Checkpoints und Logs: Speicherung von Zwischenergebnissen von Trainingsläufen, die häufig aktualisiert werden, ohne unnötige Versionierung.
• Datenverarbeitungspipelines: Nutzung als Staging-Bereich für rohe und verarbeitete Daten, bevor finale Artefakte in versionierte Repositories überführt werden.
• Agentic Storage: Bietet persistenten Speicher für KI-Agenten, um Zwischenergebnisse, Tool-Outputs und Arbeitsgedächtnis zu speichern.
• Rolling Backups: Ermöglicht effiziente inkrementelle Backups, da gelöschte Dateien tatsächlich entfernt werden und der Speicherplatz freigegeben wird.

Pre-warming und Multi-Cloud-Unterstützung

Ein weiteres wichtiges Feature ist das "Pre-warming". Es ermöglicht, häufig genutzte Daten in spezifischen Cloud-Regionen vorab zu cachen. Dies ist besonders vorteilhaft für verteilte Trainings, bei denen Rechenressourcen in verschiedenen Regionen oder bei unterschiedlichen Cloud-Anbietern genutzt werden. Durch die Bereitstellung der Daten in der Nähe der Compute-Einheiten werden Latenzen minimiert und der Datendurchsatz maximiert.

Ausblick

Hugging Face plant, die Integration zwischen Storage Buckets und versionierten Repositories weiter zu vertiefen. Dies soll direkte Übertragungen zwischen beiden Speichertypen ermöglichen, sodass beispielsweise ein finaler Checkpoint aus einem Bucket direkt in ein Modell-Repository überführt oder verarbeitete Datenshards in ein Dataset-Repository committet werden können. Ziel ist es, den gesamten ML-Workflow innerhalb des Hugging Face Hub abzubilden und eine nahtlose Erfahrung von der Datenerzeugung bis zur Veröffentlichung zu gewährleisten.

Die Storage Buckets stellen eine signifikante Weiterentwicklung in der Infrastruktur für Machine Learning dar. Durch die Kombination von S3-ähnlichem Objektspeicher mit der fortschrittlichen Deduplizierungstechnologie von Xet bietet Hugging Face eine Lösung, die nicht nur die Effizienz und Geschwindigkeit von ML-Workflows verbessert, sondern auch dazu beitragen kann, die Betriebskosten zu senken. Für Unternehmen, die intensiv mit KI-Modellen und großen Datensätzen arbeiten, könnte dies eine attraktive Alternative zu herkömmlichen Cloud-Speicherdiensten darstellen.

Bibliographie

1. Hugging Face Blog. (2026, 10. März). Introducing Storage Buckets on the Hugging Face Hub.
2. Awesome Agents. (2026, 10. März). Hugging Face Launches Storage Buckets for ML Artifacts.
3. Nionee Nexus. (2026, 31. Januar). From Files to Chunks: Improving HF Storage Efficiency.
4. XetHub Blog. (2024, 20. November). From Files to Chunks: Improving HF Storage Efficiency.
5. Hugging Face Blog. (2026, 26. Januar). Why Your AI Strategy Needs Hugging Face Storage.
6. Hugging Face Docs. Storage Buckets. Abgerufen von http://www.huggingface.co/docs/hub/storage-buckets
7. Hugging Face Docs. Xet: our Storage Backend. Abgerufen von https://huggingface.co/docs/hub/storage-backends
8. Hugging Face Changelog. (2026, 10. März). Introducing Buckets: S3-like storage on the Hub.
9. Hugging Face Blog (Chinesisch). (2024, 20. November). 从文件到块：提高 Hugging Face 存储效率.
10. Hugging Face. Storage - Hugging Face. Abgerufen von https://api-inference.hf-mirror.com/storage