Neuer Fokus auf private KI-Datenlösungen bei Hugging Face

Die Evolution der KI-Infrastruktur: Hugging Face und der Aufstieg privater Datenbestände

Die Landschaft der Künstlichen Intelligenz (KI) unterliegt einem stetigen Wandel, der nicht nur die Entwicklung von Modellen, sondern auch deren Speicherung und Verwaltung betrifft. Eine bemerkenswerte Entwicklung, die in jüngster Zeit beobachtet werden konnte, ist der signifikante Anstieg privater Modelle und Datensätze auf Plattformen wie Hugging Face. Während die Öffentlichkeit Hugging Face hauptsächlich für seine riesige Sammlung öffentlicher Modelle und Datensätze kennt, offenbart eine tiefergehende Analyse, dass bereits 50 % der dort gehosteten Inhalte privat sind. Diese Entwicklung wird maßgeblich durch die Einführung neuer Speicherlösungen wie den "Storage Buckets" vorangetrieben.

Der Wandel hin zu privaten Speicherlösungen

Traditionell diente Hugging Face als zentrale Anlaufstelle für den Austausch und die Veröffentlichung von KI-Modellen und Datensätzen, oft in einer öffentlichen oder zumindest geteilten Umgebung. Die jüngsten Zahlen deuten jedoch auf eine Verschiebung hin: Unternehmen nutzen die Plattform zunehmend für interne, nicht-öffentliche KI-Entwicklungsprozesse. Dies wird durch die Einführung der "Storage Buckets" von Hugging Face ermöglicht, die eine Alternative zu etablierten Cloud-Speicherlösungen wie Amazon S3 darstellen, speziell zugeschnitten auf die Anforderungen der KI-Entwicklung.

Storage Buckets: Eine S3-Alternative für KI

Die von Hugging Face eingeführten Storage Buckets sind als eine Art Objektspeicher konzipiert, der sich von den traditionellen Git-basierten Repositories unterscheidet. Während Git-Repositories bestens für die Versionierung von Quellcode und finalen Modellartefakten geeignet sind, stoßen sie bei der Verwaltung großer Mengen mutabler, nicht-versionierter Daten, die im Laufe von ML-Workflows anfallen, an ihre Grenzen. Hierzu gehören beispielsweise:

• Trainings-Checkpoints
• Zustände des Optimierers
• Verarbeitete Datensatz-Shards
• Logs und Traces
• Intermediäre Pipeline-Outputs

Diese Art von Daten ändert sich häufig, wird von vielen Jobs gleichzeitig erzeugt und benötigt selten eine detaillierte Versionskontrolle im Sinne von Git. Die Storage Buckets bieten hier eine optimierte Lösung, die auf dem Xet-Speicher-Backend basiert und Deduplizierung sowie eine effiziente Verwaltung dieser Artefakte ermöglicht. Sie sind über die Hub-Weboberfläche, die Python API oder die hf CLI zugänglich.

Vorteile für die Unternehmens-KI-Entwicklung

Die Einführung der Storage Buckets bringt mehrere Vorteile für Unternehmen mit sich, die ihre KI-Entwicklungsprozesse optimieren möchten:

• Effizienzsteigerung: Unternehmen können KI-Modelle und Datensätze effizienter innerhalb ihrer Organisationen aufbauen und verwalten, da der Speicher speziell für die Anforderungen von ML-Workflows optimiert ist.
• Kollaboration: Auch bei privaten Projekten wird die Zusammenarbeit innerhalb von Teams erleichtert, da eine zentrale, dedizierte Speicherlösung zur Verfügung steht.
• Kostenoptimierung: Durch Funktionen wie die Xet-Deduplizierung, die bei sich wiederholenden Daten große Speichereinsparungen ermöglicht, können die Kosten für die Speicherung von ML-Artefakten reduziert werden.
• Abkehr von externen APIs: Die Möglichkeit, KI-Infrastruktur intern aufzubauen und zu verwalten, kann Unternehmen unabhängiger von externen API-Diensten machen und ihnen mehr Kontrolle über ihre Daten und Modelle geben.

Ausblick und Implikationen für die Branche

Die Beobachtung, dass 50 % der Hugging Face-Inhalte privat sind und dieser Anteil durch die neuen Speicherlösungen weiter wächst, ist ein Indikator für eine breitere Entwicklung in der KI-Branche. Es zeigt sich ein Trend, bei dem Unternehmen verstärkt eigene, interne KI-Fähigkeiten aufbauen und dabei auf spezialisierte Infrastrukturlösungen setzen, die den spezifischen Anforderungen von maschinellem Lernen gerecht werden. Dies könnte langfristig zu einer stärkeren Diversifizierung der KI-Landschaft führen, in der neben großen öffentlichen Repositories auch eine Vielzahl privater, unternehmensinterner KI-Ökosysteme existieren. Die Rolle von Plattformen wie Hugging Face verschiebt sich dabei von einem reinen Hub für öffentliche Modelle hin zu einem umfassenden Partner für die gesamte KI-Entwicklungspipeline, sowohl öffentlich als auch privat.

Die kontinuierliche Weiterentwicklung von Speicher- und Verwaltungslösungen für KI-Artefakte wird entscheidend sein, um den steigenden Anforderungen an Skalierbarkeit, Effizienz und Sicherheit in der Unternehmens-KI gerecht zu werden. Die Storage Buckets von Hugging Face stellen hierbei einen wichtigen Schritt dar, um diese Entwicklung zu unterstützen und Unternehmen dabei zu helfen, das volle Potenzial der Künstlichen Intelligenz auszuschöpfen, ohne Kompromisse bei Datenschutz und Kontrolle eingehen zu müssen.

Bibliographie

1. Introducing Storage Buckets on the Hugging Face Hub. (2026, 10. März). Hugging Face Blog. Verfügbar unter: https://huggingface.co/blog/storage-buckets
2. Delangue, C. (2026, 29. Mai). Clem Delangue's Post. LinkedIn. Verfügbar unter: https://www.linkedin.com/posts/clementdelangue_most-people-know-hugging-face-from-its-public-activity-7466144165760868352-5j2U
3. Storage Buckets. (n.d.). Hugging Face Docs. Verfügbar unter: https://huggingface.co/docs/hub/storage-buckets
4. Buckets. (n.d.). Hugging Face Hub Guides. Verfügbar unter: https://huggingface.co/docs/huggingface_hub/main/en/guides/buckets
5. van Strien, D. (2026, 26. März). Using Storage Buckets as a Working Layer for Data Pipelines. Hugging Face Blog. Verfügbar unter: https://huggingface.co/blog/davanstrien/buckets-as-working-layer
6. Storage - Hugging Face. (n.d.). Hugging Face. Verfügbar unter: https://huggingface.co/storage
7. Zhang, S. (2026, 10. März). Hugging Face Launches Storage Buckets for ML Artifacts. Awesome Agents. Verfügbar unter: https://awesomeagents.ai/news/huggingface-storage-buckets-mutable-object-storage/
8. storage-buckets.md at main · huggingface/blog. (n.d.). GitHub. Verfügbar unter: https://github.com/huggingface/blog/blob/main/storage-buckets.md
9. Buckets. (n.d.). Hugging Face Hub Guides (v1.10.1). Verfügbar unter: https://huggingface.co/docs/huggingface_hub/v1.10.1/guides/buckets
10. Giridharan, A. (2026, 13. März). Hugging Face Just Built the S3 That Git Always Pretended to Be. Medium. Verfügbar unter: https://medium.com/@AdithyaGiridharan/hugging-face-just-built-the-s3-that-git-always-pretended-to-be-f4e64ad0570d
11. ClementDelangue. (2026, 29. Mai). Post by @ClementDelangue. X. Verfügbar unter: https://x.com/ClementDelangue/status/2060378354931388837