IBMs Granite 3.1: Fortschritte in Open-Source-Sprachmodellen für Unternehmen

IBMs Open-Source-Sprachmodelle Granite 3.1: Ein Schritt nach vorn für Unternehmen

IBM hat die Version 3.1 seiner Open-Source-Sprachmodelle Granite veröffentlicht und damit einige wichtige Verbesserungen eingeführt. Die neuen Modelle wurden mit einem Datensatz trainiert, der 12 Sprachen und 116 Programmiersprachen umfasst und insgesamt 12 Billionen Token verarbeitet. Die neueste Version verfügt über eine überarbeitete Architektur, die bis zu 128.000 Token gleichzeitig verarbeiten kann. Laut IBM zeichnen sich diese unter der Apache 2.0-Lizenz veröffentlichten Modelle durch Aufgaben wie das Beantworten von Fragen mithilfe externer Daten (Retrieval Augmented Generation, RAG), das Extrahieren von Informationen aus unstrukturiertem Text und das Erstellen von Dokumentenzusammenfassungen aus. Entwickler können über Plattformen wie Hugging Face auf diese Modelle zugreifen.

Leistungssteigerung und erweiterter Kontext

Die Weiterentwicklung der Granite-Modelle konzentriert sich weiterhin auf Exzellenz und Effizienz in Unternehmensanwendungen, einschliesslich agentenbasierter KI. IBM Granite 3.1 8B Instruct übertrifft nun die meisten offenen Modelle seiner Gewichtsklasse im Durchschnitt der akademischen Benchmarks im Hugging Face OpenLLM Leaderboard. Besonders deutlich wird der Fortschritt bei den IFEval- und MuSR-Benchmarks, die die Fähigkeit eines Modells testen, detaillierten Anweisungen zu folgen, bzw. das Schlussfolgern und Verstehen von langen Texten messen.

Die Erweiterung des Kontextfensters aller Modelle auf 128.000 Token unterstützt diesen Leistungssprung. Dies entspricht in etwa einem 300-seitigen Buch und ermöglicht die Verarbeitung grösserer Eingaben, längere kontinuierliche Dialoge und die Einbeziehung von mehr Informationen in jede Ausgabe. Damit eröffnen sich neue Möglichkeiten für Unternehmensanwendungen, von der Verarbeitung vollständiger Codebasen und umfangreicher Rechtsdokumente bis hin zur gleichzeitigen Überprüfung Tausender von Finanztransaktionen.

Granite Guardian 3.1: Halluzinationen erkennen

Granite Guardian 3.1 8B und 2B können nun Halluzinationen erkennen, die in einem agentenbasierten Workflow auftreten könnten. Dies erhöht die Verantwortlichkeit und das Vertrauen in Funktionsaufrufe, analog zu den bereits bestehenden Funktionen für RAG. Granite Guardian 3.1 überwacht jeden Funktionsaufruf auf syntaktische und semantische Halluzinationen, um die Kontrolle und Transparenz zu gewährleisten. Wenn ein KI-Agent beispielsweise angeblich eine externe Informationsquelle abfragt, überwacht Granite Guardian 3.1 auf erfundene Informationsflüsse. Die neuen Granite Guardian 3.1 Modelle sind auf Hugging Face verfügbar und werden später auch über Ollama und IBM watsonx.ai zugänglich sein.

Granite Embedding-Modelle

Die neuen Granite Embedding-Modelle sind eine Weiterentwicklung der Slate-Familie von Encoder-only, RoBERTA-basierten Sprachmodellen. Sie werden in vier Modellgrössen angeboten, von denen zwei mehrsprachige Einbettungen in 12 Sprachen unterstützen. IBM hat die kommerzielle Nutzbarkeit aller Datenquellen, die zum Trainieren von Granite Embedding verwendet wurden, überprüft und bietet die gleiche unbegrenzte Haftungsfreistellung für Ansprüche Dritter im Zusammenhang mit geistigem Eigentum wie für andere von IBM entwickelte Modelle. Interne Leistungstests mit dem BEIR-Evaluierungsframework zeigen, dass die englischen Granite Embedding-Modelle mit ähnlich grossen Open-Source-Embedding-Modellen mithalten können. Zudem übertreffen zwei der neuen Embedding-Modelle, Granite-Embedding-30M-English und Granite-Embedding-107M-Multilingual, die Konkurrenz in Bezug auf die Inferenzgeschwindigkeit deutlich.

Dokumentenverarbeitung und agentenbasierte KI

Neben der Weiterentwicklung der Granite-Serie hat IBM die Open-Source-Tools Docling und Bee entwickelt. Docling ist ein Tool zum Parsen von Dokumenten verschiedener Formate und deren Konvertierung in KI-freundliche Formate. Bee ist ein modellunabhängiges Framework für die Entwicklung von KI-Agenten. Die Verwendung dieser Tools in Kombination mit den Granite 3.1-Modellen bietet Entwicklern erweiterte Möglichkeiten für RAG, KI-Agenten und andere LLM-basierte Workflows.

Verfügbarkeit und Integration

Die Granite 3.1-Modelle sind ab sofort auf IBM watsonx.ai sowie über Plattformpartner wie Docker, Hugging Face, LM Studio, Ollama und Replicate verfügbar. IBM hat ausserdem angekündigt, dass einige Unternehmenspartner, darunter Samsung und Lockheed Martin, Granite-Modelle in ihre eigenen KI-Tools und -Plattformen integrieren.

Bibliographie:

1. https://www.ibm.com/new/announcements/ibm-granite-3-1-powerful-performance-long-context-and-more
2. https://www.ibm.com/granite/docs/models/granite
3. https://github.com/ibm-granite/granite-3.1-language-models
4. https://the-decoder.com/ibm-releases-updated-granite-3-1-open-source-language-models/
5. https://venturebeat.com/ai/ibm-wants-to-be-the-enterprise-llm-king-with-its-new-open-source-granite-3-1-models/
6. https://technologymagazine.com/articles/the-key-to-how-ibms-granite-3-1-is-advancing-enterprise-ai
7. https://www.zdnet.com/article/ibms-new-enterprise-ai-models-are-more-powerful-than-anything-from-openai-or-google/
8. https://sp-edge.com/updates/37460
9. https://starthub.asia/ibm-wants-to-be-the-enterprise-llm-king-with-its-new-open-source-granite-3-1-models/
10. https://huggingface.co/ibm-granite/granite-3.1-8b-base