Salesforce stellt xGen-MM vor: Ein neuer Durchbruch in multimodalen KI-Modellen

Technische Details und Verbesserungen

xGen-MM umfasst mehrere Modelle, die auf umfangreichen Datensätzen für Bildbeschreibungen und interleaved Bild-Text-Daten trainiert wurden. Zu den herausragenden Merkmalen gehören: - Das vortrainierte Basis-Modell xgen-mm-phi3-mini-base-r-v1 erreicht eine führende Leistung mit weniger als 5 Milliarden Parametern und zeigt starke In-Context-Lernfähigkeiten. - Das feinabgestimmte Modell xgen-mm-phi3-mini-instruct-r-v1 erreicht ebenfalls eine führende Leistung unter offenen und geschlossenen VLMs mit weniger als 5 Milliarden Parametern. - xgen-mm-phi3-mini-instruct-r-v1 unterstützt flexible Hochauflösungs-Bildcodierung mit effizientem visuellen Token-Sampling.

Leistungsbewertung

Die Modelle wurden auf verschiedenen Datensätzen bewertet, darunter COCO, NoCaps, TextCaps, OKVQA, TextVQA und VizWiz. Die Ergebnisse zeigen, dass die Modelle von Salesforce in mehreren Benchmarks führend sind. Hier einige der Benchmark-Ergebnisse: - xgen-mm-phi3-mini-base-r-v1 erzielte im COCO-Datensatz (Val) 110.5 Punkte bei 4-Schuss und 112.1 Punkte bei 8-Schuss. - xgen-mm-phi3-mini-instruct-r-v1 erzielte im SEED-IMG-Datensatz 72.1 Punkte und im MMBench (Dev) 74.1 Punkte.

Anwendungsbeispiele und Nutzung

Die Modelle können in verschiedenen Anwendungen eingesetzt werden, von der Bildbeschreibung über die visuelle Fragebeantwortung bis hin zu komplexen multimodalen Aufgaben. Ein Beispiel für die Nutzung des Modells zur Bildbeschreibung ist die Frage "Wie viele Hunde sind auf dem Bild?" Das Modell kann das Bild analysieren und eine präzise Antwort generieren.

Ethik und Sicherheit

Wie bei allen KI-Modellen gibt es auch hier ethische und sicherheitsrelevante Überlegungen. Die Datenquellen stammen hauptsächlich aus dem Internet und beinhalten Webseiten, Bilddatenbanken und kuratierte Datensätze aus der Forschungsgemeinschaft. Bestimmte Daten, wie zum Beispiel von LAION, wurden aufgrund bekannter Probleme mit CSAM ausgeschlossen. Die Modelle können jedoch weiterhin Verzerrungen aus den ursprünglichen Datenquellen sowie aus großen Sprachmodellen und kommerziellen APIs aufweisen. Benutzer werden dringend empfohlen, Sicherheits- und Fairnessbewertungen durchzuführen, bevor die Modelle in Anwendungen eingesetzt werden.

Lizenz und Verfügbarkeit

Der Code und die Modelle werden unter der Creative Commons Attribution Non Commercial 4.0 Lizenz veröffentlicht. Für die kommerzielle Nutzung der Modellgewichte muss ein entsprechendes Formular ausgefüllt werden.

Abschließende Gedanken

Die Einführung von xGen-MM (BLIP-3) stellt einen bedeutenden Fortschritt in der Entwicklung multimodaler Modelle dar. Mit ihrer Fähigkeit, verschiedene Datensätze effizient zu verarbeiten und führende Leistungen in mehreren Benchmarks zu erzielen, bieten diese Modelle vielversprechende Möglichkeiten für eine Vielzahl von Anwendungen in der Künstlichen Intelligenz.

Bibliographie

1. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1
2. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-base-r-v1
3. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions
4. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/tree/main
5. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions/2
6. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/commit/2873e87b3bb7fd3827dc4eef7871cba4042b1f73
7. https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions/5