Bewertung der Diversität in Text-zu-Bild-Modellen durch ein neues Evaluationsframework

Detaillierte Analyse: Die Herausforderung der Diversität in der Bildgenerierung

Die rapide Entwicklung von Text-zu-Bild-Modellen (T2I) hat zu beeindruckenden Fortschritten in der Bildgenerierungsqualität geführt. Dennoch offenbaren aktuelle Modelle oft eine Tendenz zu homogenen Ausgaben, wodurch die gewünschte Vielfalt in den generierten Inhalten eingeschränkt wird. Diese mangelnde Diversität stellt eine signifikante Herausforderung dar, sowohl aus technischer als auch aus anwendungsbezogener Perspektive. Eine umfassende Bewertung der Diversität ist daher essenziell, um die Leistungsfähigkeit und Anwendbarkeit dieser Modelle in verschiedenen Kontexten zu gewährleisten.

Ein neues Framework zur Evaluation von Bild-Diversität

Ein kürzlich vorgestelltes Forschungsframework adressiert die Notwendigkeit einer robusten Diversitätsbewertung in T2I-Modellen. Dieses Framework wurde entwickelt, um die Diversität systematisch zu erfassen, indem einzelne Konzepte und deren relevante Variationsfaktoren evaluiert werden. Es zielt darauf ab, präzise Einblicke in die Stärken und Schwächen von T2I-Modellen hinsichtlich der Generierung vielfältiger Inhalte zu liefern.

Kernkomponenten des Evaluations-Frameworks

Das Framework basiert auf drei Hauptkomponenten, die eine detaillierte und zuverlässige Bewertung ermöglichen:

• Neuartige menschliche Evaluationsvorlage: Diese Vorlage wurde speziell für eine nuancierte Diversitätsbewertung entwickelt. Sie ermöglicht es menschlichen Evaluatoren, die Vielfalt der generierten Bilder präzise zu beurteilen, indem sie sich auf spezifische Attribute und deren Variationen konzentrieren.
• Kuratiertes Prompt-Set: Ein sorgfältig zusammengestellter Satz von Prompts deckt eine breite Palette von Konzepten und ihren identifizierten Variationsfaktoren ab. Beispielsweise kann ein Prompt "Ein Bild eines Apfels" mit dem Variationsfaktor "Farbe" kombiniert werden, um die Diversität der generierten Apfelbilder hinsichtlich ihrer Farben zu bewerten.
• Methodik für den Modellvergleich: Zur statistischen Analyse der menschlichen Annotationen und zum Vergleich der Modelle wird eine Methodik basierend auf Binomialtests eingesetzt. Dies ermöglicht eine objektive Rangfolge der Modelle nach ihrer Diversitätsleistung.

Die Bedeutung attributsbedingter Diversität

Die Forschung argumentiert, dass eine aussagekräftige Diversitätsmessung eine klare Spezifikation des zu bewertenden Konzepts und des interessierenden Attributs erfordert. Ohne diese Klarheit ist die menschliche Genauigkeit bei der Diversitätsbewertung zufällig. Um dies zu belegen, wurde eine Evaluation durchgeführt, bei der menschliche Annotatoren ohne spezifische Attributdefinitionen eine Genauigkeit von lediglich 30,0% für Sets der Größe 4 und 26,7% für Sets der Größe 8 erreichten. Mit expliziter Nennung des gewünschten Variationsaspekts stieg die Genauigkeit auf 82,5% bzw. 53,3%.

Diese Erkenntnis führte zur Entwicklung eines Evaluations-Templates, das die Bewertung in zwei Unteraufgaben unterteilt: das Zählen von Variationen und den Vergleich dieser Zählungen. Eine zusätzliche Verankerungsfrage, die Annotatoren auffordert, die Anzahl der unterschiedlichen Instanzen eines Attributs zu zählen, erhöhte die Genauigkeit weiter auf 77,9% für Sets der Größe 8. Dies unterstreicht, dass eine präzise Definition der Bewertungskriterien die Zuverlässigkeit menschlicher Bewertungen erheblich verbessert.

Praktische Anwendung des Frameworks

Das Framework wurde eingesetzt, um umfassende menschliche Annotationen zu sammeln, die als Ground Truth für die Bewertung von Diversitätsmetriken dienen. Dies ermöglichte einen Vergleich der Modellrankings aus menschlichen und automatischen Evaluationen, um die Diskrepanz zwischen menschlich wahrgenommener Diversität und den Fähigkeiten aktueller Metriken hervorzuheben.

Ranking von Modellen durch menschliche Evaluation

Fünf prominente generative Modelle – Muse 2.2, Imagen 2.5, Imagen 3, DALLE3 und Flux 1.1 – wurden hinsichtlich ihrer attributsbasierten Diversität evaluiert. Für jeden Prompt wurden 20 verschiedene Samples pro Modell generiert und in 10 Sets von je 8 Bildern zufällig kombiniert. Fünf Rater führten Side-by-Side-Evaluierungen durch. Insgesamt wurden 24.591 Annotationen gesammelt. Die hohe Inter-Annotator-Übereinstimmung (Krippendorffs Alpha > 0.8) bestätigt die Zuverlässigkeit der menschlichen Bewertungen.

Die Ergebnisse der Binomialtests zeigten, dass Imagen 3 und Flux 1.1 signifikant besser oder zumindest gleichwertig zu allen anderen Modellen abschnitten. Imagen 2.5 und Muse 2.2 zeigten keine signifikanten Vorteile gegenüber den Konkurrenten. DALLE3 war signifikant besser als Imagen 2.5, übertraf jedoch die anderen Top-Modelle nicht signifikant. Dies deutet darauf hin, dass neuere Modelle Fortschritte in der Diversitätsgenerierung gemacht haben.

Vergleich automatischer Evaluationsmetriken

Angesichts der Kosten menschlicher Evaluationen ist die Entwicklung automatischer Metriken, die menschliches Urteilsvermögen präzise widerspiegeln, von großer Bedeutung. Die gesammelten menschlichen Annotationen wurden genutzt, um die Rolle von Embeddings für den Vendi Score, eine referenzfreie Diversitätsmetrik, zu untersuchen. Drei Arten von Embeddings wurden verglichen:

• Bild-basierte Embeddings: Modelle wie ImageNetInception, ImageNetViT-B/16 und DINOv2.
• Text- und attributsbedingte Embeddings: PALI-Embeddings und CLIP-Embeddings.
• Diskrete Token-Outputs: Das erste Wort eines PALI-Modells als diskretes Token.

Die Ergebnisse zeigten, dass der Vendi Score, wenn er mit dem geeigneten Repräsentationsraum optimiert wird, menschliche Diversitätsurteile mit etwa 65% Genauigkeit erfassen kann. Bei größeren Unterschieden zwischen Modellpaaren stieg die Genauigkeit auf 80%. Dies deutet auf die Notwendigkeit diskriminanterer Repräsentationen hin. Besonders die bildbasierten Ansätze (Inception, DINO, ViT) zeigten bei deutlichen Divergenzen zwischen den Modellen gute Leistungen.

Ranking von Modellen mit automatischen Ansätzen

Das Ranking der Modelle mittels Autoevaluation ergab, dass Imagen 3 unabhängig vom gewählten Embedding nicht schlechter als andere Modelle war. Flux 1.1, Imagen 3 und DALLE3 schnitten besser ab als Imagen 2.5 und Muse 2.2. Die Wahl des Embedding-Modells und der Konditionierung beeinflusste die Sensitivität der Autoevaluation gegenüber bestimmten Variationen. Textkonditionierung, obwohl der menschlichen Evaluationsprozedur am nächsten, zeigte keinen signifikanten Vorteil mit den aktuellen Embedding-Modellen.

Ethische Betrachtungen und zukünftige Auswirkungen

Die Arbeit betont die Notwendigkeit einer menschlichen Perspektive bei der Evaluierung von KI-Modellen. Alle 20 menschlichen Annotatoren wurden für ihre Zeit entsprechend dem Mindestlohn entlohnt und erhielten umfassende Anweisungen, um die Aufgabenstellung zu verstehen. Dieses Vorgehen unterstreicht einen verantwortungsvollen Umgang mit menschlichen Daten und Arbeitskräften in der KI-Forschung.

Die Ergebnisse dieser Forschung tragen dazu bei, die Qualität von T2I-Modellen hinsichtlich der Diversität zu verbessern, indem sie einen Evaluationsrahmen bieten, der auf menschlicher Wahrnehmung basiert. Zukünftige Arbeiten könnten diese Methodik nutzen, um demografische Diversität auf klassifikationsfreie Weise zu messen, anstatt sich auf Attributklassifikatoren zu verlassen, die anfällig für Voreingenommenheit sein können. Dies wäre ein wichtiger Schritt zur Entwicklung ethischerer und inklusiverer KI-Systeme.

Ausblick

Das vorgestellte Framework bietet eine robuste Grundlage für die zukünftige Entwicklung menschenzentrierter Evaluationsmetriken und die Verbesserung der Diversität in T2I-Modellen. Die Erkenntnisse aus dieser Studie können dazu beitragen, die Lücke zwischen der technischen Leistungsfähigkeit und der menschlichen Wahrnehmung von Diversität in der generativen KI zu schließen. Dies ist insbesondere für Unternehmen, die auf KI-basierte Content-Generierung setzen, von großer Relevanz, um marktgerechte und ansprechende Inhalte zu produzieren.

Bibliography

1. Albuquerque, I., Ktena, I., Wiles, O., Kajić, I., Rannen-Triki, A., Vasconcelos, C., & Nematzadeh, A. (2025). Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation. arXiv preprint arXiv:2511.10547.
2. Hugging Face. (2025). Daily Papers - Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation. https://huggingface.co/papers/2511.10547
3. ChatPaper. (2025). Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation. https://chatpaper.com/zh-CN/chatpaper/paper/209181