Instanzspezifisches Negativ-Mining zur Verbesserung der promptbaren Bildsegmentierung

Instanzspezifisches Negativ-Mining für Aufgabenunabhängige promptbare Segmentierung

Die Bildsegmentierung ist ein grundlegendes Problem in der Computer Vision, das darauf abzielt, Pixel in einem Bild verschiedenen Objekten oder Regionen zuzuordnen. Traditionelle Segmentierungsmethoden erfordern oft umfangreiche, manuell annotierte Datensätze für das Training. In den letzten Jahren haben promptbare Segmentierungsansätze, die auf Vision-Language Models (VLMs) basieren, an Popularität gewonnen. Diese Methoden nutzen die Fähigkeit von VLMs, aus natürlichsprachlichen Beschreibungen (Prompts) zu lernen und ermöglichen so eine flexible und anpassungsfähige Segmentierung.

Ein vielversprechender Ansatz ist die sogenannte "aufgabenunabhängige promptbare Segmentierung". Hierbei wird ein einziger, generischer Prompt verwendet, um die Segmentierung verschiedener Objekte oder Szenen zu steuern. Der Vorteil dieses Ansatzes liegt in seiner Generalisierbarkeit: Anstatt für jede neue Segmentierungsaufgabe ein neues Modell trainieren zu müssen, kann ein und dasselbe Modell mit unterschiedlichen Prompts verwendet werden. Dies reduziert den Aufwand für das Training und die Datenannotation erheblich.

Bisherige Methoden zur aufgabenunabhängigen promptbaren Segmentierung nutzen die Generalisierungsfähigkeit von VLMs, um aus dem generischen Prompt instanzspezifische Prompts abzuleiten. Diese instanzspezifischen Prompts dienen dann als Grundlage für den Segmentierungsprozess. Ein Problem hierbei ist jedoch, dass VLMs Schwierigkeiten haben können, auf unbekannte Bildinstanzen zu generalisieren. In solchen Fällen kann die Vorhersage der instanzspezifischen Prompts ungenau sein, was zu fehlerhaften Segmentierungsergebnissen führt.

Um dieses Problem zu lösen, wurde ein neuer Ansatz namens "Instance-specific Negative Mining for Task-Generic Promptable Segmentation" (INT) entwickelt. Die Kernidee von INT besteht darin, den Einfluss irrelevanter (negativer) Vorkenntnisse adaptiv zu reduzieren und gleichzeitig die Verwendung der plausibelsten Vorkenntnisse zu verstärken. Dies geschieht durch ein Negativ-Mining-Verfahren, das auf Kontrasten basiert.

INT besteht aus zwei Hauptkomponenten:

1. Instanzspezifische Prompt-Generierung: Hierbei werden in einem iterativen Prozess falsche Informationen in der Prompt-Generierung herausgefiltert. Durch das Negativ-Mining werden die relevantesten Informationen für die jeweilige Bildinstanz identifiziert und verstärkt.

2. Semantische Maskengenerierung: Diese Komponente stellt sicher, dass die Segmentierung jeder Bildinstanz korrekt mit der Semantik der instanzspezifischen Prompts übereinstimmt.

INT wurde auf sechs verschiedenen Datensätzen evaluiert, darunter Datensätze mit getarnten Objekten und medizinischen Bildern. Die Ergebnisse zeigen, dass INT im Vergleich zu bisherigen Methoden eine verbesserte Genauigkeit und Robustheit in der Segmentierung erreicht. Darüber hinaus demonstriert INT eine hohe Skalierbarkeit und kann auf verschiedene Anwendungsbereiche angewendet werden.

Die Entwicklung von INT stellt einen wichtigen Fortschritt im Bereich der promptbaren Segmentierung dar. Durch die adaptive Reduktion irrelevanter Vorkenntnisse und die Fokussierung auf die plausibelsten Informationen ermöglicht INT eine genauere und robustere Segmentierung von Bildern. Zukünftige Forschung könnte sich darauf konzentrieren, die Effizienz von INT weiter zu verbessern und die Methode auf weitere Anwendungsbereiche auszuweiten.

Bibliographie:

1. Hu, J., Cheng, Z., & Gong, S. (2025). INT: Instance-Specific Negative Mining for Task-Generic Promptable Segmentation. arXiv preprint arXiv:2501.18753.
2. Hugging Face. (n.d.). Retrieved from [Hugging Face website URL]