FrozenSeg und die Zukunft der Open Vocabulary Segmentierung in der Computer Vision

FrozenSeg: Ein neuartiger Ansatz

Um diese Herausforderung zu bewältigen, wurde FrozenSeg entwickelt. Dieser Ansatz zielt darauf ab, räumliches Wissen aus einem Lokalisierungsmodell (z.B. SAM) und semantisches Wissen aus einem ViL-Modell (z.B. CLIP) in einem synergistischen Rahmen zu integrieren. Durch die Nutzung des visuellen Encoders des ViL-Modells als Feature-Backbone wird das raumbezogene Feature in die lernbaren Abfragen und CLIP-Features im Transformer-Decoder injiziert.

Technische Umsetzung

FrozenSeg setzt auf eine maskenbasierte Ensemble-Strategie zur Verbesserung der Rückrufrate und der Maskenqualität. Um das vortrainierte Wissen optimal zu nutzen und den Trainingsaufwand zu minimieren, werden beide Foundation-Modelle eingefroren. Die Optimierung konzentriert sich ausschließlich auf einen leichtgewichtigen Transformer-Decoder für die Generierung von Maskenvorschlägen, der als Leistungsengpass identifiziert wurde.

Experimentelle Ergebnisse

Um die Wirksamkeit von FrozenSeg zu demonstrieren, wurden umfangreiche Experimente durchgeführt. Diese zeigen, dass FrozenSeg in verschiedenen Segmentierungs-Benchmarks den Stand der Technik übertrifft. Die Experimente wurden ausschließlich auf COCO-Panoptic-Daten trainiert und in einem Zero-Shot-Verfahren getestet.

Schlussfolgerung

FrozenSeg bietet eine vielversprechende Lösung für die Herausforderungen der Open-Vocabulary-Segmentierung. Durch die Harmonisierung von Frozen Foundation Modellen und die Integration von räumlichem und semantischem Wissen in einem synergistischen Rahmen, setzt FrozenSeg neue Maßstäbe in der Segmentierungsleistung. Der Code für FrozenSeg ist auf GitHub verfügbar und bietet Forschern und Entwicklern die Möglichkeit, diese innovative Technik weiter zu erforschen und anzuwenden.

Quellen

1. https://arxiv.org/abs/2210.15138
2. https://paperreading.club/page?id=250136
3. https://bmvc2022.mpi-inf.mpg.de/0045_poster.pdf
4. https://www.arxiv.org/abs/2408.04883
5. https://paperswithcode.com/task/open-vocabulary-semantic-segmentation-1
6. https://openaccess.thecvf.com/content/CVPR2024/papers/Jiang_Open-Vocabulary_3D_Semantic_Segmentation_with_Foundation_Models_CVPR_2024_paper.pdf
7. https://bmvc2022.mpi-inf.mpg.de/0045.pdf
8. https://proceedings.neurips.cc/paper_files/paper/2023/file/661caac7729aa7d8c6b8ac0d39ccbc6a-Paper-Conference.pdf
9. https://www.researchgate.net/publication/373314510_Learning_Open-Vocabulary_Semantic_Segmentation_Models_From_Natural_Language_Supervision
10. https://github.com/jianzongwu/Awesome-Open-Vocabulary