Meta präsentiert SAM 2 und SA-V Dataset zur Revolutionierung der Computer Vision

Funktionen und Fähigkeiten von SAM 2

SAM 2 kann Objekte in jedem Video oder Bild segmentieren und dabei auch für zuvor unbekannte visuelle Inhalte eine starke Leistung zeigen. Dies wird als Zero-Shot-Generalisation bezeichnet. SAM 2 kann durch Klicks, Begrenzungsrahmen oder Masken aufgefordert werden, ein Objekt in einem beliebigen Frame eines Videos zu definieren. Das Modell gibt dann sofort eine Maske auf dem aktuellen Frame aus und propagiert sie zeitlich, um das Zielobjekt über alle Video-Frames hinweg zu verfolgen.

Praktische Anwendungen

Die Anwendungsbereiche von SAM 2 sind vielfältig:

- Tracking von Objekten zur Erstellung von Videoeffekten - Segmentierung sich bewegender Zellen in Videos, die mit einem Mikroskop aufgenommen wurden - Unterstützung bei der schnelleren Annotation von visuellen Daten für die Ausbildung von Computer Vision-Systemen - Kreative Anwendungen im Bereich der Videobearbeitung und Generierung - Forschung in Wissenschaft und Medizin, z.B. das Verfolgen gefährdeter Tiere in Drohnenaufnahmen oder die Lokalisierung von Regionen in einer endoskopischen Kamera während eines medizinischen Eingriffs

Das SA-V Dataset

Das SA-V Dataset wurde entwickelt, um allgemeine Objektsegmentierungsmodelle aus Videos der offenen Welt zu trainieren. Es umfasst:

- 51.000 Videos - 643.000 spatio-temporale Segmentierungs-Masken (Masklets) - Videos aus 47 Ländern, die eine breite Palette von realen Szenarien abdecken

Zukunftsaussichten

SAM 2 hat das Potenzial, die Entwicklung in vielen Bereichen zu beschleunigen, darunter autonome Fahrzeuge, erweiterte Realität, Robotik und mehr. Es könnte auch in größeren Systemen integriert werden, um neue Erlebnisse zu schaffen. Die Video-Objektsegmentierungsausgaben von SAM 2 könnten als Eingaben für moderne Videogenerierungsmodelle verwendet werden, um präzise Bearbeitungsmöglichkeiten zu ermöglichen.

Offene Wissenschaft und Community-Beitrag

In Übereinstimmung mit dem Ansatz der offenen Wissenschaft teilt Meta AI seine Forschung zu SAM 2 mit der Community. Dies umfasst den Code und die Gewichte des Modells, die unter einer Apache 2.0-Lizenz veröffentlicht werden, sowie das SA-V Dataset unter einer CC BY 4.0-Lizenz. Dies soll es der Forschungsgemeinschaft ermöglichen, neue Fähigkeiten und Anwendungsfälle zu erkunden.

Schlussfolgerung

SAM 2 stellt einen bedeutenden Fortschritt im Bereich der Computer Vision dar. Mit seinen Fähigkeiten zur Echtzeit-Objektsegmentierung in Bildern und Videos eröffnet es neue Möglichkeiten für Anwendungen in der Video- und Bildbearbeitung, in der Wissenschaft und Medizin und vielen anderen Bereichen. Das offene Teilen von Forschung und Daten durch Meta AI fördert die Zusammenarbeit und Innovation in der Community und wird voraussichtlich weitere spannende Entwicklungen in der Zukunft ermöglichen.

Bibliographie

1. https://ai.meta.com/blog/segment-anything-2/
2. https://ai.meta.com/datasets/segment-anything-video/
3. https://encord.com/blog/segment-anything-model-2-sam-2/
4. https://segment-anything.com/
5. https://docs.ultralytics.com/models/sam-2/
6. https://www.elevenforum.com/t/meta-introduces-new-ai-segment-anything-model-2-sam-2.27185/
7. https://twitter.com/AIatMeta/status/1818055908070773078
8. https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/