Neuer Fortschritt bei ChatGPT mit Live-Video und Bildschirmfreigabe

ChatGPT jetzt mit Live-Video und Bildschirmfreigabe

OpenAI erweitert den Funktionsumfang des fortschrittlichen Sprachmodus von ChatGPT um Live-Video und Bildschirmfreigabe. Nutzer können nun visuelle Inhalte in Echtzeit mit ChatGPT teilen, was die Kommunikation natürlicher und effektiver gestaltet. Diese Funktionen wurden erstmals während der Vorstellung von GPT-4o angedeutet und sind nun für viele Nutzer verfügbar.

Rollout in Phasen

Die Einführung der neuen Funktionen erfolgt schrittweise. Teams-Nutzer sowie die meisten Plus- und Pro-Abonnenten erhalten ab sofort Zugriff. Für Plus- und Pro-Abonnenten in Europa wird die Funktion zu einem späteren Zeitpunkt verfügbar sein. Unternehmen und Bildungseinrichtungen folgen Anfang nächsten Jahres.

Wie funktionieren Video und Bildschirmfreigabe?

Über die ChatGPT-App können Nutzer mit einem Plus-, Team- oder Pro-Abonnement ihre Smartphone-Kamera auf Objekte richten und ChatGPT in Echtzeit darauf reagieren lassen. Die Bildschirmfreigabefunktion ermöglicht es ChatGPT, den Inhalt des Bildschirms zu verstehen. So kann die KI beispielsweise verschiedene Einstellungsmenüs erklären oder bei mathematischen Problemen Hilfestellung leisten. Um auf den erweiterten Sprachmodus mit Video zuzugreifen, tippen Nutzer auf das Sprachsymbol neben der ChatGPT-Chatleiste und anschließend auf das Videosymbol unten links. Für die Bildschirmfreigabe wird das Drei-Punkte-Menü und die Option "Bildschirm freigeben" verwendet.

Weihnachtliche Erweiterung: Santa-Chat

Passend zur Weihnachtszeit führt OpenAI eine Santa-Chat-Funktion ein, die bis Ende Dezember verfügbar ist. Über ein Schneeflocken-Symbol auf dem Startbildschirm oder in den ChatGPT-Einstellungen können Nutzer direkt mit dem KI-Weihnachtsmann sprechen. OpenAI verwendet hierfür die gleiche Sprachtechnologie wie im erweiterten Sprachmodus und hebt für das erste Gespräch mit dem KI-Weihnachtsmann die üblichen Nutzungsbeschränkungen auf.

Konkurrenzdruck und Zukunftsaussichten

Die Ankündigung von OpenAI erfolgt nur einen Tag nach der Vorstellung von Gemini 2.0 durch Google. Auch Gemini 2.0 Flash ist multimodal und kann neben Text auch Audio und Bilder generieren. GPT-4o unterstützt zwar technisch auch die Bildgenerierung, OpenAI scheint diese Funktion jedoch noch zurückzuhalten. Gemini 2.0 Flash kann Videos in Echtzeit analysieren - eine Funktion, die Google derzeit mit Project Astra auf Smartphones und der kürzlich angekündigten Android XR-Brille mit ausgewählten Nutzern testet. Die Erweiterung von ChatGPT um Video- und Bildschirmfreigabe unterstreicht den wachsenden Trend zu multimodalen KI-Systemen und den zunehmenden Konkurrenzdruck im Bereich der generativen KI.

Wie genau und zuverlässig sind die neuen Funktionen?

Obwohl die neuen Funktionen vielversprechend sind, gibt es auch Herausforderungen. In einer Demonstration auf CNNs "60 Minutes" machte der erweiterte Sprachmodus mit Video einen Fehler bei einer Geometrieaufgabe, was darauf hindeutet, dass er anfällig für Halluzinationen ist. Die Verzögerungen bei der Einführung des erweiterten Sprachmodus mit Video lassen vermuten, dass die Entwicklung komplexer ist als ursprünglich angenommen. Es bleibt abzuwarten, wie sich die neuen Funktionen in der Praxis bewähren und wie OpenAI die Herausforderungen in Bezug auf Genauigkeit und Zuverlässigkeit meistern wird.

Bibliographie:

1. https://mashable.com/article/openai-brings-video-to-chatgpt-advanced-voice-mode
2. https://www.axios.com/2024/12/12/chatgpt-video-screen-sharing-voice-chat
3. https://techcrunch.com/2024/12/12/chatgpt-now-understands-real-time-video-seven-months-after-openai-first-demoed-it/
4. https://9to5mac.com/2024/12/12/chatgpt-advanced-voice-mode-adding-video-and-screen-sharing-input-plus-a-santa-mode/
5. https://community.openai.com/t/new-screen-sharing-and-video-camera-features/756423
6. https://help.openai.com/en/articles/8400625-voice-mode-faq
7. https://www.reddit.com/r/OpenAI/comments/1dohn5u/openai_announcement_on_discord_were_sharing_an/
8. https://www.cnbc.com/2024/09/24/how-to-use-chatgpt-advanced-voice-mode-from-openai.html
9. https://www.wired.com/story/chatgpt-advanced-voice-mode-first-impressions/
10. https://www.tomsguide.com/ai/chatgpt/chatgpt-advanced-voice-gets-an-upgrade-you-can-now-share-your-conversation