ChatGPT erhält visuelle Wahrnehmung für erweiterte Interaktionen

ChatGPTs erweiterte Sprachfunktion: Jetzt mit visueller Wahrnehmung

OpenAI hat seine fortschrittliche Sprachfunktion für ChatGPT um visuelle Fähigkeiten erweitert. Nutzer können nun Objekte über die Smartphone-Kamera oder den Bildschirm ihres Geräts präsentieren, die ChatGPT dann erkennt und in seiner erweiterten Sprachmodus-Funktion verarbeitet. Diese mit Spannung erwartete Funktion, die bereits im Mai mit der Vorstellung des GPT-4o-Modells angedeutet wurde, eröffnet neue Möglichkeiten für die Interaktion mit dem Chatbot.

Verfügbarkeit und Funktionen

Die Video- und Screensharing-Funktion wird in den kommenden Tagen für die meisten ChatGPT Plus- und Pro-Nutzer sowie alle Team-Nutzer über die mobile ChatGPT-App verfügbar sein. Nutzer in der Europäischen Union, der Schweiz, Island, Norwegen und Liechtenstein sollen die Funktion ebenfalls bald erhalten. Für ChatGPT Enterprise- und Edu-Nutzer ist die Funktion ab Januar geplant.

Die erweiterte Sprachfunktion basiert auf OpenAIs nativem multimodalen 4o-Modell, das Audioeingaben verarbeiten und in natürlicher Konversation antworten kann. Durch die Integration der visuellen Komponente kann ChatGPT nun ein noch umfassenderes Verständnis von Anfragen entwickeln und kontextbezogenere Antworten liefern.

Zusätzliche Features und Herausforderungen

Neben der visuellen Erweiterung hat OpenAI auch eine temporäre „Santa-Stimme“ als voreingestellte Stimme im erweiterten Sprachmodus hinzugefügt. Diese Funktion ist weltweit bis Anfang Januar für alle mobilen, Web- und Desktop-App-Nutzer verfügbar und über ein Schneeflocken-Symbol in ChatGPT zugänglich.

Die Ankündigung erfolgte im Rahmen des „12 Days of OpenAI“-Events, bei dem das Unternehmen neue Produkte und Funktionen vorstellte, darunter das o1-Modell und ein neues Abonnementmodell für ChatGPT. Der Chatbot ist nun auch über Apples Siri-Sprachassistenten zugänglich.

OpenAI räumte während der Ankündigung auch einen stundenlangen Ausfall von ChatGPT und seinem neuen Videogenerator Sora ein, der am Vortag aufgetreten war. Das Unternehmen hatte die Nachfrage nach Sora unterschätzt und arbeitet daran, den Zugang für alle Nutzer zu ermöglichen.

Potenzial und Ausblick

Die Integration der visuellen Wahrnehmung in ChatGPTs erweiterte Sprachfunktion stellt einen bedeutenden Fortschritt in der Entwicklung von Chatbots dar. Sie ermöglicht eine natürlichere und intuitivere Interaktion und eröffnet neue Anwendungsbereiche für den Chatbot, von der Unterstützung bei alltäglichen Aufgaben bis hin zu komplexeren Problemlösungen.

Die Reaktionen der Nutzergemeinschaft auf die neuen Funktionen sind überwiegend positiv. Die Möglichkeit, mit ChatGPT über visuelle Eingaben zu kommunizieren, wird als großer Vorteil gesehen und könnte die Nutzung des Chatbots weiter verbreiten. Gleichzeitig werden aber auch Bedenken hinsichtlich des Datenschutzes und der möglichen Missbrauchspotenziale geäußert, die OpenAI adressieren muss.

Die weitere Entwicklung von ChatGPT und ähnlichen KI-Modellen wird zeigen, wie sich die Integration visueller und auditiver Fähigkeiten auf die Interaktion zwischen Mensch und Maschine auswirkt und welche neuen Möglichkeiten sich daraus ergeben.

Bibliographie:

1. https://www.yahoo.com/tech/openai-advanced-voice-mode-now-205225877.html
2. https://help.openai.com/en/articles/8400625-voice-mode-faq
3. https://community.openai.com/t/advanced-voice-mode-released-09252024/956738
4. https://www.ainews.com/p/openai-rolls-advanced-voice-mode-select-chatgpt-plus-users
5. https://qz.com/openai-chatgpt-advanced-voice-mode-screenshare-video-ai-1851720007
6. https://mashable.com/article/openai-brings-video-to-chatgpt-advanced-voice-mode
7. https://openai.com/index/chatgpt-can-now-see-hear-and-speak/
8. https://www.reddit.com/r/OpenAI/comments/1f2m4ev/does_anyone_still_have_access_to_the_advanced/
9. https://www.youtube.com/watch?v=wwFlq72xsvo
10. https://www.euronews.com/next/2024/10/22/openais-advanced-voice-mode-is-now-available-in-europe-heres-what-you-can-do-with-it