Il est censé “comprendre et répondre avec des émotions et des signaux non verbaux”, indique OpenAI. Et les exemples présentés par l’entreprise en mai étaient à la hauteur des annonces : les différentes voix proposées sont naturelles, affichent des intonations humaines et répondent aux questions de manière fluide. Il est même possible de les interrompre en pleine conversation.

À terme, elle permettra aux utilisateurs d’interagir avec l’outil tout en filmant leur environnement. Le modèle omnimodal sera alors en mesure d’assimiler simultanément les informations sonores et visuelles, reproduisant l’expérience d’une conversation FaceTime en temps réel.

​OpenAI indique également que certaines améliorations et nouvelles fonctionnalités ont été ajoutées à l’Advanced Voice. 

Cinq nouvelles voix : le total de voix proposées dans l’outil s’élève désormais à 9. On notera toutefois l’absence de la voix Sky, retirée au printemps car jugée trop ressemblante à celle de Scarlett Johansson, qui prête sa voix à l’IA dans le film Her.

Voix améliorées : dans le mode vocal classique de ChatGPT, les voix utilisées sont conçues pour un usage en anglais. En français, elles affichaient donc un léger accent. OpenAI indique avoir corrigé ce défaut dans l’ensemble des langues étrangères. En parallèle, la vitesse et la fluidité des voix ont aussi été améliorées.

Instructions personnalisées : les Custom instructions font leur arrivée dans le mode Advanced Voice. Elles permettront de personnaliser la façon dont la voix répond et d’intégrer des informations dont elle devra se souvenir.