Google DeepMind a annoncé Genie 4, que Google AI présente comme « notre modèle du monde le plus réaliste et interactif à ce jour », promettant « un réalisme sans précédent » et une meilleure simulation interactive en temps réel. Le modèle est nativement multimodal : musique, bruits d'ambiance et dialogues interactifs sont générés simultanément avec le monde. Il suffit de lancer un événement et Genie 4 simule la suite : la réaction du monde, sa sonorité, ainsi que la façon dont les personnages qui l'habitent bougent, réagissent et parlent.
Gemini comme cerveau
Genie 4 intègre et prolonge des capacités de la famille Gemini. Gemini Omni ancre les simulations dans l'apparence et le comportement du monde réel, tandis que d'autres modèles Gemini fournissent le raisonnement complexe nécessaire pour préserver la cohérence et la continuité d'une simulation. Google décrit Gemini comme le « cerveau » de la simulation : il traduit les requêtes de l'utilisateur en actions, planifie des événements complexes, observe le déroulement de la scène pour suivre ce qui se passe et s'ajuste lorsque l'utilisateur modifie l'histoire. Les utilisateurs se déplacent et contrôlent la caméra avec les commandes standard du clavier, et orientent la scène par des instructions textuelles.
Ce qui change
- Pilotage en temps réel : le langage naturel permet de modifier une simulation en cours d'exécution, par exemple changer la météo, déplacer la caméra ou introduire une nouvelle personne ou un nouvel objet, et Gemini adapte la requête à la scène environnante. Entre deux instructions, Gemini surveille et oriente également la scène pour que le monde continue d'évoluer de façon cohérente.
- Réalisme de la physique et des personnes : fort d'une compréhension physique avancée du monde, Genie 4 simule des scénarios tels que l'aérodynamique et les collisions. Le plus grand bond, selon Google, concerne les personnes : les personnages se déplacent naturellement, réagissent de façon organique à leur environnement et peuvent être pilotés de manière interactive en temps réel.
- Son : Genie 4 est le premier modèle du monde en temps réel de Google à générer de l'audio de façon native, chaque monde étant doté de l'ambiance sonore de son décor, du vent dans les arbres aux vagues sur la plage. Il introduit aussi des dialogues interactifs qui s'adaptent à la volée : les personnages conversent et réagissent aux actions de l'utilisateur ou aux événements du monde. Tous les sons des démonstrations de Google sont produits directement par Genie 4.
Pourquoi Google le développe, et comment y accéder
Google considère que comprendre et simuler le monde est un élément crucial de la construction de l'AGI. Les « simulations sûres et infiniment variables » de Genie 4 pourraient servir à tout, du développement d'environnements d'entraînement pour des robots et des agents à de nouvelles expériences interactives. Le déploiement a débuté en préversion de recherche pour des testeurs de confiance, afin de recueillir des retours avant une diffusion auprès du grand public et des développeurs, en commençant par les abonnés Google AI Ultra dans Project Genie et les partenaires en accès anticipé de l'API Gemini et de Google AI Studio. Une liste d'attente est ouverte dans Project Genie, qui avait été ouvert en janvier aux abonnés Ultra américains avec Genie 3.
Les modèles du monde attirent la foule : voir Atlas de World Labs et, pour des objets d'ingénierie plutôt que des scènes, SKY-001 de Skyfall.