Block a dévoilé Dessa, que Jack Dorsey qualifie de « modèle vocal full-duplex le plus authentique jamais conçu », un modèle qui « donne l'impression de parler avec une personne... pleine d'émotion, de nuance, de pauses et d'une cadence naturelle ». Le petit laboratoire de recherche en IA de Block l'a entraîné de zéro sur de l'audio de conversations humaines et rien d'autre, sans texte ni modèle préentraîné, et affirme que, à sa connaissance, Dessa est la première IA au monde dotée d'une capacité de conversation en direct réaliste entraînée uniquement à partir de la parole humaine.
De quoi s'agit-il
Dessa est un véritable modèle parole-à-parole : de l'audio en entrée, de l'audio en sortie, sans étape textuelle intermédiaire. Il est full-duplex, c'est-à-dire qu'il écoute et parle en même temps, et, pour avoir appris à partir de vraies conversations, il sait quand couper la parole et quand émettre des signaux d'écoute active (« ouais ! », « compris ! », « ooh »). L'inférence s'exécute plus vite que le temps réel, ce qui évite toute attente gênante, et le modèle tourne en local sur un MacBook Pro M4 Max ou mieux. Block affirme qu'il entend et exprime nativement l'émotion, le sarcasme, le rire, un soupir d'agacement et une voix qui se brise de tristesse, autant d'éléments perdus lorsque la parole transite par le texte, ce qui explique selon elle que la plupart des IA vocales paraissent guindées, lentes et agaçantes.
La page présente des enregistrements en direct de personnes qui parlent à Dessa, que personne ne pilote : le modèle choisit ce qu'il dit, quand et comment, jusqu'à sa propre voix et sa personnalité. On y trouve notamment :
- Rire et volume : il rit en pleine phrase dès que quelque chose est drôle, et parle plus fort quand on lui demande de hausser le ton, ce que personne ne lui a appris, assure Block.
- Mémoire : lorsqu'une personne sèche sur le titre d'un film, Dessa termine la phrase.
- Émotion : il lâche un « oh mon dieu » étouffé devant une surprise d'anniversaire de mariage, puis répond avec ce qui ressemble à de la gratitude au bord des larmes, et se montre empathique dans une conversation sur des conseils de vie.
- Dessa et GPT-Live-1 : dans une démonstration, il dialogue avec GPT-Live-1 d'OpenAI, les deux voix étant générées par IA. Block précise que le développeur de GPT-Live-1 n'est pas affilié à Block et n'a ni examiné ni approuvé Dessa.
Pourquoi uniquement la parole
Block soutient que les LLM ont besoin d'une quantité insensée de texte, alors que Dessa a appris le langage à partir de centaines de fois moins de mots, même s'il a dû apprendre bien plus que le langage : accents, pauses, respiration, sarcasme, humour, intonation, émotion et moments où couper la parole. La parole ne se répète jamais, puisqu'une même phrase prononcée deux fois ne sort pas pareil, et un seul mot parlé occupe des milliers de fois plus d'octets que le même mot en texte. Block dit aussi avoir trouvé comment entraîner Dessa sur un seul NVIDIA GB200 NVL72. Elle avance trois raisons : la curiosité, puisque les bébés apprennent à parler sans avoir vu un seul mot écrit ; une meilleure compréhension entre humains et IA ; et la sécurité. L'IA gagne sans cesse en puissance et en autonomie tout en restant « presque sourde » aux émotions de nos voix, et Block imagine une personne en grande détresse pendant qu'une IA vocale poursuit sans s'en apercevoir. Les chercheurs peuvent désormais se demander avec quelle efficacité ces modèles apprennent le langage et les faits par rapport au texte, avec quelle efficacité ils apprennent de nouvelles langues et de quel apprentissage en contexte ils sont capables.
Qui l'a conçu
Le groupe est un tout petit laboratoire de recherche de Block, fondé par d'anciens membres de Dessa, la start-up torontoise d'apprentissage profond. Il affirme concevoir des modèles d'apprentissage profond depuis 2012 et des modèles génératifs de parole depuis plus de huit ans, et rend compte directement à Jack Dorsey, cofondateur, président du conseil et « Block Head » de Block. Block donne à un petit groupe de chercheurs en sécurité de l'IA un accès anticipé afin de rechercher des risques qu'elle n'a pas anticipés. Pour d'autres modèles audio récents, voir Breeze TTS 2, et pour la course commerciale à la voix, les graphiques de lancement de Gemini 3.8 Live.