Google DeepMind a présenté SL2T aujourd'hui : un modèle massivement multilingue de traduction langue-des-signes-vers-texte, livré immédiatement dans Gboard et Live Transcribe sur Pixel 11, langue des signes américaine (ASL) vers l'anglais, gratuit. Parmi les plus de 200 langues des signes du monde et environ 70 millions de personnes sourdes et malentendantes qui les utilisent, cela couvre exactement une paire de langues sur un seul appareil — à énoncer clairement avant le reste, qui est réellement bien construit.
Le vrai pari technique : sauter la glose
La plupart des travaux antérieurs de traduction de la langue des signes passent par des gloses — une couche d'annotation intermédiaire mot par mot représentant la séquence signée avant qu'une étape séparée ne la transforme en texte fluide dans la langue cible. L'argument de Google est que les gloses sont la mauvaise abstraction : elles sont construites pour l'ordre des mots des langues parlées et ne peuvent pas représenter les marqueurs non manuels (expression faciale, mouvements de bouche) ni les constructions spatiales (où les signes font référence à des emplacements dans l'espace autour du signeur) qui portent un vrai sens grammatical dans les langues des signes. SL2T traduit directement des coordonnées de points de repère posturaux vers le texte, sans étape de glose, ce que l'équipe dit supprimer un goulot d'étranglement lexical artificiel et permettre à la qualité de traduction de s'améliorer directement avec les données d'entraînement plutôt qu'avec l'exhaustivité d'un dictionnaire de gloses construit à la main.
C'est la même catégorie de problème que le projet AMIE de DeepMind a rencontré sous un angle différent — la perception et le raisonnement devant fonctionner sur un mouvement physique continu, pas des tokens discrets — résolu ici en refusant une représentation intermédiaire plutôt qu'en en construisant une meilleure.
Une architecture de confidentialité réellement précise
SL2T ne voit jamais un visage ou un corps sur le serveur. Un modèle embarqué (MediaPipe Holistic) extrait localement des coordonnées de points de repère posturaux — des points sur les mains, les bras, le torse, la tête du signeur — et seules ces coordonnées géométriques sont transmises pour la traduction ; la vidéo source est immédiatement écartée. C'est une affirmation architecturale concrète et vérifiable plutôt qu'une promesse de politique, et cela compte particulièrement pour une population signante, puisqu'un flux vidéo du visage et des mains de quelqu'un est bien plus identifiant que du texte tapé ne l'a jamais été.
Les chiffres, et celui auquel il manque un chiffre
Données d'entraînement : plus de 100 000 heures à travers plus de 50 langues des signes, environ un quart en ASL, entraînées conjointement plutôt que comme des modèles à langue unique séparés — Google rapporte que l'approche multilingue surpasse l'entraînement mono-langue, une preuve de véritable transfert inter-linguistique. Sur FLEURS-ASL (sd-test), un benchmark ASL-vers-anglais, SL2T obtient un score de 70 BLEURT en zero-shot, que Google qualifie de « significativement plus élevé que tout score précédemment rapporté » — une affirmation que nous ne pouvons pas pleinement évaluer sans le chiffre précédent précis, bien que FLEURS-ASL soit un benchmark académique indépendant plutôt qu'un ensemble de comparaison choisi par le vendeur, ce qui est une position de crédibilité sensiblement différente des tables de comparaison auto-sélectionnées sur lesquelles se sont appuyés les lancements de modèles de ce mois-ci.
La table d'erreurs est la partie qui mérite d'être créditée
Google a publié cinq exemples réels de traduction FLEURS-ASL, source et sortie côte à côte, et a nommé les modes de défaillance spécifiques encore présents : signes rares, erreurs de dactylologie sous signature rapide (« prey » mal traduit en « grey »), constructions classificatrices abandonnées (une description perd entièrement « claws »), gestion des constructions passives, et ambiguïté temporelle sans contexte environnant (« kicked off » devient « start »). C'est une divulgation réellement utile — une taxonomie étiquetée de la façon dont le système échoue, pas seulement une affirmation qu'il fonctionne — dans le même esprit que nous avions crédité la fiche de Ling-3.0-tiny pour avoir divulgué son harnais et l'article d'AMIE pour avoir énoncé que son étude était entièrement simulée. Deux détails d'ingénierie méritent d'être notés pour la même raison : l'équipe a spécifiquement réglé le système pour les ~10 % de signeurs gauchers, et pour la signature à une main — le cas réaliste de quelqu'un tenant un téléphone dans son autre main — plutôt que d'optimiser uniquement pour un benchmark de laboratoire propre à deux mains.
La structure de gouvernance est inhabituelle pour cette industrie
SL2T a été conçu par un Googler sourd (Sam Sepah), développé avec des partenaires sourds de collecte de données, évalué dans des études d'utilisateurs sourds, et est désormais supervisé par un AI Sign Language Advisory Committee (AISLAC) réunissant des organisations sourdes mondiales — avec un rapport d'impact conjoint co-écrit avec ce comité documentant les capacités et limites du système au lancement, une pratique que Google dit vouloir poursuivre pour les futures sorties en langue des signes. Une gouvernance participative où la communauté concernée a un droit de regard réel avant et après la sortie n'est pas la norme pour les lancements d'IA que ce blog couvre ; cela mérite d'être nommé comme une vraie différence de processus, pas seulement une ligne dans un communiqué de presse, précisément parce que la divulgation de la table d'erreurs ci-dessus suggère que l'engagement a produit un artefact réel plutôt qu'un argument de communication.
À surveiller
- Le calendrier de « plus de langues à venir » spécifiquement. Le corpus d'entraînement de 50 langues est un atout de recherche et de transfert d'apprentissage ; seul l'ASL est disponible aujourd'hui. L'écart entre « entraîné sur » et « disponible dans » est ce qu'il faut suivre, le même écart que les sagas de poids ouverts de ce mois-ci n'ont cessé de faire apparaître dans un domaine différent.
- La génération en langue des signes, la direction inverse (texte/parole vers signes), que Google nomme explicitement comme travail futur et qui est un problème de génération nettement plus difficile que la traduction vers du texte.
- Si le modèle d'AISLAC — rapport d'impact plus comité consultatif nommé — devient quelque chose que d'autres efforts d'accessibilité IA adoptent, ou reste spécifique à la pratique de cette seule équipe.
Références : Google DeepMind — Putting sign language AI into users' hands · Google DeepMind sur X · couverture liée : AMIE (Video) · Ling-3.0-tiny · Gemini 3.7 Flash