Google a publié aujourd'hui les résultats d'AMIE (Video) — une configuration vidéo en temps réel d'AMIE, son IA médicale de recherche, construite sur Gemini et Project Astra. Contrairement à l'AMIE textuelle qui l'a précédée, cette version regarde : elle perçoit les signaux non verbaux, guide un patient à travers des manœuvres d'examen physique via la caméra, et raisonne diagnostiquement, tout en tenant une conversation orale naturelle. Dans une étude randomisée de 300 consultations, des évaluateurs cliniques l'ont notée à égalité avec des médecins certifiés sur les compétences cliniques essentielles — et l'ont notée significativement meilleure que ces mêmes médecins sur un point précis : faire ressortir des signes physiques et guider les patients à travers des manœuvres d'examen. Le résultat phare et ses limites méritent tous deux d'être pris au sérieux, et l'article de Google est inhabituellement direct sur le second point.
Le problème d'ingénierie : parler vite et réfléchir lentement, en même temps
Le problème de conception intéressant ici n'est pas médical, il est architectural, et c'est un problème que la couverture harnais de ce mois-ci ne cesse de croiser dans d'autres domaines : un seul modèle ne peut pas à la fois tenir un rythme conversationnel naturel et faire un raisonnement soigné en plusieurs étapes, parce que le raisonnement prend du temps et que le silence érode la confiance dans une conversation en direct. La réponse d'AMIE (Video) est une architecture multi-agents asynchrone, trois agents spécialisés tournant en continu et en parallèle :
- L'agent Talker — la voix orientée patient, optimisée pour un flux conversationnel naturel à faible latence, intégrant les indications des deux autres agents dès qu'elles sont disponibles plutôt que d'attendre dessus.
- L'agent Planner — tourne en arrière-plan, met continuellement à jour le diagnostic différentiel et le plan de prise en charge, signale les lacunes d'information, reprioritise ce qu'il faut demander ensuite.
- L'agent Perception — lit en continu le flux audiovisuel à la recherche de signaux non verbaux cliniquement pertinents (détresse visible, signes physiques, signaux auditifs) et les contextualise par rapport à la conversation en cours.
Remarquez ce que c'est : le même motif « découpler la couche interactive rapide de la couche de raisonnement lente » qui apparaît chaque fois que quelqu'un construit un agent devant agir en temps réel tout en réfléchissant soigneusement — c'est l'instance du domaine médical d'un problème de conception de harnais que l'industrie ne cesse de résoudre à partir de zéro, domaine par domaine, plutôt que comme une primitive partagée. AMIE (Video) est construite par-dessus Gemini et Project Astra plutôt que d'être un nouveau modèle de fondation — c'est une histoire d'orchestration et d'évaluation, pas une histoire de mise à l'échelle, ce qui mérite d'être nommé clairement puisqu'il est facile de lire les titres « Google AI » comme portant toujours sur un modèle plus gros.
L'étude, et les deux résultats nets
Google a mené une étude randomisée à trois bras, de type Objective Structured Clinical Examination (OSCE) — le même format de patient standardisé utilisé dans la formation médicale et l'obtention de licence réelles — couvrant 100 scénarios cliniques répartis sur cinq systèmes corporels (cardiopulmonaire, abdominal, ORL/tête/yeux, neurologique/psychiatrique, musculosquelettique), avec 15 acteurs patients entraînés menant 300 consultations réparties entre : AMIE (Video), AMIE (Text) comme référence pour isoler ce que l'audiovisuel apporte réellement, et dix médecins généralistes certifiés consultant via la même interface vidéo. Un panel indépendant distinct de 20 généralistes expérimentés a noté chaque consultation en aveugle, en utilisant des grilles cliniques établies plus des critères spécifiques à chaque cas.
Deux résultats se dégagent nettement. Une parité sur les compétences essentielles : la rigueur de l'anamnèse, la précision diagnostique, la pertinence de la prise en charge et la qualité de la communication sont toutes revenues statistiquement à égalité entre AMIE (Video) et les médecins, et AMIE (Video) a égalé ou battu sa propre version texte sur les mêmes mesures — la modalité vidéo n'a pas été une régression, ce qui, étant donné à quel point la perception audiovisuelle en temps réel est plus difficile que l'analyse de texte, n'était pas acquis d'avance. Une victoire précise sur l'examen physique : AMIE (Video) a obtenu un score significativement plus élevé que les médecins et qu'AMIE (Text) pour faire ressortir des signes physiques et guider proactivement les patients à travers des manœuvres d'examen par vidéo.
Ce second résultat mérite qu'on s'y attarde plutôt que de simplement le répéter. Qu'une IA surpasse des médecins licenciés sur une compétence clinique pratique, même menée virtuellement, est une affirmation réellement frappante, et l'étude n'explique pas complètement le mécanisme — parmi les explications plausibles : suivre systématiquement une checklist sans impatience ni contrainte de temps, un seuil plus bas pour demander à un patient de répéter ou de refaire une manœuvre, ou simplement que les indications d'examen d'AMIE aient été inscrites dans son entraînement de façon plus complète que les habitudes variables en cabinet d'un médecin donné. C'est un résultat à surveiller pour voir s'il se reproduit, pas un fait établi sur l'IA contre les médecins.
Les patients ont apprécié — sur une mesure qui mérite un second regard
Les acteurs patients ont « fortement préféré » l'interface vidéo au chat textuel, la jugeant plus facile à utiliser et plus efficace pour communiquer leurs préoccupations — un résultat sans surprise étant donné la quantité d'information diagnostique qu'une description écrite de symptômes fait perdre. Plus notable : les acteurs patients ont noté AMIE (Video) favorablement sur l'empathie, le rapport et la confiance dans les soins, devant à la fois les médecins humains et AMIE (Text). Un point à signaler ici : au moins un résumé tiers de l'article sous-jacent trouvé pendant nos recherches décrit les patients préférant les médecins spécifiquement sur le « rapport et la construction du partenariat » comme sous-mesure plus étroite — ce qui serait en tension avec le cadrage principal de Google lui-même. Nous n'avons pas pu vérifier indépendamment quelle lecture est correcte (arXiv n'est pas accessible depuis ici), donc il faut traiter le résultat sur l'empathie/le rapport comme le résultat rapporté par Google, pas encore recoupé avec une source que nous pouvions consulter directement.
La section limitations fait un vrai travail
Il faut reconnaître le mérite de Google : son propre article énonce les réserves clairement plutôt que de les enterrer. Chaque consultation de cette étude a utilisé des acteurs patients entraînés, pas de vrais patients — des acteurs habiles, aussi compétents soient-ils, « ne peuvent pas reproduire complètement la complexité et l'imprévisibilité des rencontres cliniques réelles », et les 100 scénarios se sont limités à des conditions pouvant être authentiquement jouées, ce qui exclut par construction les présentations où la perception audiovisuelle compterait le plus sur le plan diagnostique. L'évaluation automatisée, menée séparément de l'étude humaine, a trouvé des « erreurs perceptuelles et de raisonnement occasionnelles » même là où la qualité globale de la conversation était bien notée, et le système — construit sur Project Astra, que Google qualifie explicitement de prototype — présente des problèmes techniques intermittents qui perturbent le naturel de la conversation. La conclusion de Google elle-même : des « études avec de vrais patients et de vraies conditions cliniques » sont « une prochaine étape essentielle avant de pouvoir tirer des conclusions sur l'utilité en conditions réelles ». C'est le périmètre correct pour une étude OSCE randomisée mais simulée, énoncé par les personnes ayant tout intérêt à l'arrondir vers le haut.
Ce n'est pas non plus le premier pas d'AMIE vers des preuves en conditions réelles — Google mentionne une étude de faisabilité clinique existante avec le Beth Israel Deaconess Medical Center pour l'AMIE textuelle, et une étude randomisée nationale en cours avec Included Health évaluant l'IA en soins virtuels réels. AMIE (Video) se situe en amont des deux : une démonstration de capacité qui doit franchir la validation avec de vrais patients avant de devenir une affirmation clinique plutôt qu'une affirmation de recherche.
À surveiller
- La reproduction du résultat sur le guidage d'examen physique — avec de vrais patients, où la coopération, la gêne et les seuils de douleur ne se comportent en rien comme ceux d'un acteur entraîné.
- La résolution ou non du statut de prototype de Project Astra. AMIE (Video) hérite de chaque limite de la plateforme sur laquelle elle est construite ; un Astra qui mûrit est une condition préalable pour que ceci devienne plus qu'une démo de recherche, indépendamment de toute amélioration propre à AMIE.
- Si d'autres laboratoires publient une étude clinique audiovisuelle comparable. OpenAI, Anthropic et Microsoft ont tous des efforts actifs en santé ; un second laboratoire reproduisant « consultation vidéo de niveau expert, en simulation » nous dirait s'il s'agit d'un véritable seuil de capacité ou d'un artefact propre à l'architecture et à la conception d'évaluation de Google.
- Le chemin réglementaire et les études en conditions réelles, pas l'article. Google est explicite sur le fait qu'il s'agit de recherche, pas d'un produit — le vrai signal sera de savoir si les études BIDMC et Included Health finissent par porter sur une AMIE dotée de vidéo avec de vrais patients, et ce que cela montrera.
Références : Google Research — Advancing AMIE towards expert-level audio-visual clinical consultations · arXiv — Towards Expert-level Medical AI for Real-time Video Consultations (2608.09861) · couverture liée : Le vrai problème du scientifique IA n'a jamais été la science · Prime Agent et le harnais RLM · Frontier Arcade : tendances et prédictions