NVIDIA AI a présenté Nemotron 3.5 Transcribe, « un modèle MoE de 30B pilotable par prompt, aux poids ouverts et avec environ 4B de paramètres actifs », qui réunit dans un seul checkpoint la transcription en 40 langues, l'attribution des locuteurs, la traduction, le prompting contextuel et la compréhension audio. Les poids sont disponibles sur Hugging Face, avec une démo en ligne et un guide d'adaptation au domaine accessibles depuis l'annonce.
Ce qu'il fait
Plutôt qu'un transcripteur figé, le modèle est piloté par un prompt textuel accompagnant l'audio. Parmi les exemples donnés par NVIDIA : ajouter des étiquettes de locuteurs à une transcription, la traduire en espagnol puis en japonais, et repérer puis masquer les informations personnelles identifiables. La démo montre des sous-titres colorés avec étiquettes de locuteurs.
- Durée et locuteurs : enregistrements jusqu'à une heure, avec jusqu'à huit locuteurs identifiés.
- Langues : 40 pour la transcription, la prise en charge variant selon la tâche : la traduction et l'attribution des locuteurs ne couvrent donc pas toutes les langues.
- Contexte : la fiche du modèle indique un contexte de 65 536 tokens et les précisions BF16, FP8 et NVFP4.
- Taille : l'annonce parle de 30B avec environ 4B actifs. La fiche du modèle inclut l'encodeur audio et indique 34B au total, dont 4,3B actifs.
- Licence : OpenMDW-1.1, selon la couverture du lancement.
Les chiffres
NVIDIA affirme que Nemotron 3.5 Transcribe se classe premier parmi les modèles à poids ouverts sur l'Open ASR Leaderboard de Hugging Face pour l'anglais, avec un taux d'erreur de mots moyen de 5,33 %. La couverture cite aussi Artificial Analysis, où il partage la première place parmi les modèles à poids ouverts avec un AA-WER de 2,8 %, à égalité avec Voxtral Small de Mistral, qui compte environ 24B de paramètres (valeurs non arrondies : 2,81 % contre 2,77 %), soit la même précision avec environ un sixième des paramètres actifs. Les deux chiffres sont ceux rapportés par NVIDIA et par la couverture du lancement.
Granary v2
NVIDIA a publié le modèle avec Granary v2, un jeu de données vocales ouvert dont les manifestes couvrent 463 062 heures d'audio en 48 langues, selon la couverture du lancement.
Il fait suite au Nemotron 3.5 Super VL de NVIDIA plus tôt ce mois-ci, et rejoint un domaine de la transcription très fréquenté, qui comprend Gemini 3.5 Transcribe de Google et Dessa de Block, un modèle exclusivement vocal.