NVIDIA a lancé Nemotron 3.5 Super VL, un nouveau modèle ouvert qui combine raisonnement et utilisation d'outils avec la compréhension du texte, des images, des documents et de la vidéo, destiné aux agents d'IA de longue durée. Il compte 120B de paramètres au total dont 12B actifs : seuls 10 % des poids servent pour un token donné. NVIDIA AI l'a annoncé sur X le 15 octobre.
Tiré de l'annonce de NVIDIA AI.
Ce que c'est
Cette sortie réunit plusieurs capacités dans un seul modèle. Le raisonnement et l'utilisation d'outils sont ce dont un agent a besoin pour planifier et agir sur de nombreuses étapes, tandis que la compréhension du texte, des images, des documents et de la vidéo permet au même modèle de traiter différents types d'entrées.
La démonstration de NVIDIA se déroule dans Hermes Agent, une interface d'agent dont la barre latérale propose Chat, Sessions, Files, Models, Logs, Cron et Skills. Dans une nouvelle session, la requête est « give me a morning brief ». Le modèle affiche une courte étape de réflexion d'environ 52 tokens, concluant que l'utilisateur veut un morning brief et qu'il doit charger la compétence correspondante. Il effectue ensuite deux appels d'outils : il consulte une compétence dont le nom commence par « morning-brief », et il exécute une commande Python dans le terminal. Deux autres courtes étapes de réflexion suivent, d'environ 47 et 36 tokens, avec des totaux cumulés d'environ 54 et 66 tokens.
Contexte
Nemotron 3.5 Super VL fait suite à Nemotron 3.5 Lightning, la sortie d'août de 30B de paramètres au total et environ 3B actifs, qui a le même ratio de 10 % de paramètres actifs pour le quart de la taille. Parmi les autres sorties ouvertes récentes de NVIDIA figure un modèle enseignant à l'origine de Nemotron 3 Ultra, son modèle phare de 550B.