Linum a publié un modèle texte-vers-image Pyramid-JiT de 2B, « une étape vers des modèles vidéo plus abordables », entraîné de zéro pour seulement environ 20 000 dollars. Le laboratoire se décrit comme « un laboratoire de deux personnes qui étudie des architectures plus efficaces pour l'image et la vidéo génératives ». Les détails et les poids sont dans les notes de terrain de Linum, et les poids sous licence Apache 2.0 sont sur Hugging Face.
L'architecture
Le mois dernier, Linum a publié Pyramid-JiT, une architecture dans l'espace des pixels qui, selon lui, a convergé 11 fois plus vite que son équivalent en diffusion latente. D'après les fiches du modèle, il s'agit d'un seul transformeur de diffusion de type décodeur, qui lit l'image bruitée sous forme de patchs de 32 par 32 pixels (256 tokens en 512 par 512) avec la légende, sans VAE. Une fiche indique 2,2B de paramètres et l'autre 2B.
Le checkpoint
- Coût et données : la fiche Hugging Face du checkpoint « pjit-21k » chiffre le calcul à environ 21 000 dollars, sur 660M d'échantillons d'entraînement, contre « ~20 000 dollars » dans l'annonce.
- Poids : environ 8,74 Go en fp32, sous licence Apache 2.0.
- Limites : la fiche le qualifie de checkpoint de recherche expérimental, pas de modèle de production. Il a été entraîné sur très peu d'images de texte rendu, voire aucune, et ne peut donc pas écrire de texte ni produire d'affiches de façon fiable, et il peine sur les plans en pied, les foules et les interactions entre plusieurs personnes.
- Comparaison : l'article de Linum le compare à son précédent Linum v2, un modèle texte-vers-vidéo ouvert de 2B, P-JiT obtenant un score plus bas sur une métrique et plus haut sur une autre.
Les chiffres proviennent de l'annonce de Linum et des fiches du modèle, et les détails au-delà de l'annonce proviennent de résultats de recherche, l'article du blog n'ayant pas pu être ouvert.