Soofi S a été entraîné intégralement sur le German Industrial AI Cloud, une infrastructure d'IA souveraine de classe HPC exploitée par Deutsche Telekom à Munich. Ce n'est pas un argument publicitaire : la puissance de calcul, les données et l'infrastructure relèvent toutes du droit allemand et européen, sans la moindre dépendance à AWS, Azure, GCP ou à un autre fournisseur américain. Pour la conformité au RGPD, pour les marchés publics, pour les secteurs soumis à des obligations de résidence des données, cela change tout : « poids ouverts, mais entraîné sur un cluster Nvidia américain » n'offre pas les mêmes garanties.
Une architecture réellement nouvelle
Le modèle hybride n'active que 3 des 30 milliards de paramètres par token et maintient le cache d'inférence quasi constant, quelle que soit la longueur du contexte. C'est là son principal atout technique. L'attention des Transformers classiques repose sur un cache clé-valeur qui grossit linéairement avec le contexte ; l'architecture Mamba-2/MoE, elle, combine 23 couches Mamba-2/MoE et 6 couches d'attention, avec 128 experts de routage dont 6 actifs par token. Mamba étant un modèle à espace d'états, il conserve un état récurrent de taille fixe au lieu de mettre en cache tous les tokens précédents. Conséquence : les très longs contextes ne coûtent pas proportionnellement plus de mémoire. Pour le traitement documentaire industriel et les usages en entreprise sur de longs contextes, l'avantage sur les architectures purement Transformer est bien réel.
Un engagement de transparence inédit dans le domaine
Soofi S sera publié à des conditions d'accès très permissives : poids, sélection de checkpoints intermédiaires, inventaire complet des données source par source, hyperparamètres, code d'entraînement et code d'évaluation. Lorsque les licences d'origine le permettent, les artefacts ayant servi à constituer le corpus sont eux aussi diffusés sous licence permissive ; les sources sous licence commerciale, elles, sont documentées par des statistiques agrégées et par le détail exact de leur poids dans le mélange.
Aucun autre modèle de la base Frontier Arcade ne publie un inventaire de données aussi complet. La plupart des laboratoires ne citent même pas leurs sources. Soofi S publie le mélange exact : chaque source, la part des tokens d'entraînement qu'elle représente, et la licence dont elle relève. Le domaine n'avait encore jamais vu une telle transparence à cette échelle.
Des fleuves plutôt que des numéros de version
Soofi-S-Rhine-Preview et Soofi-S-Isar-Preview, les deux variantes de raisonnement, portent des noms de cours d'eau : le Rhin, et l'Isar, qui traverse Munich. Le choix n'a rien d'anodin — c'est une revendication géographique européenne.