Les 150 M de tokens par MW de Muse Spark Open, décryptés : la majeure partie de ce chiffre correspond à des entrées mises en cache

Meta a publié Muse Spark Open le 15 octobre 2026, et pendant les huit premiers jours de sa vie publique, le chiffre que tous les articles réclamaient manquait. Artificial Analysis mentionnait le prix, mentionnait un Intelligence Index de 39, et n’indiquait aucun débit de service. Le 23 octobre, cela a changé : le modèle apparaît sur AA-AgentPerf à jusqu’à environ 150 millions de jetons par seconde par mégawatt de puissance d’accélérateur sur quatre GPU NVIDIA GB300 ou B300, et à environ 70 millions sur le MI355X d’AMD. Ce n’est pas une histoire de lancement — les poids ont neuf jours. C’est une histoire sur ce que ce chiffre mesure, car la métrique compte les jetons d’entrée comme de sortie, et à l’extrémité de forte concurrence de la courbe, presque tout ce qu’elle compte est une lecture de cache.

Ce que AA-AgentPerf compte réellement

AA-AgentPerf n’est pas un benchmark de chat avec un chronomètre. Artificial Analysis l’a conçu pour des charges de travail d’agents, et c’est précisément la charge de travail qui compte : il rejoue de vraies trajectoires d’agents de codage sur des dépôts publics, les sessions vont jusqu’à environ 200 tours, et les entrées par requête s’échelonnent d’environ 5 000 à 131 000 tokens, avec une moyenne proche de 27 000. Les sorties sont courtes et irrégulières — une médiane autour de 150 tokens, entrecoupée de pics de raisonnement plus longs. Dans cette charge de travail, le rôle d’un serveur consiste principalement à garder en cache un préfixe très volumineux et essentiellement inchangé, et à renvoyer rapidement de petites réponses.

L’unité de référence est définie sur la page datacenter d’Artificial Analysis comme le débit total du serveur — tokens d’entrée plus tokens de sortie par seconde — par mégawatt de puissance d’accélérateur. La puissance est mesurée au niveau du GPU, du die et de la HBM, et non au niveau de la prise secteur ni à la TDP nominale ; un « mégawatt » ici ne correspond donc pas à la facture d’électricité d’une installation. La concurrence n’est pas fixe non plus : le banc d’essai augmente progressivement la charge, puis effectue une recherche binaire pour trouver le plus grand nombre d’agents simultanés que le système maintient sans enfreindre un objectif d’interactivité, évalué selon le débit de sortie p25 et le temps jusqu’au premier token p95 sur une fenêtre en régime stable où chaque agent a été actif pendant au moins 30 secondes.

Ce qui signifie que 150M est un plafond, pas une vitesse de croisière. C'est le débit disponible à la concurrence où la vitesse par agent se situe à la valeur la plus basse que la cible autorise. Le même matériel réglé pour un agent plus réactif renvoie un chiffre bien plus petit, et aucune slide de lancement ne cite celui-là.

Les chiffres tels que publiés

• Plafond de débit — jusqu’à ~150 M tokens/s par MW sur quatre GPU GB300 ou B300, selon Artificial Analysis, le 23 octobre.

• AMD — ~70 M tokens/s par MW sur MI355X, soit environ la moitié du résultat NVIDIA sur la même charge de travail.

• Au sein de NVIDIA — GB300 a affiché une avance sur B300 une fois les vitesses de sortie augmentées, selon le même rapport.

• Vitesse hébergée — 142,9 jetons de sortie/s et 0,76 s jusqu’au premier jeton sur la fiche du modèle, contre une médiane de 75,4 jetons/s pour des modèles comparables à poids ouverts.

• Intelligence — AA Intelligence Index de 39, contre une médiane de 19 pour les modèles à poids ouverts de taille similaire.

• Prix — 1,25 $ par million de tokens d'entrée et 4,25 $ par million de tokens de sortie, avec une remise de 88 % sur le cache, un taux mixte de 0,78 $ et 0,84 $ de dépenses par tâche Index.

Seuls les trois premiers sont nouveaux cette semaine. Les autres figurent sur la page depuis le lancement, et ils vont dans une direction différente de celle du chiffre de débit : peu coûteux par jeton mis en cache, coûteux par jeton généré. C’est en confrontant ces deux faits que réside la lecture utile.

La vérification croisée : 43 points de fonctionnement sur la même charge de travail

Une pull request du cookbook SGLang fusionnée le 22 octobre a publié cinq déploiements GB300 mesurés sur le même scénario d’agent de codage AA AgentPerf, un jour avant la mise à jour du classement. Les cinq points ont été sélectionnés parmi 43 configurations mesurées, en conservant les deux extrémités de la frontière latence-débit et en couvrant 81 % de sa surface. Ils constituent l’image publique la plus claire de l’allure de la courbe de service de Muse Spark Open — et la PR est un projet de framework qui fait la démonstration de sa propre pile, donc à lire comme un meilleur cas optimisé plutôt qu’un cas neutre.

• Concurrence 1, deux nœuds, TP8·EP8 — 485,8 jetons de sortie/s pour un seul utilisateur, 2 514 jetons/s au total par GPU, temps jusqu'au premier jeton p95 de 0,10 s.

• Concurrence 16, quatre GPU, TP4·EP4 — 208,7 tokens/s par utilisateur, 49 646 tokens/s au total par GPU.

• Concurrence 64 — 97,1 jetons/s par utilisateur, 114 342 jetons/s au total par GPU.

• Concurrence de 160 avec HiCache — 40,9 jetons/s par utilisateur, 185 382 jetons/s au total par GPU, dont 1 237 sont des jetons de sortie générés.

• Cache — des taux de réussite du préfixe de 96,8 % à 97,6 % sur les cinq exécutions, ce qui explique pourquoi les chiffres de tokens totaux sont aussi élevés.

Ce dernier point résume tout l’argument en une seule ligne. Au sommet de la courbe, la sortie générée représente environ 0,7 % des tokens comptés par la métrique. Les 99,3 % restants constituent l’entrée, et environ 97 % de cette entrée provenait du cache. Le chiffre phare de 150 M par MW et celui de 40,9 tokens/s par utilisateur correspondent à la même exécution, lue par les deux bouts. Aucun des deux n’est faux, mais ils répondent à des questions différentes, et la seconde est celle que se pose réellement un produit d’agents.

L’arithmétique est au moins cohérente, ce qui joue en faveur du chiffre. Quatre GB300 consomment de l’ordre de cinq à six kilowatts de puissance d’accélérateur ; 150 M tokens/s par MW impliquent environ 750 000 à 900 000 tokens par seconde pour le nœud, soit 190 000 à 225 000 par GPU. Le point le plus haut de SGLang est de 185 382 tokens/s au total par GPU. Même ordre de grandeur, même forme. C’est notre calcul confronté à leur mesure, mais un accord de ce type est ce qui vous indique que le chiffre phare n’a pas été assemblé à partir d’une autre exécution.

Le chiffre AMD est celui qui fait changer une décision.

Deux fois moins de débit par mégawatt n'est pas une simple différence d'arrondi entre fournisseurs. C'est la différence entre deux plans de déploiement, et cela concorde avec la courbe de coûts que SemiAnalysis publie sur InferenceX pour le même modèle en FP4. À 128 tokens/s par utilisateur, le B300 revient à 0,019 $ par million de tokens, contre 0,024 $ pour le MI355X. À 191 tokens/s par utilisateur, 0,027 $ contre 0,044 $. À 254, 0,046 $ contre 0,076 $. Il s'agit de points de graphique interpolés à partir d'exécutions mesurées, valorisés à 2,26 $ l'heure-puce B300 et 1,50 $ l'heure-puce MI355X.

La puce d’AMD est moins coûteuse à l’heure et plus coûteuse par token à chaque point de cette courbe, et l’écart se creuse à mesure que l’on demande plus d’interactivité. C’est la forme à laquelle on s’attend lorsque l’efficacité énergétique d’une plateforme est la moitié de celle de l’autre, et c’est pourquoi la répartition 70 M contre 150 M mérite plus d’attention que ne le fait le 150 M à lui seul.

Deux réserves, toutes deux formulées par les évaluateurs plutôt que par nous. Lors du lancement de {{1}}AA-AgentPerf{{/1}} en juin, Artificial Analysis a noté que sa configuration {{2}}MI355X{{/2}} avait été construite en interne plutôt que soumise par {{3}}AMD{{/3}}, et que la marge de manœuvre pourrait être plus grande sur les systèmes réglés par ses soins — la valeur {{4}}AMD{{/4}} constitue donc un plancher, ce qui n’est pas le cas des valeurs {{5}}NVIDIA{{/5}}. Par ailleurs, un chiffre de débit n’est pas un résultat d’exactitude. Le seuil d’exactitude {{6}}MI35x{{/6}} couvrant le chemin {{7}}ROCm{{/7}} de ce modèle n’a toujours pas été exécuté sur du matériel, et l’un de ses deux seuils de réussite/échec a été défini comme valeur provisoire, sans aucune mesure {{8}}AMD{{/8}} à l’appui. Depuis cette semaine, la question de l’efficacité a une réponse. Celle de l’exactitude, non.

Ce que cela fait au calcul auto-hébergement contre location

Muse Spark Open est affiché à 1,25 $ par million de tokens en entrée et 4,25 $ par million en sortie, avec une remise de 88 % sur le cache qui ramène une charge de travail mixte 7:2:1 à 0,78 $ par million. Voilà les chiffres qu'un déploiement auto-hébergé doit battre, et c'est précisément sur cette comparaison que la majorité d'Internet se trompera cette semaine.

Le chiffre InferenceX de 0,019 $ par million de tokens sur B300 à 128 tokens/s par utilisateur, à côté de 0,78 $ en coût mixte, donne l'impression que l'auto-hébergement est quarante fois moins cher. Ce n'est pas le cas. Les 0,019 $ sont calculés sur l'ensemble des tokens, et dans une trace d'agent, presque tous sont des entrées mises en cache. Les 0,78 $ mélangent entrée et sortie selon un ratio qui donne à la sortie bien plus de poids qu'une trace AgentPerf. Tarifez séparément l'entrée et la sortie de votre propre charge de travail avant de croire à un quelconque multiple — et notez qu'un coût matériel publié par token exclut généralement les heures d'inactivité, le personnel d'exploitation et la capacité que vous réservez pour les pics.

La version honnête : l’auto-hébergement de Muse Spark Open peut être rentable, et la charge de travail où il gagne ressemble presque exactement à celle qu’AgentPerf teste — des préfixes longs, stables et cacheables, des réponses générées courtes, une forte concurrence, un nœud qui reste occupé. Un produit de chat avec des invites courtes et des réponses longues est à peu près l’inverse, et à 4,25 $ par million de jetons de sortie, le prix de location n’est pas la partie de la facture qui fera mal.

• Poids — le checkpoint BF16 fait environ 1,65 To ; la version NVFP4 fait environ 537 Go.

• Nœud minimal raisonnable — quatre GPU Blackwell Ultra, la configuration d'où proviennent les nouveaux chiffres de débit. Meta a également démontré le modèle fonctionnant localement sur deux M5 Ultra Mac Studios, ce qui est une autre histoire : une démonstration sur station de travail, pas un plan de service.

• Licence — la Muse Model License. Gratuite pour la plupart des usages, mais les entreprises dont le chiffre d’affaires brut annuel dépasse 20 M$ doivent conclure un accord avec Meta pour l’offrir en tant que service, et les produits construits sur cette base doivent comporter la mention « Built with Muse Spark Open ».

Où l’exécuter, et ce qu’un routeur change

OrcaRouter achemine Muse Spark 1.1 et Muse Spark 1.2 et ne sert pas le checkpoint ouvert, donc rien ici ne constitue une affirmation sur son hébergement. Ce qu'il faut savoir, c'est que les checkpoints hébergés sont affichés au même tarif de 1,25 $ et 4,25 $ que le prix API propre au modèle ouvert. Les poids ouverts ne sont donc pas un moyen moins cher d'appeler ce modèle ; ils sont un moyen de posséder la chaîne de service. Si vous n'avez pas l'intention de la posséder, le choix se fait entre checkpoints hébergés, et ce choix est un changement de configuration plutôt qu'une migration.

Si vous comptez l’adopter, la façon sensée de déterminer si votre charge de travail se comporte comme une trace AgentPerf est d’exécuter les deux en parallèle plutôt que de basculer. Conservez un point de contrôle hébergé comme solution de repli dans votre propre pile, dirigez une part du trafic vers le nouveau déploiement, et revenez en arrière lorsque les chiffres déçoivent. Sur la branche hébergée de cette comparaison, OrcaRouter répercute le prix catalogue du fournisseur avec 0 % de marge, de sorte que le benchmark par rapport à votre matériel n’est pas majoré de notre côté ; le basculement automatique et le DSL de routage font que déplacer du trafic devient un changement de configuration plutôt qu’un changement de code ; et la fusion de modèles est là si vous préférez comparer les réponses sur un panel plutôt que comparer l’infrastructure.

Que regarder

• Agents par mégawatt — Les résultats du lancement de juin d'AA-AgentPerf ont été publiés dans cette unité, soit environ 91 500 agents par MW pour un GB300 NVL72 sur DeepSeek V4 Pro au palier de 20 tokens/s. Un nombre d'agents comparable pour Muse Spark Open est ce qui le rendrait classable face aux autres modèles plutôt que simplement descriptible.

• L'analyse approfondie du serving de Meta du 26 octobre — rapportée par le fournisseur, donc à présenter comme telle lorsqu'elle paraîtra, mais le détail utile à rechercher est le niveau de concurrence que suppose le chiffre d'efficacité.

• Une configuration MI355X soumise par AMD — le résultat à demi-débit est mesuré par rapport à une configuration qu'Artificial Analysis a construite elle-même, et AA a déclaré que la marge disponible y est peut-être plus importante.

• Le seuil de précision MI35x arrive avec des chiffres réels — l'efficacité sans contrôle d'exactitude ne constitue que la moitié d'une décision de déploiement, et la moitié de ce seuil qui reste un espace réservé n'est toujours qu'un espace réservé.

La lecture utile de cette semaine est étroite et précise. Muse Spark Open est, selon les données désormais publiées, un modèle exceptionnellement efficace à servir sur Blackwell à forte concurrence avec un contexte cachable, environ deux fois plus efficace dans ce cadre que sur MI355X pour la même tâche, et facturé comme un modèle premium lorsqu'on le loue au token. Chacune de ces affirmations s'appuie sur un chiffre. Aucune d'elles ne dit que le modèle est rapide au sens où un utilisateur en fait l'expérience — ce chiffre est de 40,9 tokens par seconde, à la concurrence où se situe le chiffre phare.