Carte de titre 16:9 générée avec le titre « Step 5 Preview vs Fugu Ultra v2 » et le sous-titre « L'un est un checkpoint que vous pouvez télécharger. L'autre est une politique appliquée aux modèles. » Trois puces indiquent « $1.00 vs $5.00 en entrée par million de tokens », « 29 vs aucun score sur l'indice v5 » et « poids du 15 oct. vs aucun poids ». Un pied de page indique « Prix selon les grilles tarifaires de StepFun et Sakana AI ; indice selon Artificial Analysis v5.0. » Le logo OrcaRouter figure dans le coin inférieur droit.
Guides & Insights

Step 5 Preview vs Fugu Ultra v2 : L'un d'eux est un modèle, l'autre est un routeur

Auteur

Alistair Wren

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

La comparaison que la plupart des gens veulent entre Step 5 Preview et Fugu Ultra v2 de Sakana AIest un tableau de benchmarks. Aucune des deux parties ne peut le fournir honnêtement. Step 5 Preview dispose d'une seule mesure indépendante, obtenue selon une grille d'évaluation remplacée la semaine dernière. Fugu Ultra v2 ne dispose d'absolument aucune mesure indépendante, car les évaluateurs qui publient un indice d'intelligence n'ont jamais publié de page à son sujet. Ce que les deux ont, en revanche, c'est un rapport de prix de cinq pour un exactement sur les tokens d'entrée et une différence de nature qui rend ce rapport presque dénué de sens : l'un est un checkpoint de type mixture-of-experts de 600 milliards de paramètres que vous pouvez télécharger et exécuter sur votre propre matériel, et l'autre est une couche d'orchestration qui répond à votre requête en la dirigeant vers un ensemble de modèles d'autres personnes.

Cette différence n'est pas un détail. Elle détermine ce que vous achetez réellement, ce qui advient de vos résultats lorsque le fournisseur change d'avis, et si un agent à long horizon bâti sur l'un ou l'autre de ces deux éléments peut être réexécuté le trimestre suivant pour produire le même résultat.

Generated 16:9 comparison card headed 'Step 5 Preview vs Fugu Ultra v2' with two columns. Left column, Step 5 Preview: 600B total / 27B active; 1M-token context; text, image and video input; $1.00 input; $2.70 output; 90 per cent cache discount; Intelligence Index v5 score 29; weights published October 15. Right column, Fugu Ultra v2: orchestrated pool of models; 1M-token context; $5.00 input and $30 output, $10 and $45 above 272k context; $0.50 cached input; no Artificial Analysis page; no weights. A footer reads 'Vendor figures except the index, which is Artificial Analysis v5.0; Fugu Ultra v2 has no index entry.'

Deux produits portant le même libellé marketing

StepFun a mis à disposition Step 5 Preview sur son API le 20 septembre 2026, puis a publié les poids BF16 et FP8 sur Hugging Face et ModelScope le 15 octobre. Il s'agit d'un modèle unique : un mélange d'experts clairsemé avec 600 milliards de paramètres au total et 27 milliards actifs par token, un routage de 8 experts sur 352 plus un expert partagé, dans une pile de 92 couches que le fournisseur décrit comme « étroit-profond ». La fenêtre de contexte est de 1 million de tokens, l'entrée peut être du texte, des images ou de la vidéo, et la sortie est du texte.

Fugu Ultra v2 est une version ponctuelle, et non une nouvelle architecture — Sakana AI l’a publiée le 11 septembre 2026 comme une actualisation de Fugu Ultra du 22 juin, avec un identifiant de modèle fugu-ultra-v2.0 et une migration de paramètres en une seule ligne depuis la version précédente. C’est un chef d’orchestre : une requête entre, le système décide quel modèle ou quels modèles de son pool doivent la traiter, les exécute et synthétise la réponse. Le pool exclut volontairement Claude Fable 5, Claude Fable 5.1 et GPT-6 Astra. L’argument de Sakana en faveur du pool réduit est que les membres plus faibles tiraient l’agrégat vers le bas ; l’effet de second ordre, que Sakana ne met pas en avant, est que la composition de ce que vous achetez est une décision du fournisseur qui peut changer sans numéro de version.

Les lignes de spécifications, des deux côtés

• Ce que c’est — Step 5 Preview : un modèle de mélange d’experts 600B/27B téléchargeable. Fugu Ultra v2 : un ensemble orchestré de modèles avec une couche de synthèse par-dessus.

• Date de sortie — Step 5 Preview : API le 20 septembre 2026, poids le 15 octobre 2026. Fugu Ultra v2 : 11 septembre 2026, une actualisation d'une version originale de juin 2026.

• Fenêtre de contexte — Step 5 Preview : 1 M de tokens. Fugu Ultra v2 : 1 M de tokens, avec un palier tarifaire au-delà de 272k tokens.

• Modalités d’entrée — Aperçu de l’étape 5 : texte, images et vidéo. Fugu Ultra v2 : tout ce que les membres de son pool acceptent, ce que Sakana n’énumère pas par modalité.

• Prix d'entrée par million de tokens — Step 5 Preview : 1,00 $. Fugu Ultra v2 : 5,00 $, passant à 10,00 $ au-delà de 272k tokens de contexte.

• Prix de sortie par million de tokens — Step 5 Preview : 2,70 $. Fugu Ultra v2 : 30,00 $, passant à 45,00 $ au-delà de 272k tokens.

• Entrée mise en cache par million de tokens — Step 5 Preview : une remise de 90 % sur 1,00 $. Fugu Ultra v2 : 0,50 $, passant à 1,00 $ au-delà de 272 k tokens.

• Score indépendant — Step 5 Preview : 29 sur l'Artificial Analysis Intelligence Index v5.0. Fugu Ultra v2 : aucune page Artificial Analysis n'existe, donc aucun score.

• Poids — Step 5 Preview : téléchargeables sous licence StepFun Model License 1.0. Fugu Ultra v2 : aucun. Le pool dans lequel il puise est constitué des poids d’autres fournisseurs, fournis selon les conditions de ces autres fournisseurs.

Ce que cinq dollars de données d’entrée permettent réellement d’obtenir

Le ratio annoncé est de cinq pour un en entrée et d’un peu plus de onze pour un en sortie, et ces deux chiffres donnent de Step 5 Preview une image flatteuse que la facture par tâche pourrait ne pas confirmer. Fugu Ultra v2 est tarifé comme un système qui s’attend à dépenser des tokens : il distribue une requête, plusieurs modèles répondent, et un synthétiseur écrit par-dessus les résultats. L’argument de Sakana selon lequel ajouter davantage d’agents ne multiplie pas votre facture concerne les niveaux d’abonnement — Standard à 20 $, Pro à 100 $ et Max à 200 $ par mois, tous incluant Fugu, Fugu Ultra et Fugu Max — et non la grille tarifaire à l’usage. Sur la grille à l’usage, l’orchestration est une activité verbeuse, et la sortie est facturée à 30 $ par million.

L’économie de Step 5 Preview va dans l’autre sens. Artificial Analysis mesure 179,1 jetons de sortie par seconde sur l’API de StepFun, contre une médiane de catégorie de 74,1, 2,35 $ par tâche d’index complète, et un coût mixte de 0,54 $ par million de jetons à un ratio de hits de cache de sept pour deux pour un. Face à une médiane de catégorie de 1,40 $ par tâche sur la même page, c’est un modèle bon marché qui est aussi rapide.

Ainsi, la présentation honnête n’est pas « Fugu coûte cinq fois le prix ». Elle consiste à dire que Fugu facture un supplément de prix pour une capacité que Step 5 Preview ne revendique pas — l’arbitrage entre plusieurs modèles à chaque requête — et que l’intérêt de payer ce supplément dépend entièrement de votre conviction que cet arbitrage s’acquitte mieux que ne le ferait un seul modèle solide du travail que vous avez à faire. Les preuves publiées par Sakana à l’appui de cette conviction sont produites par le fournisseur lui-même : Chartography 48,3 contre 27,3 pour Claude Opus 5 et 29,5 pour Claude Fable 5, DeepSWE 74,3, meilleur ou ex æquo en tête sur cinq des huit benchmarks et parmi les deux premiers sur sept des huit. Ce sont de vrais chiffres produits par l’entreprise qui vend le produit, et ce sont les seuls chiffres qui existent.

Screenshot of the Artificial Analysis page for Step 5 Preview, headed 'Step 5 Preview Intelligence, Performance & Price Analysis'. The header marks it an open-weights model from StepFun, released September 2026. Four cards read Intelligence 29 at rank 6 of 17, Speed 179.1 output tokens per second at rank 8 of 78, Cost $2.35 per Intelligence Index task with In $1.00, Out $2.70 and a 90% cache discount, and Verbosity 130M output tokens. The Comparison Summary text says the model is above average in intelligence but somewhat expensive and notably fast, scoring 29 against a median of 23. Technical specifications list reasoning yes, input modality icons for text, image, audio and video, output text, 1M-token context, 600B total parameters, 27B active parameters, StepFun Model License 1.0 and weights on Hugging Face. The panel ends '124 models in this class'.

Le test de portabilité, qui est la véritable différence

Voici la question qui distingue les deux plus nettement que n’importe quel score. Supposez que vous construisiez un agent sur Fugu Ultra v2 en septembre 2026, et qu’il fonctionne. En novembre, Sakana ajoute un modèle au pool, ou en retire un — elle a déjà retiré trois modèles de pointe d’un coup — ou modifie la pondération du synthétiseur. Vos prompts sont les mêmes, vos entrées sont les mêmes, et vos sorties sont différentes, sans incrément de version à épingler ni entrée de journal des modifications qui vous indique quel comportement a changé. Vous n’achetez pas un modèle ; vous achetez une politique appliquée à des modèles, et cette politique est un cadran que le fournisseur tourne.

Ce n’est pas une critique de Sakana. C’est la nature même du produit, et pour bon nombre de charges de travail, c’est exactement ce que vous voulez — un fournisseur dont le métier à plein temps consiste à choisir le bon modèle pour chaque requête battra souvent votre choix bricolé à la main. Mais cela devrait être facturé pour ce que c’est : une relation de service continue, pas un actif.

Step 5 Preview est l'autre forme. Les poids existent. Ils ne sont pas ouverts au sens de l'OSI — la StepFun Model License 1.0 maintient une condition d'attribution sur les sorties utilisées de manière substantielle, exige des fabricants de matériel qu'ils négocient une licence séparée et exige une licence commerciale pour les opérateurs de modèle en tant que service dont le chiffre d'affaires annuel dépasse 20 millions de dollars — mais le comportement que vous testez aujourd'hui est celui que vous pourrez exécuter dans un an, sur du matériel que vous contrôlez, sans demander l'autorisation. Le checkpoint FP8 nécessite environ 773 Go de VRAM et au minimum quatre GPU avec le B300 comme cible par défaut ; la voie Hopper nécessite huit H200. La variante NVFP4 réduit cela à environ 473 Go et plafonne le contexte utilisable à 320 k jetons. Aucune des deux voies n'est bon marché, et aucune n'est aussi bon marché que l'API, ce qui est l'argument habituel pour appeler un modèle plutôt que de l'héberger.

Le déficit de transparence joue dans les deux sens

Il manque à chaque partie quelque chose que l’autre publie.

Step 5 Preview publie une fiche tarifaire, une limite de contexte, un nombre de paramètres, une licence, des recettes de service pour vLLM et SGLang le jour où les poids sont sortis, ainsi qu’un score indépendant. Ce qu’il ne publie pas, c’est une confrontation directe à harnais égal face à un concurrent, et son tableau de benchmarks fournisseur — Terminal-Bench 4.0 à 33,3, DeepSWE v1.1 à 67,7, FrontierFinance à 66,4, CyberGym à 84,7 — est exactement cela, un tableau de fournisseur.

Fugu Ultra v2 publie une présentation de son architecture, une politique de pool, un tableau de ses propres benchmarks et une tarification par abonnement véritablement inhabituelle sur ce marché. Ce qu’il ne publie pas, c’est le moindre chiffre vérifié par un évaluateur indépendant, et les évaluateurs ne lui ont pas consacré de page, ce qui est la manière la plus limpide de dire que le score n’existe pas plutôt qu’il est faible.

Lorsque les deux parties s’appuient sur des déclarations de fournisseurs, le départage ne consiste pas à savoir quel fournisseur est le plus digne de confiance. Il consiste à déterminer lequel a engagé quelque chose de vérifiable. Le fait que StepFun engage les poids le 15 octobre est une affirmation vérifiable : n’importe qui peut télécharger le checkpoint et reproduire le comportement. Le fait que Sakana engage un score sans artefact téléchargeable ne l’est pas.

Screenshot of the Sakana Fugu product page, cropped above the band of partner logos. The header reads 'sakana fugu - multi-agent system as a model'. The hero reads 'Sakana Fugu' above the line 'One Model to Command Them All', with a paragraph saying Fugu dynamically orchestrates the world's best models to tackle complex multi-step tasks through a single API. Two buttons read 'Start Using Sakana Fugu' and 'Contact Us', and a footnote says the product is not yet available in the EU or EEA while Sakana works toward GDPR compliance. The following section is headed 'A Multi-Agent System, Delivered as One Model'.

Là où l’un ou l’autre est appelable aujourd’hui

Aucun des deux ne figure sur OrcaRouter. Le catalogue en ligne répertorie 214 identifiants de modèle auprès de 16 fournisseurs derrière une seule clé et une seule facture, et au 29 octobre 2026, il ne contient aucune entrée StepFun ni aucune entrée Sakana — aucune chaîne « step » ni aucune chaîne « fugu ». Si vous voulez Fugu Ultra v2, passez par Sakana ; si vous voulez Step 5 Preview, passez par l’API de StepFun ou par les checkpoints. Rien dans cet article ne doit être interprété comme une affirmation que nous fournissons l’un ou l’autre.

Dans cette comparaison, ce à quoi sert la plateforme, c’est à l’étape que vous franchissez ensuite : une fois que vous avez décidé laquelle de ces deux architectures correspond à votre charge de travail, les modèles que vous acheminez réellement par requête — le moins coûteux pour la classification, le plus coûteux pour la synthèse — sont la partie qui passe mal à l’échelle manuellement. La configuration de routage d’OrcaRouter vous permet de déclarer cela comme un modèle principal et une chaîne de repli plutôt qu’un ID de modèle codé en dur, avec basculement automatique en cas de dégradation d’un fournisseur, et elle facture au prix catalogue du fournisseur, sans marge, de sorte qu’une baisse de prix annoncée par un fournisseur est effective sur la plateforme le jour même de son annonce. C’est une propriété des modèles que nous proposons, pas de ces deux-ci.

La question qui tranche

« Lequel obtient le meilleur score » n’est pas la bonne question, car un seul d’entre eux a été noté, et le score est de 29 selon un barème arrivé le 27 octobre et qui a redéfini ce que mesure le composite. Demandez plutôt si votre charge de travail est de celles où un seul modèle à contexte de 1 M avec entrée visuelle, à 1,00 $ et 2,70 $ par million de tokens, suffit — et si c’est le cas, Step 5 Preview est l’achat moins cher et plus portable, et de loin. Si votre charge de travail est de celles où le routage par requête est la partie difficile, Fugu Ultra v2 accomplit un travail que vous feriez sinon vous-même, et le ratio de cinq pour un est le prix de ce travail plutôt qu’une majoration sur le même bien.

Ce que vous ne devez pas faire, c’est comparer le Chartography 48.3 à quoi que ce soit que StepFun ait publié. Ce sont les chiffres de deux fournisseurs, sur les bancs d’essai de deux fournisseurs, pour deux types de produits différents. Personne ne les a confrontés l’un à l’autre et, tant que personne ne l’aura fait, la seule comparaison honnête entre ces deux-là est celle qui porte sur ce qu’ils sont.

Comparés dans cet article1

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement