Een gegenereerde 16:9-titelkaart met als kop 'Step 5 Preview vs Fugu Ultra v2' en de ondertitel 'De ene is een checkpoint die je kunt downloaden. De andere is een policy over modellen.' Drie chips tonen '$1,00 vs $5,00 invoer per miljoen tokens', '29 vs geen score op de v5-index' en 'gewichten van 15 oktober vs geen gewichten'. Een voettekst leest 'Prijzen volgens de tariefkaarten van StepFun en Sakana AI; index volgens Artificial Analysis v5.0.' Het OrcaRouter-logo staat in de rechteronderhoek.
Guides & Insights

Step 5 Preview vs Fugu Ultra v2: Een van deze is een model, de andere is een router

Auteur

Alistair Wren

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

De vergelijking die de meeste mensen willen tussen Step 5 Preview en Sakana AI's Fugu Ultra v2is een benchmarktabel. Geen van beide partijen kan die eerlijk leveren. Step 5 Preview heeft één onafhankelijke meting, uitgevoerd onder een rubric die vorige week werd vervangen. Fugu Ultra v2 heeft helemaal geen onafhankelijke meting, omdat de evaluatoren die een intelligentie-index publiceren er nog nooit een pagina voor hebben opgezet. Wat de twee wel hebben, is een prijsverhouding van precies vijf tegen één op invoertokens en een verschil in soort dat die verhouding bijna betekenisloos maakt: het ene is een mixture-of-experts-checkpoint van 600 miljard parameters dat je kunt downloaden en op je eigen hardware kunt draaien, en het andere is een orchestratielaag die je verzoek beantwoordt door het naar een pool van andermans modellen te sturen.

Dat verschil is geen detail. Het bepaalt wat je feitelijk koopt, wat er met je resultaten gebeurt wanneer de leverancier van gedachten verandert, en of een agent met een lange tijdshorizon die bovenop een van beide is gebouwd, volgend kwartaal opnieuw kan worden uitgevoerd voor dezelfde output.

Generated 16:9 comparison card headed 'Step 5 Preview vs Fugu Ultra v2' with two columns. Left column, Step 5 Preview: 600B total / 27B active; 1M-token context; text, image and video input; $1.00 input; $2.70 output; 90 per cent cache discount; Intelligence Index v5 score 29; weights published October 15. Right column, Fugu Ultra v2: orchestrated pool of models; 1M-token context; $5.00 input and $30 output, $10 and $45 above 272k context; $0.50 cached input; no Artificial Analysis page; no weights. A footer reads 'Vendor figures except the index, which is Artificial Analysis v5.0; Fugu Ultra v2 has no index entry.'

Twee producten met hetzelfde marketinglabel

StepFun bracht Step 5 Preview op 20 september 2026 uit via zijn API en publiceerde op 15 oktober de BF16- en FP8-gewichten op Hugging Face en ModelScope. Het is één model: een sparse mixture of experts met 600 miljard totale parameters en 27 miljard actieve per token, gerouteerd 8-van-352 plus een gedeelde expert, in een stapel van 92 lagen die de leverancier omschrijft als 'narrow-deep'. Het contextvenster is 1M tokens, de invoer kan tekst, afbeeldingen of video zijn, en de uitvoer is tekst.

Fugu Ultra v2 is een puntrelease, geen nieuwe architectuur — Sakana AI bracht het op 11 september 2026 uit als een refresh van Fugu Ultra van 22 juni, met een model-ID van fugu-ultra-v2.0 en een parameter-migratie van één regel ten opzichte van de vorige versie. Het is een dirigent: er komt een verzoek binnen, het systeem beslist welk model of welke modellen uit zijn pool het moeten afhandelen, voert die uit en synthetiseert het antwoord. De pool sluit bewust Claude Fable 5, Claude Fable 5.1 en GPT-6 Astra uit. Sakana's argument voor de kleinere pool is dat zwakkere leden het geheel naar beneden haalden; het tweedegraadseffect, dat Sakana niet aanprijst, is dat de samenstelling van wat je koopt een beslissing van de leverancier is die kan veranderen zonder versienummer.

De speclijnen, beide zijden

• Wat het is — Step 5 Preview: één downloadbaar 600B/27B mixture-of-experts-model. Fugu Ultra v2: een georkestreerde pool van modellen met een synthetiserende laag erbovenop.

• Releasedatum — Step 5 Preview: API op 20 september 2026, gewichten op 15 oktober 2026. Fugu Ultra v2: 11 september 2026, een vernieuwde versie van een origineel uit juni 2026.

Contextvenster — Stap 5 Preview: 1M tokens. Fugu Ultra v2: 1M tokens, met een prijsstap boven 272k tokens.

• Invoermodaliteiten — Step 5 Preview: tekst, afbeeldingen en video. Fugu Ultra v2: wat de leden van zijn pool accepteren, wat Sakana niet per modaliteit opsomt.

• Invoerprijs per miljoen tokens — Step 5 Preview: $1,00. Fugu Ultra v2: $5,00, stijgend naar $10,00 bij meer dan 272k tokens context.

• Prijs voor output per miljoen tokens — Step 5 Preview: $ 2,70. Fugu Ultra v2: $ 30,00, stijgend naar $ 45,00 boven 272k tokens.

• Gecachte input per miljoen tokens — Step 5 Preview: 90% korting op $1,00. Fugu Ultra v2: $0,50, stijgend naar $1,00 boven 272k tokens.

Onafhankelijke score — Step 5 Preview: 29 op de Artificial Analysis Intelligence Index v5.0. Fugu Ultra v2: er bestaat geen Artificial Analysis-pagina, dus geen score.

• Gewichten — Step 5 Preview: downloadbaar onder de StepFun Model License 1.0. Fugu Ultra v2: geen. De pool waaraan het onttrekt, bestaat uit gewichten van andere leveranciers die onder de voorwaarden van die leveranciers worden geleverd.

Wat vijf dollar aan input daadwerkelijk oplevert

De kopverhouding is vijf tegen één bij input en iets meer dan elf tegen één bij output, en beide getallen vleien Step 5 Preview op een manier die de rekening per taak mogelijk niet bevestigt. Fugu Ultra v2 is geprijsd als een systeem dat verwacht tokens te verbruiken: het verstuurt een verzoek, meerdere modellen antwoorden, en een synthesizer schrijft over de resultaten heen. Sakana's eigen bewering dat meer agents toevoegen je rekening niet vermenigvuldigt, gaat over de abonnementsniveaus — $20 Standard, $100 Pro en $200 Max per maand, die allemaal Fugu, Fugu Ultra en Fugu Max bevatten — en niet over de verbruikstariefkaart. Op de verbruikskaart is orkestratie een breedsprakige bezigheid, en output wordt gefactureerd tegen $30 per miljoen.

De economie van Step 5 Preview werkt de andere kant op. Artificial Analysis meet 179,1 outputtokens per seconde op de API van StepFun, tegen een klassenmediaan van 74,1, $2,35 per volledige indextaak en een gewogen gemiddelde van $0,54 per miljoen tokens bij een cachehitratio van zeven op twee op één. Tegen een klassenmediaan van $1,40 per taak op dezelfde pagina is dat een goedkoop model dat ook nog snel is.

De eerlijke formulering is dus niet "Fugu is vijf keer zo duur". Ze is dat Fugu een meerprijs rekent voor een capaciteit die Step 5 Preview niet claimt — het per aanvraag afwegen tussen meerdere modellen — en dat of die meerprijs het waard is, volledig afhangt van of je gelooft dat die afweging beter is dan één sterk model voor de taak die je hebt. Het gepubliceerde bewijs van Sakana voor die overtuiging is door de leverancier zelf uitgevoerd: Chartography 48,3 tegenover 27,3 voor Claude Opus 5 en 29,5 voor Claude Fable 5, DeepSWE 74,3, beste of gedeeld beste op vijf van acht benchmarks en in de top twee op zeven van acht. Dat zijn echte cijfers van het bedrijf dat het product verkoopt, en het zijn de enige cijfers die er zijn.

Screenshot of the Artificial Analysis page for Step 5 Preview, headed 'Step 5 Preview Intelligence, Performance & Price Analysis'. The header marks it an open-weights model from StepFun, released September 2026. Four cards read Intelligence 29 at rank 6 of 17, Speed 179.1 output tokens per second at rank 8 of 78, Cost $2.35 per Intelligence Index task with In $1.00, Out $2.70 and a 90% cache discount, and Verbosity 130M output tokens. The Comparison Summary text says the model is above average in intelligence but somewhat expensive and notably fast, scoring 29 against a median of 23. Technical specifications list reasoning yes, input modality icons for text, image, audio and video, output text, 1M-token context, 600B total parameters, 27B active parameters, StepFun Model License 1.0 and weights on Hugging Face. The panel ends '124 models in this class'.

De draagbaarheidstest, dat is het echte verschil.

Dit is de vraag die de twee schoner onderscheidt dan welke score dan ook. Stel dat je in september 2026 een agent bouwt op Fugu Ultra v2, en hij werkt. In november voegt Sakana een model toe aan de pool, of verwijdert er een — het heeft al eens drie frontier-modellen verwijderd — of past de weging van de synthesizer aan. Je prompts zijn hetzelfde, je inputs zijn hetzelfde, en je outputs zijn anders, zonder versienummerverhoging die je kunt vastpinnen en zonder changelog-regel die je vertelt welk gedrag is verschoven. Je koopt geen model; je koopt een beleid over modellen, en dat beleid is een knop die de leverancier draait.

Dat is geen kritiek op Sakana. Het is de aard van het product, en voor heel veel workloads is het precies wat je wilt — een leverancier wiens fulltime taak het is om per verzoek het juiste model te kiezen, zal het vaak beter doen dan je zelf samengestelde keuze. Maar het moet geprijsd worden als wat het is: een doorlopende service-relatie, geen asset.

Step 5 Preview is de andere vorm. De gewichten bestaan. Ze zijn niet open in de OSI-zin — StepFun Model License 1.0 behoudt een naamsvermeldingsvoorwaarde voor materieel gebruikte outputs, verplicht hardwarefabrikanten een aparte licentie te onderhandelen en vereist een commerciële licentie voor operators van model-as-a-service met meer dan $20 miljoen jaaromzet — maar het gedrag dat je vandaag test, is het gedrag dat je binnen een jaar kunt draaien, op hardware die je beheert, zonder toestemming te vragen. De FP8-checkpoint vereist ongeveer 773 GB VRAM en minimaal vier GPU's, met B300 als standaarddoel; het Hopper-pad vereist acht H200's. De NVFP4-variant brengt dat terug tot ongeveer 473 GB en beperkt de bruikbare context tot 320k tokens. Geen van beide paden is goedkoop, en geen van beide is zo goedkoop als de API, wat het gebruikelijke argument is om een model aan te roepen in plaats van het zelf te hosten.

De openbaarmakingskloof werkt beide kanten op.

Elke partij mist iets wat de andere partij publiceert.

Step 5 Preview publiceert een tariefkaart, een contextlimiet, een aantal parameters, een licentie, serveerrecepten voor vLLM en SGLang op de dag dat de gewichten beschikbaar kwamen, en één onafhankelijke score. Wat het niet publiceert, is een met dezelfde harness uitgevoerde directe vergelijking tegen een willekeurige concurrent, en zijn benchmarktabel van de leverancier — Terminal-Bench 4.0 op 33.3, DeepSWE v1.1 op 67.7, FrontierFinance op 66.4, CyberGym op 84.7 — is precies dat: een tabel van de leverancier.

Fugu Ultra v2 publiceert een architectuurverhaal, een poolbeleid, een eigen benchmarktabel en een abonnementsprijsstelling die in deze markt werkelijk ongebruikelijk is. Wat het niet publiceert, is een enkel getal dat een onafhankelijke evaluator heeft geverifieerd, en de evaluatoren hebben daarvoor geen pagina gebouwd, wat de schoonst mogelijke manier is om te zeggen dat de score niet bestaat, eerder dan dat ze laag is.

Wanneer beide zijden door de leverancier zijn gerapporteerd, is de beslissende factor niet "welke leverancier betrouwbaarder is". Het is welke leverancier iets op het spel heeft gezet dat controleerbaar is. Dat StepFun op 15 oktober de modelgewichten inzet, is een controleerbare bewering: iedereen kan het checkpoint downloaden en het gedrag reproduceren. Dat Sakana een score inzet zonder een downloadbaar artefact, is dat niet.

Screenshot of the Sakana Fugu product page, cropped above the band of partner logos. The header reads 'sakana fugu - multi-agent system as a model'. The hero reads 'Sakana Fugu' above the line 'One Model to Command Them All', with a paragraph saying Fugu dynamically orchestrates the world's best models to tackle complex multi-step tasks through a single API. Two buttons read 'Start Using Sakana Fugu' and 'Contact Us', and a footnote says the product is not yet available in the EU or EEA while Sakana works toward GDPR compliance. The following section is headed 'A Multi-Agent System, Delivered as One Model'.

Waar een van beide vandaag aanroepbaar is

Geen van beide staat op OrcaRouter. De live catalogus bevat 214 model-ID's bij 16 providers achter één sleutel en één rekening, en met ingang van 29 oktober 2026 bevat hij geen StepFun-vermelding en geen Sakana-vermelding — geen tekenreeks "step" en geen tekenreeks "fugu". Wil je Fugu Ultra v2, dan ga je naar Sakana, en wil je Step 5 Preview, dan ga je naar de API van StepFun of naar de checkpoints. Niets in dit artikel mag worden gelezen als een bewering dat we een van beide aanbieden.

Waar het platform in deze vergelijking voor dient, is de stap die je daarna zet: zodra je hebt besloten welke van deze twee vormen bij je werklast past, zijn de modellen die je daadwerkelijk per verzoek routeert — het goedkope voor classificatie, het duurdere voor synthese — het onderdeel dat met de hand slecht schaalt. Met de routeringsconfiguratie van OrcaRouter kun je dat declareren als een primair model en een fallback-keten, in plaats van als een hardgecodeerde model-ID, met automatische failover wanneer een provider achteruitgaat, en het factureert tegen de lijstprijs van de provider zonder opslag, zodat een prijsverlaging van een leverancier op het platform live is op dezelfde dag dat ze wordt aangekondigd. Dat is een eigenschap van de modellen die we wel aanbieden, niet van deze twee.

De vraag die de doorslag geeft

Niet "welke scoort hoger", want alleen een van beide is beoordeeld, en de score is 29 onder een rubric die op 27 oktober werd vastgesteld en herschreef wat de samengestelde score meet. Vraag je liever af of jouw workload er een is waarbij een enkel 1M-contextmodel met visuele invoer, bij $1,00 en $2,70 per miljoen tokens, goed genoeg is — en als dat zo is, is Step 5 Preview met grote marge de goedkopere en beter overdraagbare keuze. Als jouw workload er een is waarbij routeren per verzoek het lastige deel is, verricht Fugu Ultra v2 werk dat je anders zelf zou doen, en de verhouding van vijf tegen één is de prijs voor dat werk, niet een opslag op hetzelfde product.

Wat je niet moet doen, is de Chartography 48.3 vergelijken met alles wat StepFun heeft gepubliceerd. Het zijn cijfers van twee leveranciers, op de testharnassen van twee leveranciers, voor twee verschillende soorten producten. Niemand heeft ze tegen elkaar laten draaien, en totdat iemand dat doet, is de enige eerlijke vergelijking tussen deze twee die over wat ze zijn.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt