Step 5 Preview vs MiMo V2.6 Pro: één indexpunt voor negen keer de rekening

In dezelfde Artificial Analysis-run eindigen StepFuns Step 5 Preview en Xiaomi's MiMo V2.6 Pro op één intelligentiepunt van elkaar: 29 tegen 30. Ze schelen niet één bankbiljet. Dezelfde run prijst een voltooide indexopdracht op $2,35 voor Step 5 Preview en $0,26 voor MiMo V2.6 Pro, een verschil van ongeveer negen tegen één. Beide zijn open-weight mixture-of-experts-modellen met een contextvenster van een miljoen tokens, beide verwerken zowel afbeeldingen als tekst, en beide verschenen eind september 2026 binnen een dag van elkaar — Step 5 Preview op StepFuns API op 20 september, MiMo V2.6 Pro op 21 september. Dat maakt dit de zuiverste onderlinge vergelijking in de open-weightcategorie, en het is de enige vergelijking waarin het goedkopere model ook het marginaal beter scorende model is.

Het volgende gebruikt één evaluatierun, uitgevoerd op de indexversie die Artificial Analysis vandaag aanbiedt, omdat bijna elke vergelijkingspagina die nog op het web staat een verouderde versie gebruikt. De onderstaande cijfers zijn reproduceerbaar, afkomstig uit dezelfde run, en vermelden wie ze heeft geproduceerd.

Twee release notes, een week na elkaar, twee heel verschillende gewichtsdalingen

De tijdlijnen lopen net zo ver uiteen als de architecturen. Step 5 Preview bereikte op 20 september een API en was daarna bijna vier weken lang een uitsluitend gehost product, voordat StepFun de checkpoints op 15 oktober publiceerde. MiMo V2.6 Pro leverde op 21 september zijn onder MIT-licentie vrijgegeven gewichten samen met de API, en Xiaomi publiceerde tegelijkertijd zijn recept voor reinforcement learning, ongeveer 7.000 taakomgevingen en een gedistilleerd 9B-broertje.

De specificatiebladen, één regel per dimensie:

• Totale en actieve parameters — Step 5 Preview: 600B totaal, 27B actief per token. MiMo V2.6 Pro: 1.0T totaal, 42B actief.

• Architectuur — Step 5 Preview: 92 lagen, sparse grouped-query-attention met 8-tokenblokindexering, en een 3:1-mix van gated sliding-window-attention met sparse full attention. MiMo V2.6 Pro: sparse MoE met 384 gerouteerde experts, acht actief per token.

• Context en uitvoer — Step 5 Preview: 1M tokens. MiMo V2.6 Pro: 1M tokens, met een uitvoerplafond van 131K op onze eigen modelpagina.

• Invoer — Stap 5 Voorbeeld: tekst, afbeelding en video. MiMo V2.6 Pro: tekst, afbeelding, video en audio, en het profileert zich met native audio in plaats van alleen video.

• Gewichten en licentie — Step 5 Preview: BF16 en FP8, onder de StepFun Model License 1.0. MiMo V2.6 Pro: MIT.

• Prijs per miljoen tokens — Step 5 Preview: $1,00 in, $2,70 uit, $0,10 gecacht. MiMo V2.6 Pro: $0,435 in, $0,87 uit, $0,0036 gecacht.

Het parameterverschil is het eerste dat opvalt. Step 5 Preview is het kleinere model qua totale omvang en het kleinere qua actieve compute, 27B tegenover 42B. Dat is geen verpakkingskeuze; de technische blog van StepFun bepleit de tegenovergestelde afweging — een smalle, diepe stapel die is getraind om zich te gedragen als een veel groter model bij langdurig agentwerk, wat verklaart waarom 92 lagen in een 600B-envelop zitten in plaats van in een model met een biljoen parameters.

Het bord werd opnieuw gescoord, en de oude cijfers staan nog overal.

Als je vandaag naar deze matchup zoekt, zullen de meeste resultaten je vertellen dat MiMo V2.6 Pro 46 scoort en Step 5 Preview 44. Dat waren echte metingen. Ze zijn uitgevoerd op een eerdere versie van de Artificial Analysis Intelligence Index, en die versie is inmiddels vervangen. Op de ranglijst zoals die er nu uitziet, staan dezelfde twee modellen op 30 en 29, en de modellen die vroeger bij hen in de buurt stonden, zijn met vergelijkbare hoeveelheden opgeschoven.

Dit is om een praktische reden van belang, niet om een pietluttige: elk afgeleid getal dat uit de oude scores is berekend, is nu verkeerd. De verhouding "$0,13 versus $0,72 per taak" die bij de lancering rondging, is $0,26 tegen $2,35 geworden. De rangorde is niet veranderd — MiMo ligt nog steeds één voor — maar de grootte van alles eromheen wel, en de richting van het kostenverhaal verschoof van een afrondingsfout naar een beslissing.

Een waarschuwing over hoe je deze cijfers moet lezen: de index is een gewogen samengestelde maatstaf, en de subbenchmarks ervan lopen voor dit paar sterk uiteen. Alleen de samengestelde maatstaf rapporteren zou het enige deel van de vergelijking verbergen dat Step 5 Preview een reden van bestaan geeft.

Waar de negen-tegen-één iets koopt

Drie subresultaten uit dezelfde run zijn echt in het voordeel van Step 5 Preview, en ze draaien allemaal om één thema: minder zeggen wanneer het iets niet weet.

• Humanity's Last Exam (Diamond) — Step 5 Preview 24% vs MiMo V2.6 Pro 15%. Bijna negen punten voorsprong op de moeilijkste kennisbenchmark in de set.

• AA-Omniscience — Step 5 Preview 16 vs MiMo V2.6 Pro −4. De score beloont zowel gekalibreerde onthouding als correcte recall, en een negatieve waarde betekent dat een model vaker zelfverzekerd en fout antwoordt dan dat het stil blijft.

• Uitvoersnelheid — Step 5 Preview 179,1 tokens per seconde versus MiMo V2.6 Pro 58,0, gemeten op dezelfde dienst. Drie keer de doorvoer is een reëel latentieverschil in een agentlus die een dozijn opeenvolgende aanroepen doet.

Die drie samen vormen een coherente verdediging van de meerprijs: een model dat minder hallucineert en sneller antwoordt, is per token meer waard in precies de workloads waarop beide leveranciers mikken — langlopende agents, prompts op repositoryschaal, onderzoekssynthese. Of het negen keer meer waard is, is een aparte vraag, en het antwoord hangt af van hoeveel een verkeerd, zelfverzekerd antwoord je kost.

Waar MiMo wint zonder asterisk

De code en geautomatiseerde tests gaan de tegenovergestelde kant op, en niet in geringe mate.

• FrontierCode 2.0 — MiMo V2.6 Pro 24% vs Step 5 Preview 12%. Dubbele score op de coderingsbenchmark, het grootste enkele verschil tussen de twee.

• AutomationBench-AA — 59% vs 51%.

• Terminal-Bench 4.0 — 35% vs 33%, een kleine voorsprong die ertoe doet, omdat de agentische positionering van Step 5 Preview op terminalwerk is gebaseerd.

• GDPpdf — 19% vs 15%, en Terminal-Bench-Science 6% vs 2%, beide bescheiden maar consistent.

De overwinningen van Step 5 Preview op HLE en Omniscience worden opgevat als breedte van kennis en kalibratie; de overwinningen van MiMo op FrontierCode en AutomationBench worden opgevat als het vermogen om te handelen. Voor een codeeragent zijn dat geen gelijkwaardige valuta.

De cache-economie is het onderdeel dat iemand die uitgaven modelleert waarschijnlijk het meest zal verrassen. Het tarief voor gecachte invoer van MiMo V2.6 Pro is $0,0036 per miljoen tokens tegenover $0,10 voor Step 5 Preview — een 28-voudig verschil voor de tokenklasse die een lange agentsessie domineert, waarbij dezelfde repository- of documentcontext bij elke beurt opnieuw wordt gelezen. MiMo verkoopt ook een UltraSpeed-tier met $4,35 voor invoer en $8,70 voor uitvoer voor aanroepen waarbij latency kritisch is, wat een manier is om doorvoer te kopen zonder van model te wisselen.

Wat een agent-turn eigenlijk kost

Neem één representatieve aanroep: een context van 400.000 tokens erin, 20.000 tokens eruit. Tegen lijstprijzen is dat $0,454 voor Step 5 Preview en $0,191 voor MiMo V2.6 Pro — een verschil van factor 2,4, niet van factor negen. Draai diezelfde context nu tien keer in één sessie. Als de cache zijn werk doet, leest Step 5 Preview die 400.000 tokens opnieuw tegen $0,10 per miljoen en MiMo V2.6 Pro tegen $0,0036, en het verschil op het gecachte deel loopt op tot ongeveer 28 tegen 1.

Die rekenwijze verklaart waarom het verschil per taak en het verschil op de stickerprijs niet overeenkomen. Het cijfer per taak is een gewogen gemiddelde over een volledige evaluatie met intensief hergebruik van prompts, dus het weerspiegelt de cache-hitrate evenzeer als het hoofdtarief. Als je workload bestaat uit one-shot prompts met verse context bij elke aanroep, begroot dan dichter bij het 2,4-voudige cijfer. Als het een persistente agent is die dezelfde bestanden opnieuw leest, is het negenvoudige cijfer het eerlijkere planningsgetal.

Wat je vandaag kunt bellen

MiMo V2.6 Pro staat in de catalogus van OrcaRouter onder de model-id xiaomi/mimo-v2.6-pro, gefactureerd tegen Xiaomi's eigen lijsttarief van $0,43 in en $0,87 uit per miljoen tokens, zonder enige opslag erbovenop. Dat is hier om een specifieke reden van belang: de prijsstelling in deze vergelijking is het onderdeel dat het meest waarschijnlijk zal veranderen, en een doorgeefrouter betekent dat een prijswijziging van Xiaomi dezelfde dag op je factuur terechtkomt in plaats van bij de volgende contractverlenging.

Step 5 Preview staat niet in onze catalogus. De plek om het aan te roepen blijft StepFun's eigen API, of een externe host die de checkpoints aanbiedt. Voor een team dat de twee afweegt, is die asymmetrie op zichzelf al een argument: één kant van deze vergelijking kan tegen een fallback worden getest in één routingconfiguratie, en de andere niet. De routing-DSL laat je het coderverkeer naar MiMo V2.6 Pro sturen en een tweede model achter automatische failover houden, zodat een latencypiek bij één provider de agent niet platlegt. Als de voorsprong van één punt van MiMo op je eigen workload geen stand blijkt te houden, kost overschakelen een model-id, geen contract.

Vragen die deze confrontatie steeds weer oproept

Waarom tonen de meeste vergelijkingspagina's nog steeds 46 tegenover 44?

Omdat ze zijn geschreven op basis van de vorige versie van de index en niet opnieuw zijn berekend. De onderliggende evaluatie is veranderd, niet alleen de modellen, dus elk cijfer dat daarvan is afgeleid — inclusief de kosten per taak — is daarmee mee veranderd. Als twee pagina's dit paar citeren en meer dan een punt of twee van elkaar afwijken, controleer dan welke indexversie elk heeft geproduceerd.

Blijft het kalibratievoordeel van Step 5 Preview behouden bij een domeinverschuiving?

Gedeeltelijk. De Omniscience- en HLE-resultaten worden gemeten op algemene kennis; het kalibratiegedrag dat ze belonen is het meest waardevol wanneer het model wordt gevraagd naar zaken buiten zijn trainingsdistributie. In een nauw domein waarin beide modellen intensief zijn getraind — code bijvoorbeeld — suggereert MiMo's voorsprong op FrontierCode dat het voordeel van onthouding niet het werk levert waarvoor je betaalt.

Is een van beide modellen een directe vervanging voor het andere?

Niet zonder het te controleren. In de praktijk delen ze een OpenAI-compatibel oppervlak, maar de reasoning-besturingen verschillen, de uitvoerplafonds verschillen, en de actieve voetafdruk van 27B van Step 5 Preview verandert hoeveel van een lange prompt je resident kunt houden. Porteer de prompt, voer je eigen evaluatieset opnieuw uit en vergelijk op jouw workload, niet op de slide van een van beide leveranciers.

De korte versie van de beslissing: als je workload kennisintensief is, latencygevoelig en duur als het fout gaat, is de negenvoudige premie van Step 5 Preview verdedigbaar, en met 179 tokens per seconde is het prettig in gebruik. Als je workload code, automatisering en lange sessies binnen dezelfde context betreft, is MiMo V2.6 Pro het betere model tegen een prijs die niet eens in de buurt komt — en het is van de twee degene die je vandaag achter een router kunt zetten en morgen weer kunt vervangen.