SWE-2 Flash vs North Mini Code: De benchmark in de benchmark

Hier is een ongemakkelijke combinatie. SWE-2 Flash is een post-train met 276B parameters, uitgebracht op 4 november 2026, met acht benchmarkrijen en geen enkele manier om het aan te roepen. North Mini Code is een model met 30B parameters dat Cohere in juni 2026 onder Apache 2.0 uitbracht, met een benchmarktabel die met SWE-2 Flash op precies nul rijen overlapt — en een onafhankelijke score die SWE-2 Flash helemaal niet heeft. Op papier wint het nieuwere, grotere model alles. Op basis van bewijs is het oudere, kleinere model de enige van de twee die een derde partij heeft gemeten.

Die omkering is het hele artikel, en die is nuttiger dan een vergelijking van scores, omdat die vergelijking eigenlijk niet te maken valt.

Twee MoE's met tegengestelde parameterbudgetten

Beide zijn sparse mixture-of-experts-modellen die zijn gebouwd rond hetzelfde kostenargument: betaal voor actieve parameters, niet voor het totale aantal. Ze bevinden zich aan bijna tegenovergestelde uiteinden van het bereik.

• Totaal aantal parameters — SWE-2 Flash 276B vs North Mini Code 30B

• Actief per token — SWE-2 Flash 12B vs North Mini Code 3B

• Expertindeling — SWE-2 Flash erft de structuur van Inkling-Small; North Mini Code routeert naar 8 van de 128 experts

• Context — SWE-2 Flash ongepubliceerd vs North Mini Code 256K, met 64K maximale uitvoer

• Maximale output — SWE-2 Flash ongepubliceerd vs North Mini Code 64K

• Licentie — SWE-2 Flash achtergehouden vs North Mini Code Apache 2.0 in BF16, FP8 en W4A16

Het negenvoudige verschil in actieve parameters is het aantal dat al het andere verklaart. SWE-2 Flash kan het zich veroorloven een groter model te zijn dat langzamer traint maar per token goedkoop draait, omdat er slechts 12B van wordt geactiveerd. North Mini Code draait op een fractie daarvan, waardoor Cohere het kan inzetten in een deployment op laptopniveau en waarom het plafond van de benchmarks lager ligt.

Waarom je 89.2 niet naast 36.0 kunt zetten

De vergelijking die de ronde zal doen, is Terminal-Bench: SWE-2 Flash op 89,2, North Mini Code op 36,0. Een gat van 53 punten dat hier een non-artikel van zou maken. Het is geen geldige aftrekking, om een reden die gemakkelijk over het hoofd wordt gezien.

North Mini Code rapporteert "Terminal-Bench v2" met 36,0 en "Terminal-Bench Hard" met 31,1. SWE-2 Flash rapporteert "Terminal-Bench 2.1" met 89,2 en "Terminal-Bench 4.0" met 20,0. "v2" en "2.1" zijn aangrenzende labels op wat wel of niet dezelfde takenverzameling kan zijn, en geen van beide leveranciers vermeldt het aantal taken, de harness of de scoreconventie in het materiaal dat wordt vergeleken.

Het interne bewijs is dat deze versies enorm verschillende instrumenten zijn. De eigen twee Terminal-Bench-rijen van SWE-2 Flash liggen 69 punten uit elkaar — 20,0 op 4.0, 89,2 op 2.1. Wanneer één model 20 en 89 scoort op twee benchmarks met dezelfde naam en verschillende nummers, is de versie de meting. Een 2.x-score afzetten tegen een v2-score en het verschil een capaciteitskloof noemen, is de meest voorkomende fout in deze vergelijkingscontext.

Andere rijen lijken gedeeld en zijn dat niet. North Mini Code rapporteert SWE-bench Pro op 40,2; SWE-2 Flash rapporteert SWE-Bench Pro v2 Hard op 89,9. Een andere benchmarkgeneratie en een gefilterde subset. North rapporteert SWE-bench Verified op 67,6; SWE-2 Flash rapporteert Verified helemaal niet. North rapporteert SciCode 38,2 en LiveCodeBench v6 70,3; SWE-2 Flash rapporteert geen van beide.

Dat laat DeepSWE 1.1 over, waarbij SWE-2 Flash 60,1 rapporteert en North Mini Code niets.

Slechts één van hen heeft het onafhankelijke nummer.

North Mini Code heeft een Artificial Analysis Intelligence Index van 27,6 en een Coding Index van 33,4. Dat zijn metingen door derden volgens een consistente methodologie, uitgevoerd op een model dat iedereen kan downloaden en opnieuw kan uitvoeren.

SWE-2 Flash heeft geen vermelding bij Artificial Analysis, omdat Artificial Analysis modellen via een API meet en SWE-2 Flash geen API heeft. Elk cijfer dat eraan wordt gekoppeld — de 60,1, de 89,2, de 20,0, de 24,0 op FrontierCode 2.0 — is van Cognition zelf, geproduceerd op een niet bekendgemaakte harness, en FrontierCode is Cognitions eigen benchmark. Niets hier zegt dat die cijfers onjuist zijn. Het zegt dat een lezer geen manier heeft om een echte capaciteit te onderscheiden van een genereus scaffold.

Voor een 30B open-weight model uit juni is een AA Coding Index van 33,4 een bescheiden score — boven de 25,9 van GLM-4.7-Flash, onder de 35,2 van Qwen3.6 35B-A3B. Het is ook een score die je kunt verifiëren, en dat is meer waard dan een leveranciersrij die je niet kunt verifiëren.

Snelheid, en welke claim controleerbaar is

Cohere rapporteert ongeveer 199 output-tokens per seconde op zijn eigen API, ongeveer 2,8 keer de doorvoer van Devstral Small 2. Dat is een meting aan een geserveerd endpoint: er gaat een verzoek in, er komen tokens uit, en iedereen met toegang kan die reproduceren.

Cognition rapporteert ongeveer 200 tokens per seconde voor SWE-2 Flash tegenover 60 voor SWE-2, verkregen door verkorte sessietranscripten op gesimuleerde snelheden opnieuw af te spelen. De twee getallen liggen binnen één token per seconde van elkaar en betekenen totaal verschillende dingen. Het ene is een doorvoermeting; het andere is een demonstratie van hoe het model er bij die snelheid uit zou zien.

Dit is het patroon in de hele vergelijking. Het oudere model publiceert minder indrukwekkende claims, met meer methode erbij. Het nieuwere model publiceert beter ogende claims, zonder enige methode.

Waar North Mini Code echt zwak is

Niet alles pleit voor Cohere. North Mini Code is een codespecialist en gedraagt zich ook zo: het scoort 14% op GDPval-AA en 37% op τ²-Bench Telecom, beide niet-codegerichte agentische evaluaties waar een algemeen model veel beter zou presteren. Als je agent iets anders moet doen dan code schrijven en testen — een klantworkflow afhandelen, redeneren over een bedrijfsproces — dan is North Mini Code het verkeerde hulpmiddel en is de bredere basis van SWE-2 Flash waarschijnlijk de betere keuze.

Het contextvenster is gepubliceerd en groot — 256.000 tokens met een uitvoerlimiet van 64.000 tokens — hoewel het bruikbare venster nog steeds afhangt van de servingstack. En een 30B-model met 3B actief heeft een lager plafond dan een 276B-model met 12B actief; geen enkele hoeveelheid methodologische transparantie dicht dat gat.

Kosten, en het pleidooi voor een routeringslaag

North Mini Code is gratis te downloaden onder Apache 2.0, met een gehost tarief op Cohere's eigen API en beschikbaarheid via verschillende platforms van derden. SWE-2 Flash is gratis binnen Devin tot 30 november 2026 en daarna niet geprijsd, zonder enige downloadbare vorm in het vooruitzicht.

Geen van beide staat in de OrcaRouter-catalogus. Het model van Cohere is self-hostable door iedereen met de hardware, en dat van Cognition heeft geen endpoint om naartoe te routeren — dus de eerlijke formulering is dat deze beslissing hoe dan ook buiten onze catalogus wordt genomen. Wat een routeringslaag wél verandert, is de prijs van een verkeerde keuze. OrcaRouter geeft de lijstprijs van de provider door met 0% opslag en schakelt automatisch over, zodat een applicatie die tegen één model-ID is geschreven niet een applicatie is die tegen de uptime van één leverancier is geschreven. Voor een paar waarvan de ene kant op 1 december mogelijk opnieuw wordt geprijsd en de andere kant misschien nooit aanroepbaar is, is die overdraagbaarheid het onderdeel waar het de moeite loont op te bouwen.

Hoe te beslissen

Als je een model wilt dat je zelf kunt draaien, inspecteren, quantiseren en benchmarken, is North Mini Code de enige optie in dit paar, en dankzij het gepubliceerde contextvenster en het actieve budget van 3B is het praktisch op bescheiden hardware. Accepteer het lagere plafond qua capaciteiten en de smalle focus op coderen.

Als je in Devin zit en het gratis venster is waar het om gaat, is SWE-2 Flash op basis van zijn eigen cijfers met ruime marge het sterkere model, en de kosten om het tot 30 november uit te proberen zijn nul.

Wat je niet moet doen, is 89,2 naast 36,0 zetten en daar iets uit concluderen. Die getallen komen van verschillende instrumenten, gerapporteerd door verschillende bedrijven, op een benchmarkfamilie waarvan het versienummer de meting is. De enige verdedigbare uitspraak over dit paar is degene die het minst als een oordeel klinkt: een van de twee is onafhankelijk gescoord en de andere niet, en dat is een groter verschil dan welke rij in een van beide tabellen dan ook.