SWE-2 Flash vs North Mini Code: Benchmarken inuti benchmarken

Här är en obekväm kombination. SWE-2 Flash är en eftertränad modell med 276B parametrar som släpptes den 4 november 2026, med åtta benchmarkrader och inget sätt att anropa den. North Mini Code är en modell med 30B parametrar som Cohere släppte i juni 2026 under Apache 2.0, med en benchmarktabell som överlappar SWE-2 Flash på exakt noll rader – och en oberoende poäng som SWE-2 Flash inte har alls. På papperet vinner den nyare, större modellen allt. Bevisläget visar att den äldre, mindre är den enda av de två som en utomstående part har mätt.

Den omvändningen är hela artikeln, och den är mer användbar än en poängjämförelse, eftersom poängjämförelsen faktiskt inte kan göras.

Två MoEs med motsatta parameterbudgetar

Båda är glesa mixture-of-experts-modeller uppbyggda kring samma kostnadsargument: betala för aktiva parametrar, inte totala sådana. De befinner sig vid nästan motsatta ändar av intervallet.

• Totalt antal parametrar — SWE-2 Flash 276B vs North Mini Code 30B

• Aktiv per token — SWE-2 Flash 12B vs North Mini Code 3B

• Expertlayout — SWE-2 Flash ärver Inkling-Smalls struktur; North Mini Code dirigerar till 8 av 128 experter

• Kontext — SWE-2 Flash opublicerad vs North Mini Code 256K, med 64K max utdata

• Maximal utdata — SWE-2 Flash opublicerad vs North Mini Code 64K

• Licens — SWE-2 Flash undanhållen vs North Mini Code Apache 2.0 i BF16, FP8 och W4A16

Den niofaldiga skillnaden i aktiva parametrar är siffran som förklarar allt annat. SWE-2 Flash har råd att vara en större modell som är långsammare att träna och billig att köra per token eftersom bara 12B av den aktiveras. North Mini Code körs på en bråkdel av det, vilket är varför Cohere kan lägga den i en distribution av laptopklass och varför dess benchmarktak är lägre.

Varför du inte kan sätta 89,2 bredvid 36,0

Jämförelsen som kommer att spridas är Terminal-Bench: SWE-2 Flash på 89,2, North Mini Code på 36,0. En skillnad på 53 punkter som skulle göra det här till en icke-artikel. Det är inte en giltig subtraktion, av en anledning som är lätt att missa.

North Mini Code rapporterar "Terminal-Bench v2" på 36,0 och "Terminal-Bench Hard" på 31,1. SWE-2 Flash rapporterar "Terminal-Bench 2.1" på 89,2 och "Terminal-Bench 4.0" på 20,0. "v2" och "2.1" är närliggande etiketter för vad som kan vara – eller inte vara – samma uppgiftsuppsättning, och ingen av leverantörerna anger antalet uppgifter, testramverket eller poängsättningskonventionen i materialet som jämförs.

Det interna beviset är att dessa versioner är vitt skilda instrument. SWE-2 Flash:s egna två Terminal-Bench-rader ligger 69 poäng ifrån varandra – 20,0 på 4.0, 89,2 på 2.1. När en modell får 20 och 89 på två benchmarks med samma namn och olika nummer, är det versionen som är mätningen. Att ställa en 2.x-poäng mot en v2-poäng och kalla skillnaden ett förmågegap är det enskilt vanligaste misstaget i detta jämförelseutrymme.

Andra rader ser gemensamma ut men är det inte. North Mini Code rapporterar SWE-bench Pro på 40,2; SWE-2 Flash rapporterar SWE-Bench Pro v2 Hard på 89,9. Olika benchmarkgeneration och en filtrerad delmängd. North rapporterar SWE-bench Verified på 67,6; SWE-2 Flash rapporterar inte Verified alls. North rapporterar SciCode 38,2 och LiveCodeBench v6 70,3; SWE-2 Flash rapporterar ingendera.

Då återstår DeepSWE 1.1, där SWE-2 Flash rapporterar 60,1 och North Mini Code inte rapporterar något.

Det oberoende numret som bara en av dem har

North Mini Code har ett Artificial Analysis Intelligence Index på 27,6 och ett Coding Index på 33,4. Det är tredjepartsmätningar enligt en konsekvent metodik, gjorda på en modell som vem som helst kan ladda ner och köra igen.

SWE-2 Flash har ingen post hos Artificial Analysis, eftersom Artificial Analysis mäter modeller via ett API och SWE-2 Flash saknar API. Varje siffra som tillskrivs det – 60,1, 89,2, 20,0, 24,0 på FrontierCode 2.0 – är Cognitions egna, framtagna med ett icke offentliggjort testramverk, och FrontierCode är Cognitions eget riktmärke. Inget här säger att siffrorna är fel. Det säger att en läsare inte kan skilja en verklig förmåga från en generös stödstruktur.

För en öppen viktmodell på 30B från juni är ett AA Coding Index på 33,4 en blygsam poäng – över GLM-4.7-Flashs 25,9, under Qwen3.6 35B-A3B:s 35,2. Det är också en poäng du kan verifiera, vilket är värt mer än en leverantörsrad du inte kan.

Hastighet, och vilket påstående som är kontrollerbart

Cohere rapporterar ungefär 199 utdatatoken per sekund på sitt eget API, cirka 2,8 gånger genomströmningen för Devstral Small 2. Det är en mätning på en serverad slutpunkt: en förfrågan går in, token kommer ut, och alla med åtkomst kan reproducera den.

Cognition rapporterar cirka 200 tokens per sekund för SWE-2 Flash jämfört med SWE-2:s 60, framtaget genom att spela upp förkortade sessionstranskript med simulerade hastigheter. De två siffrorna ligger inom en token per sekund från varandra och betyder helt olika saker. Det ena är en mätning av genomströmning; det andra är en demonstration av hur modellen skulle se ut vid den hastigheten.

Detta är mönstret genom hela jämförelsen. Den äldre modellen publicerar mindre imponerande påståenden med mer metod bakom. Den nyare modellen publicerar bättre framställda påståenden utan någon.

Där North Mini Code verkligen är svag

Allt talar inte till Coheres fördel. North Mini Code är en kodningsspecialist och beter sig som en sådan: den får 14 % på GDPval-AA och 37 % på τ²-Bench Telecom, båda icke-kodande agentiska utvärderingar där en allmän modell skulle göra sig betydligt bättre. Om din agent måste göra något annat än att skriva och testa kod — hantera ett kundarbetsflöde, resonera kring en affärsprocess — är North Mini Code fel verktyg, och SWE-2 Flashs bredare bas är sannolikt det bättre valet.

Dess kontextfönster är publicerat och stort — 256 000 tokens med ett tak på 64 000 tokens för utdata — även om det användbara fönstret fortfarande beror på serveringsstacken. Och en 30B-modell med 3B aktiva har en lägre övre gräns än en 276B-modell med 12B aktiva; ingen mängd metodologisk transparens stänger det gapet.

Kostnad, och argumentet för ett routningslager

North Mini Code är gratis att ladda ner under Apache 2.0, med en hostad taxa på Coheres egen API och tillgänglighet via flera tredjepartsplattformar. SWE-2 Flash är gratis i Devin till och med den 30 november 2026 och utan pris efter det, utan någon nedladdningsbar form inom överskådlig framtid.

Ingendera finns i OrcaRouters katalog. Coheres modell kan självhostas av alla som har hårdvaran, och Cognitions har ingen endpoint att routa till – så den ärliga formuleringen är att detta beslut fattas utanför vår katalog oavsett. Vad ett routningslager faktiskt förändrar är kostnaden för att ha fel. OrcaRouter för vidare leverantörens listpris med 0 % påslag och växlar automatiskt över vid fel, så en applikation skriven mot ett modell-ID är inte en applikation skriven mot en leverantörs drifttid. För ett par där den ena sidan kan få nytt pris den 1 december och den andra kanske aldrig går att anropa är den portabiliteten den del som är värd att bygga för.

Hur man bestämmer

Om du vill ha en modell som du själv kan köra, inspektera, kvantisera och benchmarka är North Mini Code det enda alternativet i detta par, och dess publicerade kontextfönster och aktiva budget på 3B gör den praktisk på blygsam hårdvara. Acceptera det lägre kapacitetstaket och det snäva kodningsfokuset.

Om du är inne i Devin och den kostnadsfria perioden är poängen är SWE-2 Flash den starkare modellen enligt dess egna siffror, med bred marginal, och kostnaden för att prova det fram till 30 november är noll.

Det du inte ska göra är att ställa 89,2 bredvid 36,0 och dra någon slutsats. De siffrorna kommer från olika instrument, rapporterade av olika företag, inom en benchmarkfamilj där versionsnumret är själva mätningen. Det enda försvarbara påståendet om detta par är det som låter minst som en dom: ett av dem har poängsatts oberoende och det andra har inte, och det är en större skillnad än någon rad i någon av tabellerna.