SWE-2 Flash vs Flint v1.0: En ärlig benchmarkrad och en massa brus

Två mixture-of-experts-kodmodeller med litet antal aktiva parametrar, släppta med femton dagars mellanrum, som båda hävdar samma prestandanivå till en bråkdel av flaggskeppskostnaden. SWE-2 Flash från Cognition den 4 november 2026 har 276B totala parametrar med 12B aktiva. Flint v1.0 från Recursive den 21 oktober 2026 har 39,8B totalt med ungefär 2,5B aktiva. De är samma arkitektoniska satsning i mycket olika skala – och det ärliga sättet att jämföra dem är att redan från början erkänna att deras publicerade tabeller överlappar på exakt en rad.

Den raden är Terminal-Bench 2.1: 89,2 för SWE-2 Flash mot 54,9 för Flint v1.0. Det är en skillnad på 34 punkter, det är den enskilt starkaste siffran som något av företagen har producerat i den här matchningen, och den kommer med två förbehåll som är tillräckligt stora för att förändra hur du läser den. Allt annat som du kan frestas att jämföra är antingen en annan benchmarkversion eller en annan delmängd av samma benchmark.

Samma vad, motsatt licens

Den gemensamma tesen är att det är de aktiva parametrarna, inte de totala, som driver inferenskostnaden – så man kan bygga en stor gles modell och bara betala för den del som aktiveras. Flint sätter 6 av 256 routade experter plus en delad expert i arbete per token, över 49 lager, varav 35 med glidande fönster och ett fönster på 513 token och 14 med full attention. SWE-2 Flash ärver den strukturen från sin bas Inkling-Small: 276B totalt, 12B aktiva, eftertränad med ett mid-training-steg som Cognition inte hade använt tidigare.

Skillnaden som spelar större roll än någon arkitekturdetalj är vad du tillåts göra med utdata:

• Modellvikter — Flint v1.0 är Apache 2.0 på Hugging Face i BF16, FP8 och kvantiserade former. SWE-2 Flash undanhålls helt, med ett partnerdelningsprogram som utlovats men ännu inte specificerats.

• Distribution – Flint körs med llama.cpp, Ollama, LM Studio, vLLM och SGLang på hårdvara du äger. SWE-2 Flash körs i Devin Desktop och Devin CLI och ingen annanstans.

• Pris — Flints marginalkostnad är din GPU. SWE-2 Flash är gratis till och med den 30 november 2026 och har inget publicerat pris per token därefter.

• Kontext — Flint publicerar 262 144 token, konfigurerbart till ungefär 512K. SWE-2 Flash publicerar ingenting.

Det är inte en liten skillnad i hållning. Den ena är en artefakt som du kan granska, kvantisera, finjustera och köra på en laptop. Den andra är en produkt med en gratis månad.

Den enda raden du kan jämföra

Terminal-Bench 2.1 är det enda riktmärket där båda företagen rapporterar en siffra för samma version. Flints 54,9 togs fram genom Terminus 2, med pass@1 medelvärde över minst fem försök. SWE-2 Flashs 89,2 togs fram på ett testramverk som Cognition inte namnger, vid en ansträngningsinställning som det inte redovisar, från ett lanseringsinlägg som utelämnar metodbilagan som dess septemberföregångare hade.

Så gapet på 34 poäng är verkligt i den meningen att båda siffrorna rapporterades på samma uppgiftsuppsättning, och mjukt i den meningen att ena sidan berättade hur den kom dit och den andra inte. En modell som poängsätts inom en samdesignad agentscaffold – vilket Devin är – kommer i allmänhet att slå samma modell som poängsätts genom ett generiskt testramverk. Flints siffra är den konservativa just därför att Recursive publicerade metoden.

Om du vill ha en enda mening: på den enda gemensamma raden ligger SWE-2 Flash långt före, och inget av företagen har gett en oberoende part möjlighet att kontrollera.

De två Pro-poängen som ser identiska ut men inte är det

Det här är fällan i den här matchen, och den är värd att stanna upp för. Recursive rapporterar Flint v1.0 som 89,7 på SWE-bench Pro v2. Cognition rapporterar SWE-2 Flash som 89,9 på SWE-Bench Pro v2 Hard. Två siffror, 0,2 poäng isär, som ligger bredvid varandra i varje sammanställning du hittar.

De är inte samma mätning. "Hard" är en delmängd – en filtrerad del av uppgiftsmängden, inte hela den. Flints siffra är den fullständiga Pro v2-körningen under mini-swe-agent, där lösningar hämtade från webben räknas som misslyckanden, vilket är en strängare poängsättningskonvention än de flesta leverantörer använder. Att ställa 89,9 bredvid 89,7 och kalla det oavgjort är den typ av jämförelse som leder till självsäkra, felaktiga slutsatser.

Samma försiktighet gäller för en rad som ingen av tabellerna delar. Flint rapporterar SWE-bench Verified på 74,2. SWE-2 Flash rapporterar inte Verified alls – det rapporterar Pro v2 Hard, DeepSWE 1.1 och SWE-Atlas QA i stället. Så det benchmark som de flesta team har intuition för är otillgängligt för den nyare modellen, vilket gör "Flint ligger efter på SWE-bench" till ett ogrundat påstående snarare än ett resultat.

Kontexten är specifikationen som avgör.

För agentisk kodning är kontextfönstret inte en fotnot – det avgör om en modell kan hålla ett kodförråds relevanta delar i ett enda planeringssteg eller måste matas in bit för bit. Flint uppger 262,144 tokens. SWE-2 Flash uppger inget, och efter tre dagars bevakning har ingen nyhetskälla kunnat fastställa det.

Flints kontext har en egen hake. Community-mätningar visar att genomströmningen kollapsar vid lång kontext – ungefär 110 tokens per sekund vid korta promptar, som sjunker mot 9 tokens per sekund nära 115 000 tokens. Ett 262K-fönster som körs i 9 tok/s är ett fönster man använder medvetet, för en enda stor läsning, inte ett man lämnar öppet under en lång session. Kvantisering mildrar beräkningskostnaden men inte den kurvan.

Det opublicerade kontextfönstret för SWE-2 Flash är det större okända, eftersom Devin är en produkt för långa sessioner. Om du väljer mellan dem utifrån antagandet att den slutna modellen hanterar större repon bättre, väljer du utifrån en siffra som ingen har publicerat.

Hastighet du kan verifiera mot hastighet du inte kan

Cognition säger att SWE-2 Flash körs i cirka 200 tokens per sekund jämfört med SWE-2:s 60. Siffran kommer från att spela upp förkortade sessionsavskrifter vid simulerade hastigheter, inte från att ta tid på en live-endpoint. Det är en demonstration, inte en mätning, och för närvarande finns det inget sätt för någon utanför Cognition att kontrollera den.

Flints påståenden om genomströmning är blygsamma i jämförelse och mycket lättare att motbevisa: ungefär 125 till 131 tokens per sekund på en M4 Pro MacBook Pro, över 150 på en RTX Spark med 64 GB. De mättes på hårdvara man kan köpa, av personer som publicerade konfigurationen. Den NVFP4-kvantiserade versionen uppges hamna inom cirka 0,7 poäng från BF16 i benchmarktesterna, vilket är den typ av påstående som en community kan och kommer att testa.

En verklig skavank att känna till: GGUF-vägen har haft en chattmallbugg i llama.cpp, och modellen har en tunn historik i communityn jämfört med allt från ett stort labb. Tidiga användare står för felsökningen.

Vad varje alternativ faktiskt kostar dig

Flint v1.0 är gratis att ladda ned och kostar lika mycket som din inferens. En modell på 39,8B med 2,5B aktiva parametrar körs på en välutrustad bärbar dator i användbar hastighet, vilket är hela poängen med arkitekturen. Kostnaden för införandet är operativ: du ansvarar för serving-stacken, kvantiseringsvalet och felmoderna.

SWE-2 Flash kostar ingenting fram till den 30 november 2026 och kostar därefter ett okänt belopp, eftersom Cognition publicerade en kvot – en femtedel av priset för SWE-2 – snarare än en taxa. Om ditt teams planeringsprocess behöver en siffra att lägga in i ett kalkylblad är det den blockerande frågan, inte prestandagapet.

Ingen av modellerna finns i OrcaRouter-katalogen i dag, och vi kommer inte att påstå något annat. Det som är användbart i den här jämförelsen är inte routning mellan dessa två, utan att benchmarka fältet runt dem: fler än 200 modeller ligger bakom en enda OrcaRouter-nyckel till 0 % påslag över leverantörens listpris, vilket gör att köra samma repo-uppgift genom ett dussin kandidater till en fråga om att ändra en enda sträng. När du väljer mellan två modeller där den ena sidan har publicerat sitt testramverk och den andra inte, är din egen utvärdering värd mer än endera leverantörens tabell.

Vem ska välja vilken

Välj Flint v1.0 om du behöver vikterna. Om din begränsning är datans hemvist, offline-drift, finjustering eller en kostnad per token som inte beror på ett annat företags prissättningsbeslut, är gapet på 34 punkter i Terminal-Bench ett pris du mycket väl kan vara villig att betala – och Flints 262K-kontext och publicerade harness ger dig en modell du kan resonera kring i stället för en svart låda.

Välj {{1}}SWE-2 Flash{{/1}} om du redan är inne i {{2}}Devin{{/2}} och gratisperioden räcker för att svara på din fråga. Det är den modell som presterar bättre på den enda rad som båda företagen mätte, med stor marginal, och det kostar ingenting att prova fram till slutet av november.

Det ingen bör göra är att välja endera utifrån SWE-bench Pro-siffrorna. 89,7 och 89,9 är inte samma test, och skillnaden mellan dem är mindre än skillnaden mellan endera siffran och vad ditt repo faktiskt kommer att producera.