SWE-2 Flash vs SWE-2: Vad en 0,2-poängsvinst faktiskt är värd

Cognitions egen jämförelsetabell ger SWE-2 Flash exakt en seger över SWE-2: 24,0 mot 23,8 på FrontierCode 2.0. Två tiondelar av en poäng, på Cognitions egen benchmark, i en tabell som Cognition byggde för att visa den mindre modellen när den är som bäst. Det är också det mest användbara numret i lanseringen, på grund av vad raderna under det gör – och på grund av vad den enda raden ovanför vikningen tyst utelämnar.

Kortversionen för den som fattar beslut vid ett skrivbord i stället för att läsa till slutet: Flash är inte en mindre SWE-2. Det är en annan modell från en annan bas, finjusterad för den avgränsade änden av arbetet och prissatt till en femtedel inom samma produkt. Vinsten på 0,2 poäng är verklig och den betyder mindre än den verkar.

Två utgåvor av samma benchmark stämmer inte överens, och det är det första fyndet.

Sätt de två FrontierCode-raderna bredvid varandra, så är tabellen inte längre en berättelse om en liten modell som kommer ikapp.

• FrontierCode 2.0 — SWE-2 Flash 24.0 mot SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 mot 50,0

Samma instrument, två utgåvor, motsatta omdömen. I den nyare utgåvan ligger Flash marginellt före; i den äldre ligger den 4,5 poäng efter. En av de raderna kommer att hamna i en lanseringsbild och den andra inte, och vilken som väljs säger mer om presentatören än om modellen.

Det finns en försvarbar tolkning där båda raderna är sanna och de inte motsäger varandra: 2.0-upplagan är svårare, absoluta poäng komprimeras, och en nyare uppgiftsuppsättning kan belöna det som Flash eftertränades för. Det finns också en mindre smickrande tolkning: en svängning på 4,5 poäng mellan två upplagor av ett och samma benchmark är ett mått på hur känsligt instrumentet är, och en marginal på 0,2 poäng ligger inom den känsligheten. Cognition publicerar inga konfidensintervall och inga upprepade körningar, så skillnaden mellan 24,0 och 23,8 kan inte skiljas från brus med den information som ges. Det som kan sägas är snävare och ändå användbart – på Cognitions nyaste benchmark är de två modellerna jämbördiga, inte åtskilda.

Vart de tretton poängen tar vägen

Resten av tabellen ligger inte nära, och det informativa är hur gapet ser ut.

• DeepSWE 1.1 — SWE-2 Flash 60.1 mot SWE-2 73.0

• Terminal-Bench 4.0 — 20,0 mot 27,3

• SWE-Atlas QA — 50,0 mot 56,3

Terminal-Bench 2.1 – 89,2 mot 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 vs 36,1

Ordna dem efter hur mycket frihet uppgiften ger agenten, så framträder ett mönster. På SWE-Bench Pro v2 Hard – en väl specificerad issue med en definierad fix – ligger Flash 0,7 poäng efter. På Terminal-Bench 2.1 ligger den 3,6 poäng efter. På Terminal-Bench 4.0 är gapet 7,3 poäng, och på DeepSWE 1.1, long-horizon-raden, är det 12,9 poäng. Ju mer uppgiften kräver att modellen beslutar vad den ska göra härnäst, desto större blir gapet.

Det är en trolig mekanism, inte en bevisad sådan. En modell med en tiondel av de aktiva parametrarna har mindre kapacitet att hålla ihop en lång plan, och det är i benchmarktester för långa tidshorisonter som det visar sig först. Men Cognition publicerar inte antal turer, antal tokens eller uppdelningar per uppgift för Flash på samma sätt som för SWE-2 — där man rapporterade att medelantalet steg sjönk från 127 till 53 vid medelhög ansträngning — så mekanismen härleds från tabellens form snarare än demonstreras. Behandla den som en hypotes som antingen stämmer med din egen erfarenhet eller inte.

Pris och snabbhet, i den enda valutan som Cognition anger

Ingen av modellerna har ett pris per token, eftersom ingen av dem har en endpoint. Det Cognition publicerar är ett förhållande: SWE-2 Flash kostar en femtedel av SWE-2 och körs tre gånger så snabbt, 200 tok/s mot 60. Båda siffrorna kommer från samma replay-metodik – varje modells körning på Terminal-Bench 4.0-uppgiften gsea-proteomics, återuppspelad i simulerade hastigheter med transkript förkortade till samma längd – så båda beskriver en avsedd serveringsprofil snarare än en uppmätt.

Kvoten är fortfarande det mest beslutsrelevanta talet i releasen, förutsatt att du tar nästa steg. Pris per arbetsenhet är inte detsamma som kostnad per löst uppgift, och det senare är vad ett team faktiskt betalar. Om den femte är en femtedel av kostnaden för en uppgift – den enda tolkningen som gör påståendet meningsfullt i en prenumerationsprodukt – är aritmetiken enkel.

• På DeepSWE 1.1 löser Flash 82 % så många uppgifter till en femtedel av kostnaden, vilket är ungefär 4,1 gånger billigare per löst uppgift även på den rad där den förlorar mest.

• På FrontierCode 2.0 – den löser något fler uppgifter till en femtedel av kostnaden, vilket är ungefär 5 gånger billigare per löst uppgift.

• På Terminal-Bench 4.0 – den löser 73 % så många till en femtedel av kostnaden, ungefär 3,7 gånger billigare per löst uppgift.

Var och en av de siffrorna förutsätter att {{1}}den femte{{/1}} avser kostnaden för en uppgift och inte för en token, och att lösningsfrekvenserna överförs till din kö. Cognition säger inte vilket, och antagandet bär en stor del av resonemanget. Om den femte är ett tokenpris på en modell som genererar fler tokens per uppgift, minskar fördelen och kan inverteras på raderna för lång horisont. {{2}}Aritmetiken{{/2}} är en känslighetskontroll, inte en mätning, och den bör köras igen mot dina egna loggar.

Det råder ingen tvekan om kampanjperioden. SWE-2 Flash är gratis i Devin Desktop och CLI fram till den 30 november 2026. SWE-2:s egen gratisperiod slutade den 10 oktober. Under de kommande veckorna är prisjämförelsen i Devin en femtedel mot noll, vilket inte är någon jämförelse alls – det är en utvärderingsperiod med en deadline.

De tillhör inte samma härstamning, och parameteravståndet är det minst intressanta med dem.

SWE-2 är eftertränad från Kimi K3: 2,8 biljoner parametrar, 104B aktiva per token, en bas som redan hade genomgått omfattande RL för agentisk kodning. SWE-2 Flash är eftertränad från Inkling-Small: 276B totalt, 12B aktiva, Apache 2.0, från Thinking Machines. Cognitions eget storleksdiagram placerar Flash på 1x och SWE-2 på 10,1x. I aktiva parametrar är förhållandet närmare nio till ett.

Jämför nu det med poängen. En 8,5-faldig skillnad i aktiva parametrar ger 4,5 poäng på FrontierCode 1.1 Main och ingenting alls på FrontierCode 2.0. Samtidigt är själva efterträningssteget värt långt mycket mer än parameterskillnaden: Cognitions tabell visar Inkling-Small på 21,5 på FrontierCode 1.1 Main och Flash på 45,5, en ökning med 24 poäng från mid-training och RL på samma bas. Variansen som kan tillskrivas efterträning är ungefär fem gånger variansen som kan tillskrivas hela parameterskillnaden mellan de två modellerna.

Det är det resultat som de två tillsammans ger, och det är större än någon av modellerna. Det förklarar också varför Cognition är villigt att sälja den mindre för en femtedel av priset: den dyra delen av SWE-2 var aldrig basmodellen. Det var datan, verifierarna och RL-miljöerna, och Flash återanvänder den investeringen på en billigare bas.

Två förbehåll hör hemma här. Jämförelsen är en leverantörs tabell över riktmärken som leverantören själv kontrollerar, och ingenting i den har reproducerats oberoende. Och basmodellerna är inte likvärdiga indata – Kimi K3 kommer med en kontext på en miljon token och inbyggd bildförståelse, medan Inkling-Small är en annan arkitektur med annat multimodalt stöd – så "samma efterträning, billigare bas" är Cognitions inramning snarare än en isolerad variabel.

Asymmetrin i ansträngningsinställningen

SWE-2 levererades med tre dokumenterade nivåer för resonemangsansträngning – {{1}}medium{{/1}}, {{2}}high{{/2}} och {{3}}max{{/3}} – och Cognitions septemberlansering förklarade vad var och en var avsedd för: {{4}}medium går till handling tidigare{{/4}}, medan {{5}}high och max planerar mer, utforskar mer av kodbasen och lägger mer på verifiering{{/5}}. Det angav också att varje modells bästa poäng över ansträngningsinställningarna rapporterades.

SWE-2 Flash dokumenterar ingen effort-kontroll alls. Lanseringsinlägget nämner ingen, och benchmarktabellen har ingen inställningskolumn. Så jämförelsen som publicerad är SWE-2 när den är som bäst mot Flash i en ospecificerad konfiguration — vilket bara är en matchad jämförelse om Flash har en enda inställning, och en orättvis sådan i en okänd riktning om den har flera.

Om Flash verkligen saknar kontroll över ansträngningsnivån är det en produktskillnad som är värd att benämna snarare än en lucka i dokumentationen. Ansträngning är hur du växlar kostnad mot djup per uppgift, och en modell utan den ger dig en enda inställning för en kö som innehåller både triviala och svåra uppgifter. Det är precis den avvägning som kvoten är tänkt att möjliggöra för dig.

Vilken kö var och en tillhör

Cognitions egen formulering är den ärligaste vägledningen här. Den säger att mindre modeller "alltmer kan hantera en betydande del av det arbete som mjukvaruagenter utför, såsom automatiseringar, kodgranskning, funktionsutveckling och uppdatering av dokumentation", och att SWE-2 Flash utvecklades för det arbetet. Läs den listan mot benchmarkens utformning, och de två stämmer överens: avgränsade uppgifter, en tydlig definition av vad som ska vara klart, hög volym, låg tolerans för latens.

• Om uppgiften får plats i en prompt och definitionen av klar är entydig – en granskningsomgång, en dokumentuppdatering, en liten funktion, en schemalagd automatisering – är Flash rätt standardval, och aritmetiken ovan för kostnad per löst uppgift säger att den är flera gånger billigare även där den löser färre uppgifter.

• Om agenten måste besluta vad den ska göra härnäst mer än en handfull gånger — en migrering, en refaktorering över flera repon, en felsökningssession där den första hypotesen oftast är fel — är DeepSWE-gapet på 13 punkter precis det du köper med SWE-2, och förhållandet kompenserar inte för det.

• Om du inte kan avgöra vilken av dem en uppgift är, starta den på Flash och eskalera. Det är beslutet som Cognition byggde ansträngningsnivåerna för på SWE-2, och att Flash saknar styrning av ansträngningsnivå gör eskaleringen till ett routingbeslut snarare än en parameter.

Det misstag man måste undvika är att använda vinsten på 0,2 poäng som tillstånd att flytta den hårda kön. Det är ett riktmärke, en utgåva, en leverantör, och det ligger inom instrumentets egen känslighet.

Utanför Devin är ingen av dem en kandidat

Ingen av modellerna har ett API. Ingen av dem har offentliga vikter. Om din testrigg är din egen är paret inte något du kan välja, och gratisperioden hjälper dig inte – det är en provperiod i en produkt du måste köpa.

Den nåbara hälften av den här stacken är basen. Kimi K3 dirigeras via OrcaRouter som kimi/kimi-k3 till $3.00 per miljon indatatoken och $15.00 per miljon utdatatoken, med ett kontextfönster på 1M token och inbyggt verktygsanrop, till leverantörens listpris utan något påslag. Ett API täcker fler än 200 modeller, vilket gör köuppdelningen ovan genomförbar utanför Devin: en dirigeringsregel kan skicka avgränsat arbete till en billig modell och eskalera de långsiktiga jobben till en starkare, utan att klienten vet vilken som svarade. Automatisk failover hör hemma bakom den eskalerade vägen, eftersom modellen du eskalerar till är den du inte har råd att ha otillgänglig.

Det är en annan produkt än SWE-2 Flash, och den är inte en ersättning för den. Det är vad man gör när det man vill utvärdera inte har någon slutpunkt.

Vad skulle avgöra det?

Tre upplysningar skulle förvandla den här jämförelsen från en leverantörstabell till bevis. En oberoende körning av DeepSWE 1.1 och Terminal-Bench 4.0 på båda modellerna, utförd av någon som inte är Cognition och inte använder Cognitions harness. En redogörelse för inställningen för ansträngning och scaffoldet bakom varje rad i Flash-tabellen, i linje med vad SWE-2-lanseringen tillhandahöll. Och en upprepad körning, så att en marginal på 0,2 punkter kan skiljas från variation mellan körningar.

Fram till dess är den försvarbara tolkningen den snäva. SWE-2 Flash är en kostnadsoptimerad syskonmodell byggd på en mycket mindre bas, jämn med SWE-2 på det nyaste riktmärket och klart efter när det gäller arbete över lång horisont, och säljs till ett förhållande som gör den flera gånger billigare per löst uppgift utifrån tillgängliga bevis. Det är ett bra produktbeslut och ett blygsamt tekniskt påstående. Vinsten på 0,2 punkter är inte ett bevis på att den ersatte något – det är ett bevis på att gapet vid ett enskilt mätinstrument, en enskild dag, slöts tillräckligt mycket för att försvinna i bruset.