SWE-2 Flash vs SWE-2: wat een overwinning van 0,2 punt werkelijk waard is

Cognitions eigen vergelijkingstabel geeft SWE-2 Flash precies één overwinning op SWE-2: 24,0 tegen 23,8 op FrontierCode 2.0. Twee tienden van een punt, op Cognitions eigen benchmark, in een tabel die Cognition heeft gebouwd om het kleinere model op zijn best te laten zien. Het is ook het nuttigste getal in de release, vanwege wat de rijen eronder doen — en vanwege wat de ene rij boven de vouw stilzwijgend weglaat.

De korte versie voor iemand die aan een bureau beslist in plaats van tot het einde te lezen: de Flash is geen kleinere SWE-2. Het is een ander model op een andere basis, afgestemd op het afgebakende uiteinde van het werk, en binnen hetzelfde product geprijsd op een vijfde. De winst van 0,2 punt is echt en betekent minder dan het lijkt.

Twee edities van dezelfde benchmark spreken elkaar tegen, en dat is de eerste bevinding.

Zet de twee FrontierCode-rijen naast elkaar en de tabel is niet langer een verhaal over een klein model dat inhaalt.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs. SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 vs 50,0

Hetzelfde instrument, twee edities, tegenovergestelde verdicts. Op de nieuwere editie ligt de Flash nipt voor; op de oudere ligt hij 4,5 punt achter. Een van die rijen belandt uiteindelijk in een lanceringsslide en de andere niet, en welke wordt gekozen zegt meer over de presentator dan over het model.

Er is een verdedigbare interpretatie waarin beide rijen waar zijn en geen van beide tegenstrijdig is: de 2.0-editie is moeilijker, absolute scores worden samengedrukt, en een nieuwere taakset beloont mogelijk juist datgene waarvoor de Flash is nabijgetraind. Er is ook een minder flatteuze interpretatie: een verschuiving van 4,5 punt tussen twee edities van één benchmark is een maat voor hoe gevoelig het instrument is, en een marge van 0,2 punt valt binnen die gevoeligheid. Cognition publiceert geen betrouwbaarheidsintervallen en geen herhaalde runs, dus het verschil tussen 24,0 en 23,8 kan met de gegeven informatie niet van ruis worden onderscheiden. Wat wel gezegd kan worden, is beperkter en nog steeds nuttig — op de nieuwste benchmark van Cognition staan de twee modellen op gelijk niveau, niet los van elkaar.

Waar de dertien punten naartoe gaan

De rest van de tabel ligt niet dicht bij elkaar, en de vorm van de kloof is het informatieve deel.

• DeepSWE 1.1 — SWE-2 Flash 60,1 vs SWE-2 73,0

• Terminal-Bench 4.0 — 20,0 tegen 27,3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 vs 36,1

Sorteer die op hoeveel vrijheid de taak de agent geeft, en er verschijnt een patroon. Op SWE-Bench Pro v2 Hard — een goed gespecificeerd probleem met een gedefinieerde oplossing — staat de Flash 0,7 punten achter. Op Terminal-Bench 2.1 staat hij 3,6 punten achter. Op Terminal-Bench 4.0 is de kloof 7,3, en op DeepSWE 1.1, de langeafstandsrij, is die 12,9. Hoe meer de taak van het model vraagt om te bepalen wat het vervolgens moet doen, hoe groter de kloof.

Dat is een aannemelijk mechanisme, geen bewezen mechanisme. Een model met een tiende van de actieve parameters heeft minder capaciteit om een lang plan samenhangend te houden, en bij langetermijnbenchmarks wordt dat het eerst zichtbaar. Maar Cognition publiceert voor de Flash geen aantallen beurten, tokenaantallen of uitsplitsingen per taak zoals het dat voor SWE-2 deed — waar het meldde dat het gemiddelde aantal stappen bij medium effort daalde van 127 naar 53 — dus het mechanisme wordt afgeleid uit de vorm van de tabel in plaats van aangetoond. Beschouw het als een hypothese die al dan niet overeenkomt met je eigen ervaring.

Prijs en snelheid, in de enige valuta die Cognition noemt

Geen van beide modellen heeft een prijs per token, omdat geen van beide een endpoint heeft. Wat Cognition publiceert, is een verhouding: SWE-2 Flash kost een vijfde van SWE-2 en is drie keer zo snel, 200 tok/s tegenover 60. Beide cijfers komen uit dezelfde replay-methodologie — de run van elk model op de gsea-proteomics-taak van Terminal-Bench 4.0, opnieuw afgespeeld met gesimuleerde snelheden en met transcripten ingekort tot gelijke lengte — dus beide beschrijven een beoogd servingprofiel in plaats van een gemeten profiel.

De ratio is nog steeds het meest beslissingsrelevante getal in de release, mits je de volgende stap zet. Prijs per eenheid werk is niet hetzelfde als kosten per opgeloste taak, en dat tweede is wat een team daadwerkelijk betaalt. Als de vijfde een vijfde van de kosten van een taak is — de enige lezing die de bewering betekenisvol maakt binnen een abonnementsproduct — dan is de rekensom eenvoudig.

• Op DeepSWE 1.1 — de Flash lost 82% zoveel taken op tegen een vijfde van de kosten, wat neerkomt op ongeveer 4,1 keer goedkoper per opgeloste taak, zelfs in de rij waar hij het slechtst verliest.

• Op FrontierCode 2.0 — het lost iets meer taken op voor een vijfde van de kosten, wat per opgeloste taak ruwweg 5 keer goedkoper is.

• Op Terminal-Bench 4.0 — het lost 73% zoveel taken op voor een vijfde van de kosten, ongeveer 3,7 keer goedkoper per opgeloste taak.

Al die cijfers gaan ervan uit dat de vijfde betrekking heeft op de kosten van een taak en niet op een token, en dat de oplossingspercentages overdraagbaar zijn naar je wachtrij. Cognition zegt niet welke, en die aanname doet veel werk. Als de vijfde een tokenprijs is voor een model dat meer tokens per taak genereert, wordt het voordeel kleiner en kan het op de rijen met lange horizon omslaan. De berekening is een gevoeligheidscontrole, geen meting, en zou opnieuw moeten worden uitgevoerd tegen je eigen logs.

Wat niet in twijfel staat, is het promotievenster. SWE-2 Flash is gratis in Devin Desktop en CLI tot en met 30 november 2026. Het eigen gratis venster van SWE-2 eindigde op 10 oktober. De komende weken is de prijsvergelijking binnen Devin een vijfde tegen nul, wat helemaal geen vergelijking is — het is een evaluatieperiode met een deadline.

Ze behoren niet tot dezelfde lijn, en het parameterverschil is het minst interessante aan hen.

SWE-2 is post-getraind op basis van Kimi K3: 2,8 biljoen parameters, 104B actief per token, een basis die al uitgebreide RL had doorlopen voor agentic coding. SWE-2 Flash is post-getraind op basis van Inkling-Small: 276B totaal, 12B actief, Apache 2.0, van Thinking Machines. Cognitions eigen grootteoverzicht zet de Flash op 1x en SWE-2 op 10,1x. In actieve parameters ligt de verhouding dichter bij negen tegen één.

Leg dat nu naast de scores. Een verschil van factor 8,5 in actieve parameters levert 4,5 punten op bij FrontierCode 1.1 Main en helemaal niets bij FrontierCode 2.0. Ondertussen weegt de post-trainingstap zelf veel zwaarder dan het parameterverschil: de tabel van Cognition toont Inkling-Small op 21,5 bij FrontierCode 1.1 Main en de Flash op 45,5, een winst van 24 punten door mid-training en RL op dezelfde basis. De variantie die aan post-training kan worden toegeschreven, is ongeveer vijf keer zo groot als de variantie die aan het volledige parameterverschil tussen de twee modellen kan worden toegeschreven.

Dat is de bevinding die het duo samen voortbrengt, en die is groter dan elk van beide modellen. Het verklaart ook waarom Cognition bereid is het kleinere model te verkopen voor een vijfde van de prijs: het dure deel van SWE-2 was nooit het basismodel. Het waren de data, de verifiers en de RL-omgevingen, en de Flash hergebruikt die investering op een goedkopere basis.

Hier horen twee kanttekeningen bij. De vergelijking is één tabel van één leverancier op benchmarks die die leverancier zelf beheert, en niets ervan is onafhankelijk gereproduceerd. En de basismodellen zijn geen gelijkwaardige inputs — Kimi K3 komt met een context van een miljoen tokens en native vision, terwijl Inkling-Small een andere architectuur is met andere multimodale ondersteuning — dus "dezelfde post-training, goedkopere basis" is de framing van Cognition, geen geïsoleerde variabele.

De asymmetrie bij het instellen van inspanning

SWE-2 werd geleverd met drie gedocumenteerde niveaus van redeneerinspanning — medium, high en max — en de septemberlancering van Cognition legde uit waarvoor elk diende: medium komt sneller in actie, terwijl high en max meer plannen, meer van de codebase verkennen en meer aan verificatie besteden. Er werd ook gesteld dat voor elk model de beste score over de inspanningsinstellingen werd gerapporteerd.

SWE-2 Flash documenteert helemaal geen enkele vorm van effort control. De lanceringspost vermeldt er niets over, en de benchmarktabel bevat geen kolom voor instellingen. De gepubliceerde vergelijking zet dus een SWE-2 op zijn best af tegen de Flash in een onvermelde configuratie — wat alleen een vergelijking op gelijke voet is als de Flash één instelling heeft, en een oneerlijke vergelijking in een onbekende richting als er meerdere zijn.

Als de Flash echt geen effort-instelling heeft, is dat een productverschil dat je moet benoemen, niet een hiaat in de documentatie. Met effort bepaal je per taak hoe je kosten tegen diepgang afweegt, en een model zonder die instelling geeft je maar één stand voor een wachtrij met zowel triviale als moeilijke taken. Dat is precies de afweging die de ratio je zou moeten laten maken.

In welke wachtrij elk thuishoort

Cognitions eigen framing is hier de eerlijkste leidraad. Daarin staat dat kleinere modellen "in toenemende mate een aanzienlijk deel van het werk dat softwareagenten doen aankunnen, zoals automatiseringen, code review, featureontwikkeling en het bijwerken van documentatie", en dat SWE-2 Flash voor dat werk is ontwikkeld. Leg die lijst naast de vorm van de benchmark en beide komen overeen: afgebakende taken, een duidelijke definitie van gereed, hoog volume, weinig tolerantie voor latentie.

• Als de taak in een prompt past en de definitie van gereed ondubbelzinnig is — een reviewronde, een documentatie-update, een kleine feature, een geplande automatisering — is de Flash de juiste standaardkeuze, en de rekenkundige berekening van de kosten per opgeloste taak hierboven zegt dat hij meerdere malen goedkoper is, zelfs wanneer hij minder taken oplost.

• Als de agent meer dan een handvol keren moet beslissen wat hij vervolgens moet doen — een migratie, een refactor over meerdere repo's, een debugsessie waarin de eerste hypothese meestal onjuist is — dan is het DeepSWE-gat van 13 punten precies wat je met SWE-2 koopt, en de verhouding compenseert dat niet.

• Als je niet kunt bepalen om welk van die soorten taak het gaat, begin je ermee op de Flash en escaleer je. Dat is de beslissing waarvoor Cognition de inspanningsniveaus op SWE-2 heeft gebouwd, en doordat de Flash geen inspanningsregeling heeft, wordt escalatie een routeringsbeslissing in plaats van een parameter.

De fout die je moet vermijden, is de overwinning van 0,2 punt gebruiken als vrijbrief om de moeilijke wachtrij te verplaatsen. Het is één benchmark, één editie, één leverancier, en het valt binnen de eigen gevoeligheid van het instrument.

Buiten Devin is geen van beide een kandidaat.

Geen van beide modellen heeft een API. Geen van beide heeft publiek beschikbare gewichten. Als je je eigen harness gebruikt, kun je dat paar niet kiezen, en het gratis venster helpt je niet — het is een proefperiode binnen een product dat je moet kopen.

De bereikbare helft van deze stack is de basis. Kimi K3 wordt op OrcaRouter gerouteerd als kimi/kimi-k3 tegen $3,00 per miljoen inputtokens en $15,00 per miljoen outputtokens, met een contextvenster van 1M tokens en native tool calling, tegen de lijstprijs van de provider zonder extra marge. Eén API omvat meer dan 200 modellen, waardoor de hierboven beschreven queue-splitsing ook buiten Devin te implementeren is: een routeringsregel kan afgebakend werk naar een goedkoop model sturen en de langlopende jobs naar een sterker model escaleren, zonder dat de client weet welk model heeft geantwoord. Automatische failover hoort achter het geëscaleerde pad, omdat het model waarnaar je escaleert juist het model is dat je niet onbeschikbaar kunt hebben.

Dat is een ander product dan SWE-2 Flash, en het is geen vervanging daarvoor. Het is wat je doet wanneer het ding dat je wilt evalueren geen endpoint heeft.

Wat zou het beslechten?

Drie onthullingen zouden van deze vergelijking bewijs maken in plaats van een leverancierstabel. Een onafhankelijke run van DeepSWE 1.1 en Terminal-Bench 4.0 op beide modellen, door iemand die niet van Cognition is en niet de harness van Cognition gebruikt. Een vermelding van de effort-instelling en de scaffold achter elke rij in de Flash-tabel, in overeenstemming met wat de SWE-2-lancering bood. En een herhaalde run, zodat een marge van 0,2 punt kan worden onderscheiden van variantie tussen runs.

Tot dan is de verdedigbare lezing de beperkte. SWE-2 Flash is een kosten-geoptimaliseerd zustermodel, gebouwd op een veel kleinere basis, op het niveau van SWE-2 op de nieuwste benchmark en duidelijk achter op langetermijnwerk, aangeboden tegen een verhouding die het op basis van de beschikbare gegevens meerdere malen goedkoper maakt per opgeloste taak. Dat is een goede productbeslissing en een bescheiden technische claim. De overwinning van 0,2 punt is geen bewijs dat het iets heeft vervangen — het is bewijs dat op één instrument, op één dag, de kloof ver genoeg is gedicht om in de ruis te verdwijnen.