SWE-2 Flash vs Flint v1.0: één eerlijke benchmarkrij en veel ruis

Twee mixture-of-experts-codemodellen met een klein actief deel, vijftien dagen na elkaar uitgebracht, die beide hetzelfde prestatieniveau claimen tegen een fractie van de kosten van een vlaggenschipmodel. SWE-2 Flash van Cognition, uitgebracht op 4 november 2026, heeft 276B totale parameters, waarvan 12B actief. Flint v1.0 van Recursive, uitgebracht op 21 oktober 2026, heeft 39,8B totale parameters, waarvan ongeveer 2,5B actief. Het is dezelfde architectonische gok op heel verschillende schalen — en de eerlijke manier om ze te vergelijken is om vooraf toe te geven dat hun gepubliceerde tabellen op precies één rij overlappen.

Die rij is Terminal-Bench 2.1: 89,2 voor SWE-2 Flash tegenover 54,9 voor Flint v1.0. Het is een verschil van 34 punten, het is het sterkste cijfer dat een van beide bedrijven in deze onderlinge vergelijking heeft neergezet, en er kleven twee kanttekeningen aan die groot genoeg zijn om te veranderen hoe je het leest. Al het andere dat je geneigd zou zijn te vergelijken, is ofwel een andere benchmarkversie ofwel een andere subset van dezelfde benchmark.

Dezelfde weddenschap, tegenovergestelde licentie

De gedeelde these is dat actieve parameters, niet het totale aantal parameters, de inferentiekosten bepalen — je kunt dus een groot sparse model bouwen en alleen betalen voor het deel dat wordt geactiveerd. Flint zet per token 6 van 256 gerouteerde experts plus een gedeelde expert aan het werk, over 49 lagen, waarvan 35 sliding-window met een venster van 513 tokens en 14 full attention. SWE-2 Flash erft die structuur van zijn Inkling-Small-basis: 276B totaal, 12B actief, post-getraind met een mid-trainingfase die Cognition nog niet eerder had gebruikt.

Het verschil dat meer uitmaakt dan welk architectuurdetail dan ook, is wat je met de output mag doen:

• Gewichten — Flint v1.0 is Apache 2.0 op Hugging Face in BF16, FP8 en gekwantiseerde vormen. SWE-2 Flash wordt volledig achtergehouden, met een beloofd partnerschapsprogramma dat nog niet nader is gespecificeerd.

• Distributie — Flint draait onder llama.cpp, Ollama, LM Studio, vLLM en SGLang op hardware die je zelf bezit. SWE-2 Flash draait in Devin Desktop en de Devin CLI en nergens anders.

• Prijs — Flints marginale kosten zijn jouw GPU. SWE-2 Flash is gratis tot en met 30 november 2026 en heeft daarna geen gepubliceerd tarief per token.

• Context — Flint publiceert 262.144 tokens, configureerbaar tot ongeveer 512K. SWE-2 Flash publiceert niets.

Dat is geen klein verschil in houding. Het ene is een artefact dat je kunt inspecteren, kwantiseren, fine-tunen en op een laptop kunt draaien. Het andere is een product met een gratis maand.

De enige rij die je kunt vergelijken

Terminal-Bench 2.1 is de enige benchmark waarop beide bedrijven een cijfer voor dezelfde versie rapporteren. Flints 54,9 is geproduceerd via Terminus 2, met pass@1 gemiddeld over ten minste vijf pogingen. SWE-2 Flash' 89,2 is geproduceerd op een harness die Cognition niet noemt, bij een effort-instelling die het niet bekendmaakt, uit een lanceringsbericht dat de methodologiebijlage weglaat die zijn voorganger uit september wel bevatte.

De kloof van 34 punten is dus echt in de zin dat beide getallen op dezelfde taakset zijn gerapporteerd, en zacht in de zin dat de ene kant vertelde hoe die er kwam en de andere niet. Een model dat scoort binnen een gezamenlijk ontworpen agent-scaffold — wat Devin is — verslaat doorgaans hetzelfde model dat via een generieke harness wordt gescoord. Het getal van Flint is juist het conservatieve, precies omdat Recursive de methode heeft gepubliceerd.

Als je één zin wilt: op de enige gedeelde rij ligt SWE-2 Flash ver voor, en geen van beide bedrijven heeft een onafhankelijke partij de mogelijkheid gegeven om dit te controleren.

De twee Pro-scores die identiek lijken, maar het niet zijn

Dit is de valkuil in deze confrontatie, en het is de moeite waard om even pas op de plaats te maken. Recursive rapporteert Flint v1.0 op 89,7 op SWE-bench Pro v2. Cognition rapporteert SWE-2 Flash op 89,9 op SWE-Bench Pro v2 Hard. Twee getallen, 0,2 punt uit elkaar, die naast elkaar staan in elke aggregatie die je zult vinden.

Ze zijn niet dezelfde meting. "Hard" is een subset — een gefilterde selectie van de takenreeks, niet het geheel. Flints cijfer is de volledige Pro v2-run onder mini-swe-agent, waarbij via het web opgehaalde oplossingen als fouten worden geteld, wat een striktere scoringsconventie is dan de meeste leveranciers hanteren. 89,9 naast 89,7 zetten en het een gelijkspel noemen, is het soort vergelijking dat zelfverzekerde, verkeerde conclusies oplevert.

Dezelfde voorzichtigheid geldt voor een rij die geen van beide tabellen deelt. Flint rapporteert SWE-bench Verified op 74,2. SWE-2 Flash rapporteert Verified helemaal niet — in plaats daarvan rapporteert het Pro v2 Hard, DeepSWE 1.1 en SWE-Atlas QA. Dus de benchmark waar de meeste teams een intuïtie voor hebben, is niet beschikbaar voor het nieuwere model, waardoor "Flint loopt achter op SWE-bench" een ongefundeerde bewering is in plaats van een bevinding.

Context is de specificatie die bepaalt

Voor agentisch programmeren is het contextvenster geen voetnoot — het bepaalt of een model het relevante deel van een repository in één planningsstap kan vasthouden of in stukjes aangereikt moet krijgen. Flint publiceert 262.144 tokens. SWE-2 Flash publiceert niets, en na drie dagen berichtgeving heeft geen enkel medium dat vastgesteld.

De context van Flint komt met een eigen kanttekening. Communitymetingen laten zien dat de doorvoer bij lange context instort — ruwweg 110 tokens per seconde bij korte prompts, dalend naar 9 tokens per seconde rond 115.000 tokens. Een venster van 262K dat op 9 tok/s draait, is een venster dat je bewust gebruikt, voor één grote leesactie, niet een dat je gedurende een lange sessie open laat staan. Kwantisatie verzacht de rekenkosten, maar niet die curve.

Het niet-gepubliceerde venster van SWE-2 Flash is de grotere onbekende, omdat Devin een product voor lange sessies is. Als je tussen beide kiest op basis van de aanname dat het gesloten model beter overweg kan met grotere repositories, kies je op basis van een getal dat niemand heeft gepubliceerd.

Snelheid die je kunt verifiëren tegenover snelheid die je niet kunt verifiëren

Cognition zegt dat SWE-2 Flash met ongeveer 200 tokens per seconde draait, tegenover 60 voor SWE-2. Het cijfer komt uit het opnieuw afspelen van verkorte sessietranscripten tegen gesimuleerde snelheden, niet uit het timen van een live endpoint. Het is een demonstratie, geen meting, en er is momenteel geen manier voor iemand buiten Cognition om het te controleren.

De doorvoerclaims van Flint zijn in vergelijking bescheiden en veel eenvoudiger te weerleggen: ongeveer 125 tot 131 tokens per seconde op een M4 Pro MacBook Pro, meer dan 150 op een RTX Spark met 64 GB. Die zijn gemeten op hardware die je kunt kopen, door mensen die de configuratie hebben gepubliceerd. De NVFP4-gekwantiseerde build zou op de benchmarks binnen ongeveer 0,7 punt van BF16 uitkomen, en dat is het soort bewering dat een community kan en zal testen.

Eén echt minpunt dat je moet weten: het GGUF-pad heeft in llama.cpp een bug in de chat-template gehad, en het model heeft een beperkt communitytrackrecord vergeleken met alles uit een groot lab. Vroege adopters doen het debugwerk.

Wat elke optie je daadwerkelijk kost

Flint v1.0 is gratis te downloaden en kost wat je inferentie kost. Een 39,8B-model met 2,5B actief draait op een goed uitgeruste laptop met bruikbare snelheid, en dat is precies het punt van de architectuur. De kosten van adoptie zijn operationeel: jij bent eigenaar van de servingstack, de kwantisatiekeuze en de faalmodi.

SWE-2 Flash kost niets tot 30 november 2026 en daarna een onbekend bedrag, omdat Cognition een verhouding heeft gepubliceerd — een vijfde van de prijs van SWE-2 — in plaats van een tarief. Als het planningsproces van je team een getal nodig heeft om in een spreadsheet te zetten, is dat het blokkerende punt, niet het verschil in benchmarks.

Geen van beide modellen staat vandaag in de OrcaRouter-catalogus, en we gaan niet suggereren dat dit anders is. Wat in deze vergelijking nuttig is, is niet routeren tussen deze twee, maar het veld eromheen benchmarken: meer dan 200 modellen zitten achter één OrcaRouter-sleutel tegen 0% opslag bovenop de providerlijstprijs, waardoor je dezelfde repository-taak door een tiental kandidaten kunt laten lopen door één string te wijzigen. Wanneer je kiest tussen twee modellen waarvan de ene partij haar testopstelling openbaar heeft gemaakt en de andere niet, is je eigen evaluatie meer waard dan de tabel van welke leverancier dan ook.

Wie moet welke kiezen

Kies Flint v1.0 als je de gewichten nodig hebt. Als je beperking dataresidentie, offline werking, fine-tuning of een kost per token is die niet afhangt van de prijsbeslissing van een ander bedrijf, dan is het gat van 34 punten op Terminal-Bench een prijs die je best wilt betalen — en Flints context van 262K en gepubliceerde harness geven je een model waarover je kunt redeneren in plaats van een zwarte doos.

Kies SWE-2 Flash als je al in Devin zit en het gratis venster genoeg is om je vraag te beantwoorden. Het is het best presterende model op de enige rij die beide bedrijven hebben gemeten, met een ruime marge, en het kost niets om het tot eind november uit te proberen.

Wat niemand zou moeten doen, is een van beide kiezen op basis van de SWE-bench Pro-cijfers. 89.7 en 89.9 zijn niet dezelfde test, en het verschil tussen beide is kleiner dan het verschil tussen elk van beide cijfers en wat jouw repository daadwerkelijk zal opleveren.