Flint v1.0 vs Qwen3.8 27B: Het model Recursive benchmarkte zichzelf ertegen

Recursive publiceerde één zin in zijn Recursive Flint v1.0 lanceringsmateriaal dat de meeste verslaggeving oversloeg: op het eigen gemiddelde over zes tests van het bedrijf scoorde alleen Qwen3.8 27B hoger dan Flint. Dat is iets ongewoons voor een leverancier om op de dag van de lancering te publiceren. Het is ook de nuttigste zin in de publicatie, want hij vertelt je welke vergelijking je moet gaan controleren. Qwen3.8 27B is een open-weight dense model, uitgebracht op 14 augustus 2026 onder Apache 2.0, en het is het enige model in Recursive's vergelijkingsset dat Flint versloeg op het samengestelde gemiddelde dat de leverancier zelf had opgesteld. De interessante vraag is dus niet of Flint goed is. Het is waar precies Qwen3.8 27B beter is, en of de kloof standhoudt bij nadere beschouwing van de betrokken testharnassen.

Lees de class claim voordat je de score leest.

De hoofdclaim van Flint is zorgvuldig afgebakend: het is koploper onder mixture-of-expertsmodellen met minder dan 50 miljard totale parameters op SWE-bench Pro v2, Terminal-Bench 2.1 en SWE-bench Verified. Qwen3.8 27B is geen mixture-of-expertsmodel. Het is dense — 27 miljard parameters, allemaal actief voor elk token, 28 miljard als je de vision-encoder meetelt, 64 lagen met een hidden size van 5.120. Het valt dus door zijn opzet buiten Flints vergelijkingsklasse, en Recursive stond het vrij om het helemaal buiten de claim te laten.

Het is de moeite waard precies te zijn over wat "dense" kost en oplevert. Elk van de 27 miljard parameters van Qwen doet mee bij elk token, en daarom heeft het ongeveer 55,6 GB in BF16 en een echte GPU nodig, en daarom is de activatievoetafdruk ruwweg elf keer die van Flint. Het is ook de reden waarom een dense 27B-model op nauwkeurigheid beter kan presteren dan een sparse model met 2,5B actieve parameters: het verricht meer rekenwerk per token, en dat laat het je betalen.

Terminal-Bench 2.1: het achttienpuntenverschil

Dit is de meest zuivere vergelijking die beschikbaar is, omdat beide labs dezelfde benchmarkversie rapporteren en het verschil groot genoeg is dat ruis in de testopstelling het waarschijnlijk niet volledig kan verklaren.

• Flint — 54,9% op Terminal-Bench 2.1, uitgevoerd op de Terminus 2-harness met internet ingeschakeld, maar waarbij elke oplossing die via het web werd verkregen, als een mislukking telde.

• Qwen3.8 27B — 73,0% op Terminal-Bench 2.1, volgens de modelkaart van Alibaba.

Dat is een verschil van 18,1 punt in het voordeel van Qwen, op de benchmark die het meest lijkt op agentisch terminalwerk — precies de taak waarvoor beide modellen worden verkocht. Er zijn twee kanttekeningen die in tegengestelde richtingen wijzen, en beide moeten worden vermeld.

De eerste bevoordeelt Flint. Recursive hanteerde een handicap die zijn concurrenten wellicht niet hebben toegepast: als de agent het antwoord op het web vond, rekende Recursive het als fout. Een model dat mag zoeken en citeren zou hoger scoren op dezelfde testomgeving. Hoeveel hoger is onbekend, en Recursive publiceert het cijfer zonder handicap niet.

De tweede spreekt elke eenduidige interpretatie tegen. Een derde partij, PrismML, scoorde Qwen3.8 27B op 69,7 op Terminal-Bench 2.1, terwijl Alibaba 73,0 aangaf. Een verschil van 3,3 punten over hetzelfde model en dezelfde benchmark is een nuttige kalibratie: het leert je dat verschillen van een paar punten in deze tabel ruis zijn, en dat een verschil van 18 punten dat waarschijnlijk niet is.

Zelfs met het lagere Qwen-cijfer blijft er van 69,7 tegenover 54,9 een verschil van 14,8 punten over. De richting staat niet ter discussie.

LiveCodeBench v6: een tweede kloof, op een schonere benchmark

Competitief programmeren is van de benchmarks die beide labs rapporteren het minst harness-gevoelig, omdat het model een probleem krijgt, code produceert en een judge die uitvoert. Er is geen agentlus die tot verschillen kan leiden.

• Flint — 80,3% op LiveCodeBench v6.

• Qwen3.8 27B — 90,3% op LiveCodeBench v6.

Dat is een verschil van 10 punten, en dat is het punt dat ik het zwaarst zou wegen, juist omdat het het moeilijkst weg te verklaren is. Flints 80,3 is een respectabel cijfer voor een model dat 2,5 miljard parameters activeert. Qwens 90,3 is een sterk cijfer voor een model dat 27 miljard activeert. Geen van beide is verrassend. Het punt is dat het efficiëntievoordeel dat Flint verkoopt niet gratis komt, en deze benchmark is waar de prijs zichtbaar wordt.

De benchmark die op een Flint-overwinning lijkt, maar dat niet is

Dit is waar de meeste vergelijkingspagina's de fout ingaan, en het is de moeite waard om daar even bij stil te staan.

Flint rapporteert 89,7% op SWE-bench Pro v2. Qwen3.8 27B rapporteert 61,7% op SWE-bench Pro. Als je dit snel leest, lijkt het op een overwinning van Flint met 28 punten. Het is helemaal geen vergelijking. De "v2" is een andere benchmark dan degene die Alibaba rapporteert, met een andere set taken en een ander evaluatieprotocol, en de twee getallen kun je niet van elkaar aftrekken. Elke pagina die ze in naast elkaar gelegen kolommen zet en een winnaar uitroept, vertelt je iets over de auteur, niet over de modellen.

Dezelfde valstrik staat één rij lager. Flint rapporteert 74,2% op SWE-bench Verified. Qwen3.8 27B publiceert geen SWE-bench Verified-score — de kaart van Alibaba rapporteert SWE-bench Pro, QwenSWEBench op 79,0, DeepSWE 1.1 op 42,2, Terminal-Bench 2.1 op 73,0, LiveCodeBench v6 op 90,3 en NL2Repo-Bench op 42,3. Er is geen Verified-cijfer om tegen te vergelijken. Cijfers die circuleren voor Qwen3.8 27B op Verified zijn ofwel overgenomen van een eerder model in de familie, ofwel afkomstig uit een secundaire bron die op meerdere andere benchmarks tegelijk in tegenspraak is met de modelkaart. Behandel ze als ongeverifieerd.

Nog een voorbehoud aan Alibaba's kant: de runs voor SWE-bench Pro en QwenSWEBench gebruikten een externe agent-harness in plaats van een kaal model, dus zelfs vergelijkingen met de SWE-bench Pro-score van een ander lab zijn wankel. Dit is niet uniek voor Alibaba. Het is de stand van zaken bij agentische codebenchmarks in het algemeen, en daarom wegen de rijen Terminal-Bench en LiveCodeBench hier zwaarder dan de SWE-bench-rijen.

Waar Flint wint, en niet op een klein verschil

Nauwkeurigheid is niet de enige dimensie, en op de andere dimensies keert de volgorde sterk om.

• Geheugen — Flint draait in ongeveer 24 GB, met een NVFP4-build van 22,86 GB op schijf. Qwen3.8 27B heeft ongeveer 55,6 GB nodig in BF16. De ene past op een high-end laptop of een enkele consumentenkaart; de andere vereist een echte GPU-toewijzing.

• Actieve rekenkracht per token — Flint activeert ongeveer 2,5 miljard parameters. Qwen activeert alle 27 miljard. Die verhouding is de reden dat het snelheidsverschil bestaat en de reden dat Flint bij grote volumes goedkoper te serveren is.

• Snelheid — Recursive claimt meer dan 125 tokens per seconde op een M4 Pro MacBook Pro en meer dan 150 op een 64 GB RTX Spark bij korte context. Een dense 27B-model op dezelfde laptop valt niet in die range. Qwen3.8 27B zou lokaal ook traag zijn en ongewoon veel tokens verbruiken — Artificial Analysis mat ongeveer 160 miljoen outputtokens over zijn indextests, wat in elke agentloop een kostenvermenigvuldiger is.

• Context — beide ondersteunen native 262,144 tokens, en Qwen breidt uit naar 1,000,000 met YaRN-scaling. Flints aankondiging noemt tot 512K. Op papier maakt dit binnen het native venster elkaar niets uit; in de praktijk is Flints doorvoer bij lange context het zwakkere verhaal, waarbij onafhankelijke tests melden dat de snelheid terugvalt tot ongeveer 9 tokens per seconde rond 115,000 tokens.

• Multimodaliteit — Qwen3.8 27B accepteert naast tekst ook afbeeldingen en video, met een hybride attention-indeling van 48 Gated DeltaNet linear-attention-lagen tegenover 16 full-attention-lagen in een verhouding van 3:1, wat het betaalbaar maakt om een venster van 262K te serveren. Flint is alleen tekst.

Wat je eigenlijk kiest

• Als maximale codeernauwkeurigheid het doel is en je hebt de hardware, dan is Qwen3.8 27B het sterkere model op elke benchmark waarop de twee zuiver kunnen worden vergeleken. Dat is ook wat het eigen gemiddelde over zes tests van Recursive zegt.

Als het model op een laptop moet draaien, offline moet blijven, de broncode op de machine moet blijven staan, of genoeg volume moet bedienen dat actieve parameters de rekening domineren, wint Flint op de dimensie die de inzet bepaalt. Een model met 2,5B actieve parameters bij 125 tokens per seconde is een ander product dan een dense model van 27B dat een GPU-node nodig heeft.

• Wil je beide, dan werken ze goed samen: het lokale model voor routinematig en gevoelig werk, het gehoste model voor de lastige taken. Die verdeling is degene waarop de meeste teams uitkomen, en dat is precies waar de routeringslaag ophoudt een detail te zijn.

Qwen3.8 27B is het enige model in deze vergelijking dat OrcaRouter rechtstreeks aanbiedt — de identifier is qwen/qwen3.8-27b in onze live modellenlijst, en het accepteert tekst, afbeeldingen en video met het volledige venster van 262.144 posities. Omdat de lijstprijs van de provider wordt doorgegeven met zonder toeslag, is een prijswijziging aan de kant van Alibaba dezelfde dag live aan onze kant, in plaats van bij de volgende verlenging. OrcaRouter serveert Flint niet; die is een download. De hybride hierboven is dus echt hybride: één pad naar een gehost model van frontierklasse, en een lokaal bestand voor alles wat de machine niet mag verlaten.

Het experiment dat niemand heeft uitgevoerd

Elk cijfer in dit artikel is afkomstig van een lab dat zijn eigen model heeft gemeten, met één uitzondering — PrismML's meningsverschil van 3,3 punt met Alibaba over Terminal-Bench, het enige beschikbare signaal over hoeveel deze cijfers verschuiven wanneer iemand anders de stopwatch hanteert.

Wat dit zou beslechten, is eenvoudig en is niet gebeurd: beide modellen, één harness, één takenpakket, één machine, gepubliceerde traces. Tot dan is de verdedigbare positie de smalle. Op de benchmarks die beide labs eerlijk rapporteren, is Qwen3.8 27B de nauwkeurigere coder. Op de deployment-assen die bepalen of een model überhaupt kan draaien, is Flint de efficiëntere. Recursive zei dat als eerste, in zijn eigen lanceringsbericht, en dat is het meest betrouwbare in de hele release.