Flint v1.0 vs Qwen3.8 27B: Modellen Recursive benchmarkade sig själv mot

Recursive publicerade en mening i sitt Recursive Flint v1.0 lanseringsmaterial som större delen av bevakningen hoppade över: på företagets eget genomsnitt över sex tester var det bara Qwen3.8 27B som fick högre poäng än Flint. Det är en ovanlig sak för en leverantör att skriva på lanseringsdagen. Det är också den mest användbara meningen i utskicket, eftersom den talar om vilken jämförelse du ska gå och kontrollera. Qwen3.8 27B är en dense-modell med öppna vikter, släppt den 14 augusti 2026 under Apache 2.0, och det är den enda modellen i Recursives jämförelseuppsättning som slog Flint på det aggregerade mått som leverantören själv hade konstruerat. Så den intressanta frågan är inte om Flint är bra. Den är var, exakt, Qwen3.8 27B är bättre, och om gapet överlever granskning av de testramverk som är inblandade.

Läs klasspåståendet innan du läser poängen.

Flints huvudpåstående är noggrant avgränsat: det toppar mixture-of-experts-modeller under 50 miljarder totala parametrar på SWE-bench Pro v2, Terminal-Bench 2.1 och SWE-bench Verified. Qwen3.8 27B är inte en mixture-of-experts-modell. Den är tät – 27 miljarder parametrar, alla aktiva för varje token, 28 miljarder inklusive vision-encodern, 64 lager med en hidden size på 5 120. Så den ligger per konstruktion utanför Flints jämförelseklass, och Recursive stod fritt att helt utelämna den från påståendet.

Det är värt att vara precis om vad "dense" kostar och ger. Var och en av Qwens 27 miljarder parametrar deltar i varje token, vilket är anledningen till att den behöver cirka 55,6 GB i BF16 och en riktig GPU, och till att dess aktiveringsfotavtryck är ungefär elva gånger Flints. Det är också anledningen till att en dense 27B kan överträffa en sparse modell med 2,5B aktiva parametrar i noggrannhet: den utför mer aritmetik per token, och den tar betalt för det.

Terminal-Bench 2.1: gapet på arton punkter

Detta är den renaste jämförelsen som finns, eftersom båda labben rapporterar samma benchmarkversion, och skillnaden är tillräckligt stor för att brus från testharneset osannolikt ska kunna förklara hela den.

• Flint — 54,9 % på Terminal-Bench 2.1, kört i Terminus 2-harnesset med internet aktiverat, men där varje lösning som erhållits genom webbhämtning räknades som ett misslyckande.

Qwen3.8 27B — 73,0 % på Terminal-Bench 2.1, enligt Alibabas modellkort.

Det är en skillnad på 18,1 punkter till Qwens fördel, på det benchmark som mest liknar agentiskt terminalarbete – vilket är precis det jobb som båda modellerna säljs in för. Två förbehåll drar i olika riktningar och båda behöver nämnas.

Det första gynnar Flint. Recursive tillämpade ett handikapp som dess jämlikar kanske inte har tillämpat: om agenten hittade svaret på webben bedömde Recursive det som fel. En modell som tillåts söka och citera skulle få högre poäng i samma testramverk. Hur mycket högre är okänt, och Recursive publicerar inte siffran utan handikapp.

Det andra resultatet talar emot varje entydig tolkning. En tredje part, PrismML, gav Qwen3.8 27B poängen 69,7 på Terminal-Bench 2.1 i stället för Alibabas 73,0. En skillnad på 3,3 punkter för samma modell och samma benchmark är en användbar kalibrering: den säger att skillnader på några punkter i den här tabellen är brus, och att en skillnad på 18 punkter förmodligen inte är det.

Även om man utgår från den lägre Qwen-siffran lämnar 69,7 mot 54,9 14,8 poäng. Det råder ingen tvekan om riktningen.

LiveCodeBench v6: ett andra gap, på ett renare benchmark

Tävlingsprogrammering är den minst utvärderingsramverkskänsliga av de benchmarkar som båda labben rapporterar, eftersom modellen får ett problem och producerar kod som en domare kör. Det finns ingen agentloop som kan skilja sig åt.

• Flint — 80,3 % på LiveCodeBench v6.

• Qwen3.8 27B — 90,3 % på LiveCodeBench v6.

Det är ett gap på 10 poäng, och det är det gap jag skulle vikta tyngst, just för att det är svårast att bortförklara. Flints 80,3 är en respektabel siffra för en modell som aktiverar 2,5 miljarder parametrar. Qwens 90,3 är en stark siffra för en modell som aktiverar 27 miljarder. Ingen av dem är förvånande. Poängen är att den effektivitetsfördel Flint säljer inte kommer gratis, och det är i den här benchmarken som priset syns.

Benchmarken som ser ut som en Flint-vinst men inte är det

Det är här de flesta jämförelsesidor går fel, och det är värt att stanna upp inför.

Flint rapporterar 89,7 % på SWE-bench Pro v2. Qwen3.8 27B rapporterar 61,7 % på SWE-bench Pro. Vid en snabb läsning ser det ut som en 28-poängsseger för Flint. Det är inte en jämförelse alls. "v2" är ett annat benchmark än det Alibaba rapporterar, med en annan uppsättning uppgifter och ett annat utvärderingsprotokoll, och de två siffrorna kan inte subtraheras. Varje sida som ställer upp dem i intilliggande kolumner och utser en vinnare säger något om sin författare, inte om modellerna.

Samma fälla finns en rad nedanför. Flint rapporterar 74,2 % på SWE-bench Verified. Qwen3.8 27B publicerar ingen SWE-bench Verified-poäng — Alibabas modellkort rapporterar SWE-bench Pro, QwenSWEBench på 79,0, DeepSWE 1.1 på 42,2, Terminal-Bench 2.1 på 73,0, LiveCodeBench v6 på 90,3 och NL2Repo-Bench på 42,3. Det finns ingen Verified-siffra att jämföra med. Siffror som cirkulerar för Qwen3.8 27B på Verified är antingen ärvda från en tidigare modell i familjen eller hämtade från en sekundär källa som samtidigt strider mot modellkortet på flera andra benchmarks. Behandla dem som overifierade.

Ett ytterligare förbehåll på Alibabas sida: dess SWE-bench Pro- och QwenSWEBench-körningar använde en extern agent-harness i stället för enbart en modell, så även jämförelser mot ett annat labs SWE-bench Pro-siffra är osäkra. Detta är inte unikt för Alibaba. Det är läget för agentiska kodningsbenchmarkar i allmänhet, och det är därför Terminal-Bench- och LiveCodeBench-raderna väger tyngre här än SWE-bench-raderna gör.

Där Flint vinner, och det är inte ens nära.

Noggrannhet är inte den enda axeln, och på de andra vänds ordningen drastiskt.

• Minne — Flint körs på ungefär 24 GB, med en NVFP4-version på 22,86 GB på disk. Qwen3.8 27B behöver ungefär 55,6 GB i BF16. Den ena får plats i en högklassig bärbar dator eller på ett enda konsumentkort; den andra kräver en riktig GPU-allokering.

• Aktiv beräkning per token – Flint aktiverar cirka 2,5 miljarder parametrar. Qwen aktiverar alla 27 miljarder. Det förhållandet är anledningen till att hastighetsgapet finns och anledningen till att Flint är billigare att betjäna i volym.

• Hastighet – Recursive uppger 125+ tokens per sekund på en M4 Pro MacBook Pro och mer än 150 på en 64 GB RTX Spark vid kort kontext. En tät 27B-modell på samma laptop ligger inte i det intervallet. Qwen3.8 27B uppges också vara långsam lokalt och ovanligt tokenkrävande – Artificial Analysis uppmätte ungefär 160 miljoner utdatatokens över sina indextester, vilket är en kostnadsmultiplikator i alla agentloopar.

• Kontext — båda dokumenterar 262,144 tokens inbyggt, och Qwen utökar till 1,000,000 med YaRN-skalning. Flints tillkännagivande anger upp till 512K. På papperet är detta jämnt vid det nativa fönstret; i praktiken är Flints genomströmning vid lång kontext den svagare historien, med oberoende tester som rapporterar en nedgång till ungefär 9 tokens per sekund nära 115,000 tokens.

{{1}}Multimodalitet{{/1}} — {{2}}Qwen3.8 27B tar emot bilder och video liksom text, med en hybridlayout för uppmärksamhet med 48 linjära uppmärksamhetslager av Gated DeltaNet-typ mot 16 fulluppmärksamhetslager i förhållandet 3:1, vilket är det som gör ett fönster på 262K överkomligt att betjäna. Flint är endast text.{{/2}}

Vad du faktiskt väljer

• Om maximal kodningsnoggrannhet är målet och du har hårdvaran, är Qwen3.8 27B den starkare modellen på alla benchmark där de två kan jämföras entydigt. Det är också vad Recursives eget medelvärde över sex tester säger.

• Om modellen måste köras på en bärbar dator, förbli offline, hålla källkoden på maskinen eller betjäna tillräcklig volym för att aktiva parametrar ska dominera kostnaden, vinner Flint på den axel som avgör driftsättningen. En modell med 2,5B aktiva parametrar vid 125 tokens per sekund är en annan produkt än en tät 27B-modell som kräver en GPU-nod.

• Om du vill ha båda kompletterar de varandra väl: den lokala modellen för rutinmässigt och känsligt arbete, den hostade modellen för de svåra uppgifterna. Det är den uppdelningen som de flesta team landar i, och det är där routinglagret slutar vara en detalj.

Qwen3.8 27B är den enda modellen i den här jämförelsen som OrcaRouter tillhandahåller direkt – identifieraren är qwen/qwen3.8-27b i vår aktiva modellista, och den accepterar text, bilder och video med det fullständiga fönstret på 262 144 positioner. Eftersom leverantörens listpris förs vidare med inget påslag, slår en prisändring från Alibabas sida igenom hos oss samma dag i stället för vid nästa förnyelse. OrcaRouter tillhandahåller inte Flint; den hämtas som en nedladdning. Så hybriden ovan är verkligen en hybrid: en väg till en hostad modell av frontier-klass, och en lokal fil för allt som inte får lämna maskinen.

Experimentet som ingen har genomfört

Varje siffra i den här artikeln kom från ett labb som mätte sin egen modell, med ett undantag – PrismML:s avvikelse på 3,3 punkter från Alibaba på Terminal-Bench, vilket är den enda ledtråden som finns till hur mycket dessa siffror förändras när någon annan håller i stoppuret.

Det som skulle avgöra saken är enkelt och har inte hänt: båda modellerna, en och samma testrigg, en och samma uppsättning uppgifter, en och samma maskin, publicerade spår. Fram till dess är den försvarbara hållningen den snäva. På de benchmarkar som båda labben rapporterar ärligt är Qwen3.8 27B den mer träffsäkra kodaren. På de driftsättningsaxlar som avgör om en modell överhuvudtaget kan köras är Flint den mer effektiva. Recursive sade det först, i sitt eget lanseringsinlägg, och det är det mest trovärdiga i hela utgåvan.