Nanbeige4.3-33B vs Qwen3.8 27B: Granskning av påståendet om 18 av 20

Nanbeige4.3-33B slår Qwen3.8-27B på 18 av 20 benchmarks. Det är påståendet som cirkulerar på internet den här veckan, och det är tekniskt sett vad modellkortet säger. Det är också en mening med en nämnare, och nämnaren är det intressanta. Av dessa 20 rader är 19 poängsatta och en är en siffra i dollar; fyra av de 18 vinsterna är med mindre än en enda poäng; och minst tre av Qwens siffror verkar vara kopierade från Qwens egna publicerade resultat i stället för att ha körts om av Nanbeige. Inget av detta gör påståendet falskt. Det gör det snävare än det låter.

Duellen är ovanlig eftersom Nanbeige valde Qwen3.8-27B som sin sparringpartner. Qwen3.8-27B lanserades i mitten av augusti 2026, är en dense-modell med 27,78 miljarder parametrar, Apache 2.0, multimodal för indata och har — till skillnad från Nanbeige4.3-33B — ett oberoende Artificial Analysis Intelligence Index på 34. Så detta är den enda jämförelsen i omgången där motståndaren har en verifierad poäng och subjektet inte har det. Den asymmetrin är det bästa verktyget vi har för att granska tabellen.

Vem skrev påståendet, och vad nämnaren innehåller

Tabellen är Nanbeiges. Den publicerades på Hugging Face-modellkortet för Nanbeige4.3-33B, i ett repo skapat den 24 oktober 2026. Det finns inget medföljande blogginlägg, inget lanseringsevenemang och ingen tredjepartsreproduktion. Varje siffra i Qwen-kolumnen, och varje siffra i Nanbeige-kolumnen, producerades eller valdes av labbet som gjorde jämförelsen.

De 20 raderna omfattar tre grupper: agentisk kodning (Terminal-Bench 2.1 och 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), agentiskt samarbete (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) och resonemang (GPQA Diamond, AIME 2026, AA-LCR). Testramverket redovisas mer noggrant än de flesta leverantörers faktablad: Terminus 2 för Terminal-Bench 2.1, mini-swe-agent v2.4.6 för Terminal-Bench 4.0, DeepSWE och SWE-Atlas-QnA, Claude Code för NL2Repo och JobBench samt GPT-6 Sol som domare för SWE-Atlas-QnA. Den öppenheten är ett plus för Nanbeige. Den är också anledningen till att jämförelsen är svårare att tolka än enbart ett antal segrar.

De två raderna som Nanbeige förlorar

• SWE-Bench Pro — Qwen3.8-27B 61,7 mot Nanbeige4.3-33B 60,3. En ledning för Qwen på 1,4 punkter.

• GDPval — Qwen3.8-27B 86,4 mot Nanbeige4.3-33B 84,8. Ett försprång på 1,6 poäng för Qwen.

Det här är de två raderna som rubriken "18 av 20" tyst rundar bort, och de pekar i en konsekvent riktning. Båda är benchmarkar för professionellt, ekonomiskt värdefullt arbete: SWE-Bench Pro är den svårare programvaruutvecklingsvarianten, och GDPval mäter utdatakvalitet på verkliga yrkesuppgifter. Qwen vinner båda med marginaler som är små i absoluta tal men stabila över två olika uppgiftsfamiljer. Om du väljer mellan dessa modeller för professionellt arbete snarare än för en resultattavla, är det här två av de rader du bör väga tyngst, och de är de två där subjektet förlorar.

Nanbeiges kort förklarar inte förlusterna. Det behöver det inte – en leverantör har rätt att publicera en tabell som den vinner. Men en läsare bör lägga märke till att förlusterna klumpar sig exakt där benchmarken ligger närmast "skulle en professionell acceptera den här utdata" och att vinsterna klumpar sig där benchmarken ligger närmast "slutförde agenten loopen".

Vinster som är avrundningsfel

Fyra av de 18 segrarna avgörs med mindre än en poäng.

• Tau3-Bench — 48,8 mot 48,5. Tre tiondelar av en poäng.

• GPQA Diamond — 89,5 mot 89,2. Tre tiondelar.

• AIME 2026 — 95,2 mot 94,5. Sju tiondelar.

• EnterpriseOps-Gym — 41,0 vs 40,2. Åtta tiondelar.

Ytterligare två ligger inom ungefär två punkter: Toolathlon-Verified på 70,4 mot 68,5, och AA-LCR på 84,0 mot 82,0. På benchmarkar av den här storleken och variansen är en marginal på under en punkt inte bevis på överlägsenhet. Det är bevis på att två modeller ligger i samma band. En rättvis omformulering av rubriken skulle vara ”Nanbeige leder tydligt i 12 av 20, delar lika i 6 och ligger efter i 2” – vilket fortfarande är ett starkt resultat, och ett mer användbart sådant.

De stora vinsterna är där det verkliga argumentet ligger. DeepSWE på 65,5 mot 42,5 är en skillnad på 23 punkter. Terminal-Bench 4.0 på 23,8 mot 6,3 är 17,5. Automation Bench på 54,2 mot 38,3 är 15,9. DeepPlanning på 63,3 mot 49,2 är 14,1. YC-bench, en uppgift som mäts i dollar, rapporterar $1 025 437 mot $641 290. Det är inte avrundning. De säger att Nanbeige är bättre på utförande över lång horisont i flera steg – den typ av arbete där en modell måste hålla en plan levande över dussintals verktygsanrop. Det är en sammanhängande berättelse, och den stämmer överens med modellens 512K inbyggda kontext och dess agentorienterade rekommenderade inställningar.

Kolumnerna kanske inte tillhör samma experiment

Här är observationen som komplicerar hela tabellen. Tre Qwen-siffror matchar Qwens egna publicerade siffror exakt: Terminal-Bench 2.1 på 73,0, SWE-Bench Pro på 61,7 och GPQA Diamond på 89,2. Qwen publicerar alla tre. Raderna som Qwen inte publicerar – DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval – är precis de rader där Nanbeiges marginaler är störst.

Det mönstret är förenligt med två olika metoder i en och samma tabell: kopierade siffror för benchmarkar som motparten redan hade publicerat, färska körningar för benchmarkar som den inte hade publicerat. Det är en slutledning, inte ett redovisat faktum – Nanbeiges modellkort säger att alla modeller utvärderades med högsta tankeansträngning och samma inferensparametrar och testramverk, vilket skulle tala emot kopiering. Men den exakta överensstämmelsen på tre oberoende siffror är ett sammanträffande värt att uppmärksamma, och om Qwen-kolumnen är en blandning jämför "18 av 20" Nanbeiges körningar med Qwens körningar på vissa rader och Nanbeiges körningar med Nanbeiges körningar på andra.

Det finns ett andra, subtilare problem. Nanbeiges egen modell körs i den testrigg som dess modellkort rekommenderar: XML-verktygsanrop, preserve_thinking=true, temperature 1.0 för agentiskt arbete. Kortet anger inte om Qwen3.8-27B fick sina egna rekommenderade inställningar eller hamnade i Nanbeiges. Om det är det senare är en del av DeepSWE-gapet på 23 punkter en konfigurationsskillnad snarare än en skillnad i förmåga. Detta är samma förbehåll som gäller för alla leverantörsjämförelser, och det är inte ett skäl att avfärda resultatet – det är ett skäl att kräva en neutral omkörning innan det behandlas som avgjort.

Det oberoende betyg som endast en modell har

Artificial Analysis ger Qwen3.8-27B 34 poäng på sitt Intelligence Index, uppmätt med resonemangskonfigurationen xhigh, med 45,2 utdatatoken per sekund. Latensen varierar mellan leverantörer: vår egen sida rapporterar en p50-tid till första token på 2,95 sekunder, jämfört med de 3,8 sekunder som Artificial Analysis uppmätte på den slutpunkt den samplade. Indexet är ett sammansatt mått av tio utvärderingar, inklusive Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA och AutomationBench-AA – flera av samma benchmarkfamiljer som Nanbeige rapporterar om själv.

Nanbeige4.3-33B har ingen post hos Artificial Analysis. Det är inte en skandal; modellen är två dagar gammal. Men det betyder att de två sidorna i denna jämförelse inte är epistemiskt likvärdiga. Qwens 34 är ett tal som någon annan mätte. Nanbeiges 80,9 på Terminal-Bench 2.1 är ett tal som Nanbeige mätte. Om båda är korrekta skulle Nanbeige sannolikt hamna väl över 34 på samma sammansatta mått – dess Terminal-Bench 4.0 på 23,8 och SciCode på 52,6 är starka rader. Poängen är att "sannolikt" gör jobbet, och det kommer att fortsätta göra det tills en oberoende utvärderare kör modellen.

Detta är också det praktiska skälet att behandla påståendet om 18 av 20 som ett inledande argument. Påståendet är falsifierbart på ett specifikt och billigt sätt: skicka Nanbeige4.3-33B till en oberoende utvärderare och jämför det sammansatta resultatet. Tills det händer är det starkaste ärliga uttalandet att Nanbeige hävdar en ledning inom långhorisontellt agentiskt arbete och ligger något efter i kvaliteten på professionella utdata, och att endast en av dessa två modeller har kontrollerats av någon annan än dess tillverkare.

Kostnad per uppgift, inte per token

Qwen3.8-27B är den enda av dessa två som du kan anropa i dag. På OrcaRouter kostar den $0.33 per miljon indatatokens och $2.40 per miljon utdatatokens – under de $0.50 och $3.00 som Artificial Analysis listar för Alibabas förstaparts-endpoint. Den här serveras på vår egen infrastruktur i stället för att säljas vidare till leverantörens listpris, vilket är anledningen till att den hamnar under förstapartspriset; för modeller som vi förmedlar vidare innebär 0 % påslag att det är leverantörens listpris du betalar. Hur som helst varierar priserna per token tillräckligt mycket beroende på rutt för att förstaparts-endpointen inte automatiskt ska vara den billiga. Modellen accepterar även bilder och video tillsammans med text och har ett kontextfönster på 262 144 tokens.

Priset per token är dock fel enhet för den här jämförelsen. Granskare rapporterar att Qwen3.8-27B är ovanligt tokenhungrig – ungefär tre gånger så många tokens som Qwen3.6-27B på jämförbara uppgifter – och Artificial Analysis uppskattar cirka 1,01 USD per Intelligence Index-uppgift vid inställningen xhigh. En modell som vinner på pris per token och förlorar på tokens per uppgift kan ändå vara det dyrare valet. Nanbeige4.3-33B har inget pris per token alls: vikterna är gratis, ingen inferensleverantör driftsätter den, och att köra den innebär en tensorparallell driftsättning på fyra GPU:er som hålls öppen oavsett om trafik kommer eller inte.

Det är där ett routningslager gör sig förtjänt av sin plats. Qwen3.8-27B är nåbar med vår nyckel i dag; Nanbeige är inte nåbar, och vi tänker inte låtsas att den är det. Vad du kan göra är att behålla Qwen som produktionsvägen och routa en del av den verkliga trafiken till en självhostad Nanbeige-endpoint för att mäta slutförande av uppgifter och förbrukade tokens, i stället för att lita på en tabell. Automatisk failover är viktigt här: en experiment-endpoint som dör mitt i körningen bör falla tillbaka till den befintliga lösningen, inte dra ner agenten med sig. Beslutet vilar då på din egen kostnad per slutförd uppgift, vilket är det enda talet som på ett ärligt sätt kombinerar båda modellernas tokenbeteende.

Vad skulle falsifiera detta

Tre resultat skulle avgöra frågan, och inget av dem kräver en ny modell.

• En Artificial Analysis-post för Nanbeige4.3-33B. Om den hamnar nära eller över 34 bekräftas leverantörstabellens riktning och magnituden blir diskutabel. Om den hamnar klart under behöver påståendet om 18 av 20 en mycket bättre förklaring än valet av harness.

• En neutral ny körning av DeepSWE och Terminal-Bench 4.0 med båda modellerna i deras egna rekommenderade konfigurationer. Det är det specifika experiment som den nuvarande tabellen inte utför, och det riktar in sig på de rader som står för största delen av Nanbeiges marginal.

• En publicerad siffra för tokens per slutförd uppgift för båda. Pris per token kan inte jämföra en tät 33B som du hostar mot en tokenhungrig 27B som du hyr. Kostnad per slutfört jobb kan.

Domen vi skulle försvara

Nanbeige4.3-33B är troligen den starkare långhorisontella agentmodellen av de två. Marginalerna på DeepSWE, Terminal-Bench 4.0, Automation Bench och DeepPlanning är för stora och för konsekventa i riktning för att helt kunna vara artefakter från testramverket, och den inbyggda kontexten på 512K passar in i den bilden. Qwen3.8-27B är troligen den starkare modellen för professionell leveranskvalitet, där den vinner båda de rader som mäter det, och den är otvetydigt den mer användbara: oberoende poäng, hostat API, multimodala indata och ett pris som du kan lägga i ett kalkylark redan idag.

”18 av 20” är ett verkligt resultat presenterat som ett större. Den korrekta versionen är att en två dagar gammal modell från ett labb som ingen oberoende har utvärderat hävdar en tydlig ledning inom agentisk exekvering, oavgjort i allmän resonemangsförmåga och ett litet underskott i professionella utdata – mot en motståndare som har funnits i tio veckor och har mätts av någon annan än dess skapare. Det är ett genuint intressant påstående. Det är ännu inte ett skäl att byta.