Nanbeige4.3-33B fick sitt första externa nummer: 20, i nivå med Qwen3.8-27B, och dubbelt så pratsam

I två veckor var det enda beviset på att Nanbeige4.3-33B var bra på något en tabell med tjugo rader som labbet skrev om sig självt. Den 5 november ändrades det: Artificial Analysis placerade Nanbeige4.3-33B på sitt Intelligence Index v5.0.1 på 20, samma poäng som det ger Qwen3.8-27B vid dess högsta resonemangsinställning – 20 på kompositen, 20,1 för Qwen-modellen i den underliggande v5.0-körningen. En tiondels poäng är mindre än bruset mellan två utvärderingar av samma checkpoint, så de två är dött lopp på den enda offentliga kompositen som mäter båda.

Det är siffran som släppet väntade på, och det är det minst intressanta i mätningen. Sammansättningen döljer en modell vars två halvor pekar i motsatta riktningar: en agentisk halva som ligger långt före Qwen-modellen den byggdes för att slå, och en kunskapshalva som ligger mätbart efter den. Den döljer också det faktum att Nanbeige4.3-33B gjorde av med 160 miljoner utdatatokens för att nå den där 20 — mer än dubbelt så mycket som medianmodellen i dess jämförelseklass förbrukar, och tillräckligt för att placera den allra sist av åtta i Artificial Analysiss mått på verbositet.

Så den ärliga läsningen av den här utgåvan är inte längre "overifierad". Den är "verifierad, och märkligare än vad leverantörens tabell antydde." Här är vad den oberoende körningen faktiskt säger, var den stämmer överens med Nanbeiges egna siffror, och den enda punkt där extern mätning kom in högre än labbets egen uppgift.

Vad 20 betyder, och vad det inte betyder

Artificial Analysis placerar Nanbeige4.3-33B först av nio i sin egen jämförelseklass, mot en klassmedian på 10. Den klassen utgörs av de nio öppna viktmodeller av liknande storlek som den jämförs mot, och webbplatsen uppger separat att den omfattar 144 modeller i den bredare jämförbara kohorten. Båda populationerna är värda att hålla i minnet samtidigt: mot öppna viktmodeller av ungefär samma storlek är den det starkaste som uppmätts, och mot hela fältet – inklusive slutna frontmodeller och det bästa från Qwen, DeepSeek och Anthropic – är en poäng på 20 ett stabilt resultat i mitten av tabellen.

Den skillnaden mellan #1 av 9 och en poäng i mitten av tabellen är värd att hålla fast vid, eftersom det är precis den skillnad som går förlorad när en lansering sammanfattas som "slår Qwen". En modell med öppna vikter på 33B som landar i mitten av tabellen på ett sammansatt mått som domineras av modeller flera gånger större är en genuin bedrift. Det är inte ett frontier-resultat, och ingenting i vokabulären för den här lanseringen bör antyda något annat.

Det som indexet inte omfattar är pris. Det finns inget pris, eftersom det inte finns någon hostad slutpunkt: Artificial Analysis anger "Inget offentligt tillgängligt API", Hugging Faces mappning av inferensleverantörer för repot är tom, och varje tracker som har modellen visar kostnad som otillgänglig. Din kostnad är hårdvaran.

Modellens två halvor är oense

Artificial Analysis publicerar inte en enda siffra, och det är i delpoängen som den här modellen blir begriplig. Läs dem som två kolumner.

• Terminal-Bench 4.0 (Artificial Analysis harness) – Nanbeige4.3-33B 29,8 %, rankad 56:a av samtliga konfigurationer på resultattavlan. Qwen3.8-27B vid xhigh får 5,6 % i samma harness.

• FrontierCode 2.0 – Nanbeige4.3-33B 10,7 %, rankad 81:a. Qwen3.8-27B med xhigh får 14,9 %, så kodkvalitetsbenchmarken går åt andra hållet.

• AA-Omniscience v1.1 — Nanbeige4.3-33B får netto −4,4 med 11,7 % träffsäkerhet. Qwen3.8-27B vid xhigh får netto −6,4 med 17,3 % träffsäkerhet. Qwen vet mer; Nanbeige får bättre nettoresultat eftersom den oftare avstår från att svara.

• AA-Omniscience icke-hallucinering — Nanbeige4.3-33B 81,8 %, rankad 7:a på hela sajten. Qwen3.8-27B vid xhigh får 71,4 %.

• AutomationBench — Nanbeige4.3-33B 53,1 %, rankad 82:a. AA-Briefcase v1.1 — 1 162, rankad 90:e. Terminal-Bench-Science 0.1 — 0,9 %, rankad 89:e.

• HLE-Diamond — 6,9 %, placerad på 117:e plats. CritPt v2 svåra delmängd — 15,5 %, placerad på 85:e plats. GDP.pdf — 11,2 %, placerad på 135:e plats.

Mönstret över de raderna är konsekvent. När uppgiften är "kör en terminal under lång tid och stanna inte tidigt" är den här modellen ungefär fem gånger Qwen-modellens poäng. När uppgiften är "känn till ett faktum" ligger den efter — och när uppgiften är "känn till ett faktum eller säg att du inte gör det" ligger den före nästan allt annat på resultattavlan, med 81,8 % icke-hallucination.

Den kombinationen är inte en slump i finjusteringen. Det är så en modell byggd för att generera agentbanor ser ut när man riktar ett kunskapsbenchmark mot den. En lärarmodell som hittar på fakta är en lärare som förgiftar studentens träningsdata, så kalibrering spelar större roll än recall i den pipeline som Nanbeige säger sig bygga. Oavsett om den avvägningen var avsiktlig eller uppstod av sig själv, är den det mest försvarbara med lanseringen.

Problemet med mångordighet är ett kostnadsproblem i förklädnad

Artificial Analysis rapporterar att Nanbeige4.3-33B genererade 160 miljoner utdatatoken när den utvärderades på Intelligence Index. Medianmodellen i dess jämförelseklass genererade 77,7 miljoner. På webbplatsens verbositetsranking hamnar den sist, #8 av 8 i den klassen, på ungefär 2,06 gånger medianen. Indatavolymen var 15,4 miljarder token, vilket ger förhållandet mellan utdata och indata på 1,034 %.

Två saker följer. Den första är att 20:an var dyr att köpa. Om du betalar per token någonstans kostar en modell som avger dubbelt så många tokens för samma sammansatta poäng ungefär dubbelt så mycket per enhet uppmätt förmåga, och indexet normaliserar inte för det. Den andra är att mångordighet är ett latensproblem innan det är ett pengaproblem: en 33B tät modell på dina egna GPU:er som producerar dubbelt så många tokens tar dubbelt så lång tid att slutföra en uppgift.

Nanbeiges egna rekommenderade inställningar förklarar en del av det men ursäktar inte allt. Modellkortet anger ett tak på 262 144 token för resonemang och chatt, 65 536 för agentiskt arbete, med tänkande på som standard. En modell som får veta att den får tänka i en kvarts miljon token kommer att använda en del av dem. Men klassmedianen är en rättvis jämförelse – andra modeller bakom samma index är också resonemangsmodeller – och multipeln 2,06× överlever den kontrollen.

För en självhostad driftsättning är den praktiska lösningen en budget, inte ett modellbyte: begränsa max nya tokens per uppgift och mät din egen pass rate vid 8K, 16K och 32K innan du antar att kortets standardvärden är rätt för din arbetsbelastning. De flesta agentiska uppgifter förbättras inte efter en viss punkt, och den här modellen talar inte om var den punkten är.

Den enda raden där den externa körningen överträffade leverantörens egen siffra

Nanbeiges modellkort uppger Terminal-Bench 4.0 till 23,8 för Nanbeige4.3-33B mot 6,3 för Qwen3.8-27B. Artificial Analysis uppmätte 29,8. Det oberoende värdet är sex punkter högre än det som labbet publicerade om sig självt.

Det är tillräckligt ovanligt för att vara värt att sägas rakt ut, eftersom det vanliga misslyckandemönstret i branschen går åt andra hållet – labb rapporterar det bästa talet som deras egen scaffold ger, och externa omkörningar landar lägre. Att en leverantör underrapporterar sin egen agentiska poäng tyder antingen på en annan harness på deras sida, ett medvetet konservativt påstående eller en tabell som byggdes före den slutliga checkpointen. Inget av detta är dåligt; allt innebär att leverantörens tabell inte är ett tak och inte bör läsas som ett.

Det följer inte att varje leverantörsrad är trovärdig. De största påståendena i Nanbeiges tabell – DeepSWE på 65,5 mot Qwens 42,5, SWE-Atlas-QnA på 50,8 mot 41,9 – har ännu ingen oberoende motsvarighet, och båda är scaffoldkänsliga benchmarkar där valet av harness påverkar poängen mer än modellkvaliteten gör. Vad resultatet från Terminal-Bench fastställer är snävare och mer användbart: den agentiska riktningen i påståendet är verklig. Storleken på varje enskild rad är fortfarande overifierad.

Var detta lämnar ett team som vill prova det

Inget har förändrats när det gäller åtkomsten. Det finns ingen endpoint att anropa, ingen prislista och ingen leverantörslista – vikterna ligger på Hugging Face under Apache 2.0 och serveringsvägen är vLLM, SGLang eller Transformers på hårdvara du äger. bfloat16-checkpointen är 66,3 GB över fjorton shards, och vid 512K kontext uppgår KV-cachen ensam till ungefär 104 GiB, vilket är anledningen till att den fungerande konfigurationen är fyrdelad tensorparallelism i stället för ett enda stort kort.

Det som har förändrats är att du nu kan hoppa över den dyra delen av due diligence. Före den här veckan innebar utvärderingen av Nanbeige4.3-33B att man behövde tillhandahålla fyra GPU:er för att ta reda på om de agentiska påståendena höll vid kontakt med en neutral testrigg. 29,8 på Terminal-Bench 4.0 besvarar den första frågan – riktningen är rätt – och siffran för ordrikedom besvarar en fråga som ingen hade ställt, nämligen vad modellen kommer att kosta dig i tokens per slutförd uppgift.

Om du vill ha en jämförelsepunkt som du faktiskt kan anropa idag är Qwen3.8-27B den naturliga kontrollen: samma sammansatta poäng, samma publicerade pris och ett 262K-fönster. Den körs på OrcaRouter för $0,33 per miljon indata och $2,40 per miljon utdata, på samma nyckel som resten av katalogen, med leverantörernas listpriser vidarebefordrade utan påslag. Att köra din uppgiftsuppsättning mot en hostad modell och en självhostad bakom en enda routningsregel är det billigaste sättet att ta reda på om en 33B dense checkpoint på din egen hårdvara slår en 27B som du hyr per token — och det är en fråga som Intelligence Index inte kan svara på åt dig, eftersom det inte vet vad dina uppgifter är eller vad dina GPU:er kostar.

Det som fortfarande är genuint okänt är begränsat. Huruvida Nanbeige4.3-3B, destillationsmålet som den här modellen finns för att lära, ärver något av kalibreringen. Huruvida mångordigheten överlever studenten, eftersom en liten modell som producerar 2× tokens är ett mycket billigare misstag. Och huruvida icke-hallucinationsresultatet håller utanför Omniscience-testramverket, eftersom 81.8% är en anmärkningsvärd siffra och anmärkningsvärda siffror förtjänar en andra titt innan någon bygger en pipeline på dem.