Nanbeige4.3-33B kreeg zijn eerste externe cijfer: 20, gelijk aan Qwen3.8-27B, en twee keer zo spraakzaam.

Twee weken lang kwam het enige bewijs dat Nanbeige4.3-33B ergens goed in was, uit een tabel van twintig rijen die het lab over zichzelf had geschreven. Op 5 november veranderde dat: Artificial Analysis zette Nanbeige4.3-33B op zijn Intelligence Index v5.0.1 op 20, dezelfde score die het Qwen3.8-27B geeft bij zijn hoogste reasoning-instelling — 20 op de samengestelde score, 20.1 voor het Qwen-model op de onderliggende v5.0-run. Een tiende punt is kleiner dan de ruis tussen twee evaluaties van dezelfde checkpoint, dus de twee zijn nek-aan-nek op de enige publieke samengestelde index die beide meet.

Dat is het getal waar de release op wachtte, en het is het minst interessante onderdeel van de meting. De samengestelde score verbergt een model waarvan de twee helften in tegengestelde richtingen wijzen: een agentische helft die ver voorloopt op het Qwen-model dat het moest verslaan, en een kennishelft die er meetbaar bij achterloopt. Het verbergt ook het feit dat Nanbeige4.3-33B 160 miljoen outputtokens heeft verbruikt om die 20 te bereiken — meer dan het dubbele van wat het mediane model in zijn vergelijkingsklasse verbruikt, en genoeg om het als allerlaatste van acht te laten eindigen op de verbositeitsmaatstaf van Artificial Analysis.

De eerlijke lezing van deze release is dus niet langer "onverifieerd." Die is "geverifieerd, en vreemder dan de leverancierstabel suggereerde." Hier is wat de onafhankelijke run feitelijk zegt, waar die overeenkomt met de eigen cijfers van Nanbeige, en het ene punt waar de externe meting hoger uitkwam dan de eigen claim van het lab.

Wat 20 betekent, en wat het niet doet

Artificial Analysis plaatst Nanbeige4.3-33B als eerste van negen in zijn eigen vergelijkingsklasse, tegen een klassemediaan van 10. Die klasse bestaat uit de negen open-weight modellen van vergelijkbare grootte waartegen het wordt afgezet, en de site vermeldt afzonderlijk dat het 144 modellen in het bredere vergelijkbare cohort opneemt. Het is de moeite waard beide populaties tegelijk in gedachten te houden: tegenover open-weight modellen van ongeveer zijn grootte is het het sterkste dat is gemeten, en tegenover het hele veld — inclusief gesloten frontiermodellen en de beste van Qwen, DeepSeek en Anthropic — is een score van 20 een solide resultaat in de middenmoot.

Dat gat tussen #1 van de 9 en een middenmootscore is het waard om vast te houden, want het is precies het gat dat verloren gaat wanneer een release wordt samengevat als "verslaat Qwen." Een open-weights model van 33B dat in de middenmoot eindigt op een samengestelde score die wordt gedomineerd door modellen die meerdere malen zo groot zijn, is een echte prestatie. Het is geen frontierresultaat, en niets in het vocabulaire van deze release zou anders mogen suggereren.

Wat de index niet bevat, is prijs. Er is geen prijs, omdat er geen gehost endpoint is: Artificial Analysis vermeldt "Geen openbaar beschikbare API", de toewijzing van inference-providers van Hugging Face voor de repository is leeg, en elke tracker die het model bevat, geeft de kosten weer als niet beschikbaar. Je kosten zijn de hardware.

De twee helften van het model zijn het niet met elkaar eens

Artificial Analysis publiceert geen enkel getal, en de deelscores zijn waar dit model leesbaar wordt. Lees ze als twee kolommen.

• Terminal-Bench 4.0 (Artificial Analysis-harness) — Nanbeige4.3-33B 29,8%, gerangschikt als 56e van alle configuraties op het scorebord. Qwen3.8-27B op xhigh scoort 5,6% op hetzelfde harness.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, op de 81e plaats. Qwen3.8-27B op xhigh scoort 14,9%, dus de codekwaliteitsbenchmark gaat de andere kant op.

• AA-Omniscience v1.1 — Nanbeige4.3-33B scoort netto −4,4 met 11,7% nauwkeurigheid. Qwen3.8-27B op xhigh scoort netto −6,4 met 17,3% nauwkeurigheid. Qwen weet meer; Nanbeige komt netto beter uit omdat het vaker weigert te antwoorden.

• AA-Omniscience niet-hallucinatie — Nanbeige4.3-33B 81,8%, 7e op de hele site. Qwen3.8-27B op xhigh scoort 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, op de 82e plaats. AA-Briefcase v1.1 — 1.162, op de 90e plaats. Terminal-Bench-Science 0.1 — 0,9%, op de 89e plaats.

• HLE-Diamond — 6,9%, 117e plaats. CritPt v2 hard subset — 15,5%, 85e plaats. GDP.pdf — 11,2%, 135e plaats.

Het patroon over die rijen is consistent. Waar de taak is "langdurig een terminal aansturen en niet vroegtijdig stoppen", scoort dit model ongeveer vijf keer zo hoog als het Qwen-model. Waar de taak is "een feit kennen", blijft het achter — en waar de taak is "een feit kennen of zeggen dat je het niet weet", loopt het voor op bijna alles op de ranglijst, met 81,8% niet-hallucinatie.

Die combinatie is geen toevalligheid van tuning. Het is hoe een model dat is gebouwd om agent-trajectorieën te genereren eruitziet wanneer je er een kennisbenchmark op richt. Een leraarmodel dat feiten verzint, is een leraar die de trainingsdata van de student vergiftigt, dus kalibratie is belangrijker dan recall in de pipeline die Nanbeige naar eigen zeggen aan het bouwen is. Of die afweging bewust of emergent was, het is het meest verdedigbare aspect van de release.

Het breedsprakigheidsprobleem is een verkapt kostenprobleem.

Artificial Analysis meldt dat Nanbeige4.3-33B 160 miljoen outputtokens heeft gegenereerd tijdens de evaluatie op de Intelligence Index. Het mediane model in zijn vergelijkingsklasse genereerde 77,7 miljoen. Op de uitgebreidheidsranglijst van de site staat het laatste, #8 van 8 in die klasse, op ongeveer 2,06 keer de mediaan. De invoeromvang bedroeg 15,4 miljard tokens, waardoor de verhouding tussen output en input op 1,034% uitkomt.

Twee dingen volgen hieruit. Het eerste is dat de 20 duur was om te kopen. Als je ergens per token betaalt, kost een model dat twee keer zoveel tokens uitstuurt voor dezelfde samengestelde score ruwweg twee keer zoveel per eenheid gemeten capaciteit, en de index normaliseert daar niet voor. Het tweede is dat breedsprakigheid eerder een latentieprobleem is dan een geldprobleem: een 33B dense model op je eigen GPU's dat twee keer zoveel tokens produceert, doet twee keer zo lang over het afronden van een taak.

Nanbeiges eigen aanbevolen instellingen verklaren een deel ervan, maar vergoelijken niet alles. De kaart vraagt om een plafond van 262.144 tokens voor redeneren en chat, 65.536 voor agentisch werk, waarbij denken standaard aan staat. Elk model dat te horen krijgt dat het voor een kwart miljoen tokens mag nadenken, zal daar een deel van gebruiken. Maar de mediaan van de klasse is een eerlijke vergelijking — andere modellen achter dezelfde index zijn ook redeneermodellen — en de factor 2,06× blijft overeind onder die controle.

Voor een zelf-gehoste implementatie is de praktische oplossing een budget, geen modelwijziging: beperk het maximale aantal nieuwe tokens per taak, en meet je eigen slagingspercentage bij 8K, 16K en 32K voordat je ervan uitgaat dat de standaardinstellingen van de kaart de juiste zijn voor jouw workload. De meeste agentische taken verbeteren niet meer na een bepaald punt, en dit model zal je niet vertellen waar dat punt ligt.

De enige rij waarin de externe run het eigen cijfer van de leverancier overtrof

De modelkaart van Nanbeige claimt Terminal-Bench 4.0 op 23,8 voor Nanbeige4.3-33B tegenover 6,3 voor Qwen3.8-27B. Artificial Analysis mat 29,8. Het onafhankelijke cijfer ligt zes punten hoger dan het cijfer dat het lab over zichzelf publiceerde.

Dat is ongewoon genoeg om het ronduit te zeggen, want de standaardfaalmodus in deze sector werkt de andere kant op — labs rapporteren het beste getal dat hun eigen scaffold oplevert, en externe hertests vallen lager uit. Een leverancier die zijn eigen agentische score te laag rapporteert, wijst op een andere harness aan hun kant, een bewust conservatieve claim, of een tabel die vóór de laatste checkpoint is opgesteld. Geen van die is slecht; alle betekenen ze dat de leverancierstabel geen plafond is en niet als zodanig moet worden gelezen.

Daaruit volgt niet dat elke leveranciersrij betrouwbaar is. De grootste beweringen in Nanbeige's tabel — DeepSWE op 65.5 tegenover Qwen's 42.5, SWE-Atlas-QnA op 50.8 tegenover 41.9 — hebben nog geen onafhankelijke tegenhanger, en beide zijn scaffoldgevoelige benchmarks waarbij de keuze van de harness de scores meer beïnvloedt dan de modelkwaliteit. Wat het Terminal-Bench-resultaat vaststelt, is beperkter en nuttiger: de agentische richting van de bewering is reëel. De omvang op elke afzonderlijke rij is nog steeds niet geverifieerd.

Wat dit betekent voor een team dat het wil uitproberen

Er is niets veranderd aan de toegang. Er is geen endpoint om aan te roepen, geen prijslijst en geen providervermelding — de gewichten staan op Hugging Face onder Apache 2.0 en het serveerpad is vLLM, SGLang of Transformers op hardware die je zelf bezit. Het bfloat16-checkpoint is 66,3 GB verdeeld over veertien shards, en bij een context van 512K loopt alleen de KV-cache al op tot ongeveer 104 GiB, daarom is de werkende configuratie vierweg-tensorparallellisme in plaats van één grote kaart.

Wat is veranderd, is dat je nu het dure deel van due diligence kunt overslaan. Vóór deze week betekende het evalueren van Nanbeige4.3-33B dat je vier GPU's moest inrichten om erachter te komen of de agentische claims standhielden bij contact met een neutrale harness. De 29,8 op Terminal-Bench 4.0 beantwoordt de eerste vraag — de richting klopt — en het verbositeitscijfer beantwoordt een vraag die niemand stelde, namelijk wat het model je aan tokens per voltooide taak gaat kosten.

Als je een vergelijkingspunt wilt dat je vandaag daadwerkelijk kunt aanroepen, is Qwen3.8-27B de natuurlijke referentie: dezelfde samengestelde score, gepubliceerde prijs en een contextvenster van 262K. Het draait op OrcaRouter voor $0,33 per miljoen input en $2,40 per miljoen output, op dezelfde sleutel als de rest van de catalogus, waarbij de lijstprijzen van providers zonder opslag worden doorgegeven. Je takenverzameling tegen een gehost model en een zelfgehost model achter één routeringsregel laten draaien is de goedkoopste manier om erachter te komen of een 33B dense checkpoint op je eigen hardware een 27B verslaat die je per token huurt — en het is een vraag die de Intelligence Index niet voor je kan beantwoorden, omdat hij niet weet wat je taken zijn of wat je GPU's kosten.

De nog echt onbekende kwesties zijn beperkt. Of Nanbeige4.3-3B, het distillatiedoel dat dit model moet onderwijzen, iets van de kalibratie erft. Of de breedsprakigheid de student overleeft, aangezien een klein model dat 2× zoveel tokens produceert een veel goedkopere vergissing is. En of het non-hallusinatieresultaat ook buiten de Omniscience-harness standhoudt, want 81,8% is een opmerkelijk cijfer, en opmerkelijke cijfers verdienen een tweede blik voordat iemand er een pijplijn op bouwt.