Nanbeige4.3-33B vs Qwen3.8 27B: De 18-van-20-claim onder de loep

Nanbeige4.3-33B verslaat Qwen3.8-27B op 18 van de 20 benchmarks. Dat is de bewering die deze week rondgaat op het internet, en technisch gezien is het wat de modelkaart zegt. Het is ook een zin met een noemer, en de noemer is het interessante deel. Van die 20 rijen zijn er 19 met puntscores en één een dollarbedrag; vier van de 18 overwinningen zijn met minder dan één punt verschil; en minstens drie van de Qwen-cijfers lijken te zijn overgenomen uit Qwen's eigen gepubliceerde resultaten in plaats van opnieuw te zijn uitgevoerd door Nanbeige. Niets daarvan maakt de bewering onwaar. Het maakt haar smaller dan ze klinkt.

De matchup is ongebruikelijk omdat Nanbeige Qwen3.8-27B als sparringpartner koos. Qwen3.8-27B kwam medio augustus 2026 uit, is 27,78 miljard parameters dense, Apache 2.0, multimodaal op input en heeft — anders dan Nanbeige4.3-33B — een onafhankelijke Artificial Analysis Intelligence Index van 34. Dit is dus de enige vergelijking in de batch waarbij de tegenstander een geverifieerde score heeft en het onderzochte model niet. Die asymmetrie is het beste hulpmiddel dat we hebben om de tabel te controleren.

Wie schreef de bewering, en wat de noemer bevat

De tabel is van Nanbeige. Hij werd gepubliceerd op de Hugging Face-modelkaart van Nanbeige4.3-33B, in een repository die op 24 oktober 2026 is aangemaakt. Er is geen begeleidend blogbericht, geen lanceringsevenement en geen reproductie door derden. Elk getal in de Qwen-kolom, en elk getal in de Nanbeige-kolom, is geproduceerd of geselecteerd door het lab dat de vergelijking maakte.

De 20 rijen beslaan drie groepen: agentic coding (Terminal-Bench 2.1 en 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), agentic cowork (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) en reasoning (GPQA Diamond, AIME 2026, AA-LCR). De harness wordt zorgvuldiger toegelicht dan bij de meeste leverancierskaarten: Terminus 2 voor Terminal-Bench 2.1, mini-swe-agent v2.4.6 voor Terminal-Bench 4.0, DeepSWE en SWE-Atlas-QnA, Claude Code voor NL2Repo en JobBench, en GPT-6 Sol als judge voor SWE-Atlas-QnA. Die toelichting strekt Nanbeige tot eer. Ze is ook de reden waarom de vergelijking moeilijker te lezen is dan een simpele telling van overwinningen.

De twee rijen die Nanbeige verliest

• SWE-Bench Pro — Qwen3.8-27B 61,7 tegen Nanbeige4.3-33B 60,3. Een voorsprong van 1,4 punt voor Qwen.

• GDPval — Qwen3.8-27B 86,4 tegen Nanbeige4.3-33B 84,8. Een voorsprong van 1,6 punt voor Qwen.

Dit zijn de twee rijen die de kop "18 van 20" stilletjes weglaat, en ze wijzen in een consistente richting. Beide zijn benchmarks voor professioneel, economisch waardevol werk: SWE-Bench Pro is de moeilijkere software-engineeringvariant, en GDPval meet de outputkwaliteit op echte beroepstaken. Qwen wint beide met marges die in absolute termen klein zijn, maar stabiel over twee verschillende taakfamilies. Als je tussen deze modellen kiest voor professioneel werk in plaats van voor een leaderboard, zijn dit twee van de rijen waaraan je het zwaarst zou moeten tillen, en het zijn de twee waarop de besproken partij verliest.

De kaart van Nanbeige legt de verliezen niet uit. Dat hoeft ook niet — een leverancier mag best een tabel publiceren waarin hij wint. Maar een lezer zou moeten opmerken dat de verliezen precies clusteren waar de benchmark het dichtst bij "zou een professional deze output accepteren" ligt, en de overwinningen waar de benchmark het dichtst bij "heeft de agent de lus voltooid" ligt.

Overwinningen die afrondingsfouten zijn

Vier van de 18 overwinningen worden met minder dan één punt beslist.

• Tau3-Bench — 48,8 vs 48,5. Drie tienden van een punt.

• GPQA Diamond — 89,5 vs 89,2. Drie tienden.

• AIME 2026 — 95,2 vs 94,5. Zeven tienden.

• EnterpriseOps-Gym — 41,0 vs 40,2. Acht tienden.

Twee andere liggen binnen ongeveer twee punten: Toolathlon-Verified op 70,4 vs 68,5, en AA-LCR op 84,0 vs 82,0. Bij benchmarks van deze omvang en variantie is een marge van minder dan een punt geen bewijs van superioriteit. Het is bewijs dat twee modellen in dezelfde band zitten. Een eerlijke herformulering van de kop zou zijn: "Nanbeige leidt duidelijk op 12 van de 20, is gelijk op 6 en loopt achter op 2" — wat nog steeds een sterk resultaat is, en een nuttiger resultaat.

De grote overwinningen zijn waar het echte argument zit. DeepSWE op 65,5 vs 42,5 is een verschil van 23 punten. Terminal-Bench 4.0 op 23,8 vs 6,3 is 17,5. Automation Bench op 54,2 vs 38,3 is 15,9. DeepPlanning op 63,3 vs 49,2 is 14,1. YC-bench, een taak in dollars, rapporteert $1.025.437 vs $641.290. Dat zijn geen afrondingsfouten. Ze zeggen dat Nanbeige beter is in langdurige, meerstapsuitvoering — het soort werk waarbij een model een plan levend moet houden over tientallen tool-aanroepen. Dat is een samenhangend verhaal, en het is consistent met de 512K native context van het model en de op agents gerichte aanbevolen instellingen.

De kolommen zijn mogelijk niet van hetzelfde experiment.

Hier is de observatie die de hele tabel ingewikkeld maakt. Drie Qwen-cijfers komen exact overeen met Qwens eigen gepubliceerde cijfers: Terminal-Bench 2.1 op 73,0, SWE-Bench Pro op 61,7 en GPQA Diamond op 89,2. Qwen publiceert alle drie. De rijen die Qwen niet publiceert — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — zijn precies de rijen waar Nanbeiges marges het grootst zijn.

Dat patroon is consistent met twee verschillende methoden binnen één tabel: overgenomen cijfers voor benchmarks die de concurrent al had gepubliceerd, nieuwe runs voor benchmarks die dat niet had. Het is een gevolgtrekking, geen bekendgemaakt feit — de modelkaart van Nanbeige zegt dat alle modellen zijn geëvalueerd met de hoogste denkinspanning en dezelfde inferentieparameters en harness, wat tegen kopiëren zou pleiten. Maar de exacte overeenkomst bij drie onafhankelijke cijfers is een toeval dat het vermelden waard is, en als de Qwen-kolom een mengeling is, dan vergelijkt "18 van 20" de runs van Nanbeige met de runs van Qwen in sommige rijen en de runs van Nanbeige met de runs van Nanbeige in andere.

Er is een tweede, subtieler probleem. Nanbeiges eigen model wordt uitgevoerd in de harness die de modelkaart aanraadt: XML-toolaanroepen, preserve_thinking=true, temperatuur 1.0 voor agentisch werk. De kaart zegt niet of Qwen3.8-27B zijn eigen aanbevolen instellingen kreeg, of in die van Nanbeige werd geplaatst. In het laatste geval is een deel van de 23-puntskloof op DeepSWE een configuratieverschil in plaats van een capaciteitsverschil. Dit is dezelfde kanttekening die bij elke leveranciersvergelijking geldt, en het is geen reden om het resultaat te verwerpen — het is een reden om een neutrale heruitvoering te eisen voordat het als definitief wordt beschouwd.

De onafhankelijke score die slechts één model heeft

Artificial Analysis geeft Qwen3.8-27B een score van 34 op zijn Intelligence Index, gemeten met de xhigh reasoning-configuratie, met 45,2 outputtokens per seconde. De latentie verschilt per provider: onze eigen pagina meldt een p50-tijd tot het eerste token van 2,95 seconden, tegenover de 3,8 seconden die Artificial Analysis mat op het endpoint dat het bemonsterde. Die index is samengesteld uit tien evaluaties, waaronder Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA en AutomationBench-AA — verschillende van dezelfde benchmarkfamilies die Nanbeige zelf rapporteert.

Nanbeige4.3-33B heeft geen vermelding bij Artificial Analysis. Dat is geen schandaal; het model is twee dagen oud. Maar het betekent dat de twee kanten van deze vergelijking epistemisch niet gelijk zijn. Qwens 34 is een getal dat iemand anders heeft gemeten. Nanbeiges 80,9 op Terminal-Bench 2.1 is een getal dat Nanbeige heeft gemeten. Als beide accuraat zijn, zou Nanbeige waarschijnlijk ruim boven 34 uitkomen op dezelfde samengestelde score — zijn Terminal-Bench 4.0 van 23,8 en SciCode van 52,6 zijn sterke rijen. Het punt is dat "waarschijnlijk" het werk doet, en dat zal zo blijven totdat een onafhankelijke evaluator het model uitvoert.

Dit is ook de praktische reden om de claim van 18 van de 20 als een openingsargument te behandelen. De claim is op een specifieke, goedkope manier falsifieerbaar: dien Nanbeige4.3-33B in bij een onafhankelijke beoordelaar en vergelijk de samengestelde score. Tot dat gebeurt, is de sterkste eerlijke uitspraak dat Nanbeige een voorsprong claimt op agentisch werk over lange horizon en iets achterloopt op de kwaliteit van professionele output, en dat slechts een van die twee modellen door iemand anders dan zijn maker is gecontroleerd.

Kosten per taak, niet per token

Qwen3.8-27B is de enige van deze twee die je vandaag kunt aanroepen. Bij OrcaRouter kost het $0,33 per miljoen inputtokens en $2,40 per miljoen outputtokens — onder de $0,50 en $3,00 die Artificial Analysis vermeldt voor Alibaba's first-party endpoint. Deze wordt op onze eigen infrastructuur aangeboden in plaats van doorverkocht tegen de lijstprijs van de provider, en daarom komt hij onder de first-party prijs uit; bij modellen die we wél doorgeven, betekent de regel van 0% opslag dat je de lijstprijs van de provider betaalt. Hoe dan ook, de prijzen per token verschillen per route zo sterk dat het first-party endpoint niet automatisch het voordeligste is. Het model accepteert naast tekst ook afbeeldingen en video, en heeft een venster van 262.144 tokens.

De prijs per token is voor deze vergelijking echter de verkeerde eenheid. Recensenten melden dat Qwen3.8-27B ongebruikelijk tokenhongerig is — ongeveer drie keer zoveel tokens als Qwen3.6-27B bij vergelijkbare taken — en Artificial Analysis schat ongeveer $1,01 per Intelligence Index-taak bij de xhigh-instelling. Een model dat wint op prijs per token en verliest op tokens per taak, kan toch de duurdere keuze zijn. Nanbeige4.3-33B heeft helemaal geen prijs per token: de gewichten zijn gratis, geen enkele inferentieprovider zet het in, en het draaien ervan betekent een tensor-parallelle deployment op vier GPU's die open blijft staan, of er nu verkeer binnenkomt of niet.

Dat is waar een routeringslaag zijn plaats verdient. Qwen3.8-27B is vandaag bereikbaar op onze key; Nanbeige niet, en we zullen niet doen alsof dat wel zo is. Wat je kunt doen, is Qwen als productiepad aanhouden en een deel van het echte verkeer naar een zelfgehost Nanbeige-endpoint routeren om taakvoltooiing en verbruikte tokens te meten, in plaats van een tabel te vertrouwen. Automatische failover is hier van belang: een experimenteel endpoint dat halverwege de run uitvalt, moet terugvallen op de zittende partij en niet de agent mee de das om doen. De beslissing rust dan op je eigen kosten per voltooide taak, het enige getal dat het tokengedrag van beide modellen eerlijk combineert.

Wat zou dit weerleggen?

Drie resultaten zouden de vraag beslechten, en geen ervan vereist een nieuw model.

• Een Artificial Analysis-vermelding voor Nanbeige4.3-33B. Als deze rond of boven 34 uitkomt, is de richting van de vendortabel bevestigd en wordt de omvang discutabel. Als deze ruim daaronder uitkomt, heeft de bewering over 18 van de 20 een veel betere verklaring nodig dan de keuze van de harness.

• Een neutrale heruitvoering van DeepSWE en Terminal-Bench 4.0 met beide modellen in hun eigen aanbevolen configuraties. Dat is precies het experiment dat de huidige tabel niet uitvoert, en het richt zich op de rijen die het grootste deel van de marge van Nanbeige dragen.

• Een gepubliceerd cijfer voor tokens per voltooide taak voor beide. Prijs per token kan een dicht 33B-model dat je zelf host niet vergelijken met een tokenhongerig 27B-model dat je huurt. Kosten per afgeronde taak wel.

Het vonnis dat wij zouden verdedigen

Nanbeige4.3-33B is waarschijnlijk van de twee het sterkere long-horizon-agentmodel. De marges op DeepSWE, Terminal-Bench 4.0, Automation Bench en DeepPlanning zijn te groot en te consistent in richting om volledig een artefact van de harness te zijn, en de 512K native context past bij dat verhaal. Qwen3.8-27B is waarschijnlijk het sterkere model voor professionele opleverkwaliteit, waar het beide rijen wint die dat meten, en het is ondubbelzinnig het bruikbaardere model: een onafhankelijke score, een gehoste API, multimodale input en een prijs die je vandaag in een spreadsheet kunt zetten.

"18 van 20" is een echt resultaat dat als een groter resultaat wordt gepresenteerd. De accurate versie is dat een twee dagen oud model van een lab dat niemand onafhankelijk heeft geëvalueerd, een duidelijke voorsprong claimt op agentische uitvoering, een gelijkspel op algemeen redeneren en een klein tekort op professionele output — tegenover een tegenstander die al tien weken uit is en door iemand anders dan zijn maker is gemeten. Dat is een oprecht interessante claim. Het is nog geen reden om over te stappen.