Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: En lärare mot en utförare

NVIDIA Nemotron 3.5 Lightning 30B A3B körs med 294,9 output-tokens per sekund. Nanbeige4.3-33B har ingen publicerad hastighet alls, eftersom ingen tillhandahåller den. De två fakta säger dig mer om den här matchningen än någon benchmark-rad: den ena modellen är en konstruerad throughput-produkt med en prislista och en historia om driftsättning på en enda GPU, och den andra är en dense checkpoint med 33 miljarder parametrar som landade på Hugging Face den 24 oktober 2026 med ett modellkort och ingen inferensleverantör. Båda är "30B-klass". De är inte samma typ av objekt.

Jämförelsen är värd att göra eftersom båda riktas till samma köpare – någon som bygger en långkörande agent som behöver utföra många små steg utan en räkning för frontier-modeller. NVIDIAs svar är att krympa beräkningen per token. Nanbeiges svar är att göra en större, tätare modell tillräckligt bra på agentiskt arbete för att man bara ska behöva en. Det är motsatta satsningar, och bevisen för var och en är av mycket olika slag.

3,6 miljarder aktiva parametrar är hela argumentet

Nemotron 3.5 Lightning 30B A3B är en hybridmodell av typen mixture-of-experts: 31,6 miljarder parametrar totalt, 3,6 miljarder aktiva per token, fördelade över 52 lager – 23 Mamba-2, 23 MoE och 6 attention. Den routar till 128 experter och aktiverar 6 av dem plus en delad expert. Det är arkitekturen som gör att den kan hålla ungefär 295 tokens per sekund på en hanterad endpoint, medan en dense modell i 30B-klassen vanligtvis landar i intervallet 40–80.

Nanbeige4.3-33B är tät. Alla 33,1 miljarder parametrar aktiveras för varje token. Det finns ingen routing, ingen expertgleshet, inget Mamba-lager. Det är ett medvetet val med en tydlig konsekvens: varje token kostar ungefär nio gånger Lightning's aktiva beräkningsmängd, och modellen behöver cirka 66 GB vikter i BF16 – eller runt 20 GB vid 4-bit – resident i minnet innan den genererar något.

Ingen av designerna är bättre i abstrakt mening. Täta modeller är vanligtvis enklare att finjustera och mer förutsägbara i kvalitet; glesa modeller är vanligtvis billigare och snabbare att servera vid samma nominella storlek. Frågan är vilken egenskap din arbetsbelastning har brist på.

Vad varje modell byggdes för att göra

NVIDIA positionerar Lightning som exekveringslagret i en ständigt aktiv agent – modellen som tar en plan från ett större system och arbetar sig igenom verktygsanrop, filredigeringar och webbläsarsteg till låg kostnad. Den är destillerad från Nemotron 3 Ultra, levereras med spekulativ avkodning för multi-token-prediktion inbyggd i förträningen, plus separata draft-modeller, och är optimerad för agentramverk snarare än chatt. Den publicerade benchmarksviten återspeglar det: PinchBench 85.4–86, BrowseComp 36.8–36.97, SWE-bench Verified 51.56–52.8, Terminal-Bench 2.1 kring 23.5–24.6.

Nanbeige4.3-33B positioneras som en lärare. Modellkortet säger det direkt: det är flaggskeppet i 4.3-serien, avsett att destilleras till mindre modeller som den ej släppta Nanbeige4.3-3B. Dess benchmarkuppsättning är motsvarande bred – 20 rader som täcker agentisk kodning, agentiskt samarbete och resonemang – och dess rekommenderade inställningar är de för en modell du kör själv: tensor-parallel size 4, XML-verktygsanrop, preserve_thinking=true för verktygsanvändning över flera turer.

Den ena är en komponent i någon annans system. Den andra är en källmodell för en familj. Den inramningen förklarar nästan varje skillnad nedan.

Det enda riktmärke de har gemensamt kan inte subtraheras.

Båda korten rapporterar Terminal-Bench 2.1. Nanbeige hävdar 80,9. NVIDIA:s publicerade intervall för Lightning är ungefär 23,5–24,6. Vid första anblick är det en skillnad på 56 punkter, och det är siffran som kommer att citeras.

Det borde det inte vara. Terminal-Bench mäter en modell inuti ett agentskal, och de två leverantörerna beskriver inte samma skal. Nanbeiges modellkort säger att deras Terminal-Bench 2.1-körning använde Terminus 2 och att deras modeller utvärderades med högsta tankeansträngning med ett delat testramverk och delade inferensparametrar. NVIDIAs siffror kommer från deras eget interna testramverk, vilket företaget självt flaggar kan skilja sig från tredjepartsresultat. En tät 33B-modell som ges en gynnsam loop och en 3,6B-aktiv modell som ges ett standardutförande kan skilja sig med tiotals poäng utan att någon av modellerna är felrepresenterad.

Den ärliga tolkningen är riktningsvisande, inte numerisk: Nanbeige hävdar betydligt starkare agentisk terminalprestanda, och påståendet är overifierat från båda håll. Samma försiktighet gäller för GPQA Diamond (Nanbeige 89,5, Lightning 74,3–75,6) och för AA-LCR (Nanbeige 84,0, Lightning 52,0–60,3). Dessa skillnader är tillräckligt stora för att en del av skillnaden troligen är verklig förmåga snarare än utvärderingsramverk. Men "troligen" bär en stor del av lasten i den meningen, och ingen tredje part har gjort jämförelsen.

Det som inte är tvetydigt är oberoende täckning. Artificial Analysis ger Nemotron 3.5 Lightning 13 poäng på sitt Intelligence Index. Det finns ingen post för Nanbeige4.3-33B. Den ena modellen har en andra åsikt; den andra har ett modellkort. Den asymmetrin är information, och den talar emot leverantören med den högljuddare tabellen.

1M kontext på papper, 256K i praktiken

Artificial Analysis anger att Lightning har ett kontextfönster på 1 miljon tokens. NVIDIAs egen dokumentation är mer försiktig: 262 144 tokens är det praktiska taket på en enda H100. Båda siffrorna kan vara sanna – arkitekturen stöder ett längre fönster, men hårdvaran du sannolikt kör den på rymmer det inte bekvämt.

Nanbeige4.3-33B:s 524 288 token är ett tränat fönster på en dense-modell, och minneskostnaden för KV-cachen skalas med det. Kortets vLLM- och SGLang-recept använder 0,8 i GPU-minnesutnyttjande och tensor-parallell storlek 4, vilket visar att den avsedda driftsättningen inte är ett enda kort.

För agentarbete handlar den praktiska skillnaden mindre om maximumet och mer om vad som håller över en lång körning. Lightnings hybrida Mamba-lager är utformade för att hålla tillståndet billigt över långa sekvenser; Nanbeiges täta attention är det inte. NVIDIA publicerar också AA-LCR på 52,0–60,3, vilket är en poäng för långkontextresonemang, och Nanbeige publicerar 84,0 på samma benchmark. Om du tror på båda tabellerna är Nanbeiges långkontextresonemang mycket starkare. Om du bara tror på den som genomförts oberoende är Lightnings den enda du kan kontrollera.

Aritmetiken för att vara värd för en tät 33B

Det är här jämförelsen slutar handla om kvalitet och börjar handla om utnyttjande.

Lightning listas till $0,06 per miljon indatatoken och $0,20 per miljon utdatatoken på en hanterad slutpunkt. Nanbeige har ingen prislista eftersom ingen leverantör driftsätter det; prislistan säger det rakt ut. För att använda det hyr eller köper du GPU:er och följer receptet för fyrvägs tensorparallellism.

Anta, enbart för räkneexemplets skull, att fyra GPU:er av H100-klass kostar 2 USD styck per timme – 8 USD per timme för noden. För att gå jämnt upp mot Lightnings utpris måste noden producera 40 miljoner output-tokens per timme, vilket är ungefär 11 100 tokens per sekund uthålligt. En dense 33B-modell på fyra GPU:er klarar inte det. Även vid en tiondel av GPU-kostnaden är brytpunktsgenomströmningen över tusen tokens per sekund uthålligt, vilket är en seriös serving-operation snarare än ett sidoprojekt.

Slutsatsen är inte att Nanbeige är dyrt. Det är att självhosting av en dense 33B-modell bara slår en körningsmotor som kostar 0,20 dollar per miljon token vid mycket hög och mycket jämn utnyttjandegrad – eller när arbetet inte kan lämna din infrastruktur, och i så fall handlade jämförelsen aldrig om pris. Vid ojämn eller låg volym vinner den hanterade sparse-modellen på kostnad med god marginal innan kvaliteten ens kommer in i diskussionen.

Var en router passar in i ett tvåmodellssystem

Arkitekturen som NVIDIA säljer – en frontier-planerare, en billig exekutor – är den arkitektur som de flesta agentteam ändå landar i. Det är också den form som ett routingskikt är byggt för: vår routing-DSL komponerar flera modeller till ett enda anrop så att en planerare och en exekutor kan sitta bakom en enda endpoint, och automatisk failover förhindrar att en exekutor som kämpar förvandlas till en agent som kör fast.

Vi tillhandahåller inte Nemotron 3.5 Lightning 30B A3B eller Nanbeige4.3-33B i dag, så det här är inte ett säljargument om tillgänglighet för någon av dem. Det är en notering om var integrationskostnaden landar. Om du själv driftar Nanbeige som planerare och anropar en hostad modell som utförare, är det värt att uttrycka uppdelningen som routingregler i stället för att hårdkoda den i din applikation – eftersom modellen du vill ha i varje plats kommer att ändras innan kvartalet är över.

Latensbudgeten avgör mer än topplistan

• Om ett enskilt agentsteg måste returnera på under en sekund: Lightning. Med 295 token per sekund landar ett svar på 300 token på ungefär en sekund; en dense 33B-modell på din egen hårdvara gör det inte, och Nanbeige har inget hostat alternativ att benchmarka mot.

• Om steget är en lång resonemangspassering i början av ett arbetsflöde: Nanbeiges påstådda marginaler på GPQA, AA-LCR och de agentiska raderna talar för det – med förbehåll för harness-varningen ovan.

• Om verket är på kinesiska: Nanbeige. Lightnings publicerade språk är engelska, spanska, franska, tyska, italienska och japanska.

• Om arbetet är flerspråkigt europeiskt: Lightning. Nanbeige listar endast engelska och kinesiska.

• Om du inte har några GPU:er och inte är intresserad av att skaffa några: Lightning, utan konkurrens.

• Om data inte kan lämna ditt nätverk: Nanbeige, och kostnadsjämförelsen blir ett infrastrukturbeslut snarare än en fråga om tokenpris.

Den öppna frågan

Nanbeige4.3-33B är två dagar gammal och har ingen serving-lösning. Det är det faktum som daterar den här artikeln. Om en leverantör plockar upp den – och påståendet i modellkortet att ingen gör det i dag är det man bör hålla ögonen på – förändras kostnadssidan i den här jämförelsen helt, eftersom en värdbaserad dense 33B till ett konkurrenskraftigt pris per token skulle undergräva hela argumentet för en mindre sparse executor för kvalitetskänsligt arbete.

Fram till dess är den försvarbara positionen smal. Nemotron 3.5 Lightning 30B A3B är modellen du kan driftsätta idag, till ett publicerat pris, med en oberoende poäng och ungefär nio gånger mindre beräkningskraft per token. Nanbeige4.3-33B är modellen som låter mer kapabel på pappret, med ett inbyggt 512K-fönster och självrapporterade agentiska siffror som ingen har reproducerat. Om din agent är begränsad av latens och kostnad är valet redan gjort. Om den är kvalitetsbegränsad och du äger hårdvaran är valet värt att testa — och testet har inte körts ännu.