Nanbeige4.3-33B vs. Gemma 4 31B: Was eine 33-Punkte-Lücke in der Anbietertabelle wirklich bedeutet

In der eigenen Benchmark-Tabelle von Nanbeige4.3-33B erzielt Gemma 4 31B 0,0 bei Terminal-Bench 4.0. Mit dieser Zeile sollte man beginnen, denn sie sagt einem, wie alle anderen Zahlen in diesem Vergleich zu lesen sind. Gemma 4 31B ist Google DeepMinds Open-Weight-Veröffentlichung mit 30,7 Milliarden Parametern, die seit dem 2. April 2026 unter Apache 2.0 heruntergeladen werden kann, und Googles eigene Materialien schreiben ihr 86,4 bei der Tool-Nutzung in τ²-bench und 80,0 bei LiveCodeBench v6 zu. Ein solches Modell scheitert nicht an jeder Terminal-Aufgabe, die es gibt. Eine Null ist das, was man bekommt, wenn ein Benchmark nicht zwischen „konnte nicht“ und „hat nie eine funktionierende Tool-Schleife bekommen“ unterscheiden kann.

Nanbeige4.3-33B dagegen ist zwei Tage alt. Sein Repository wurde am 24. Oktober 2026 um 02:49 UTC erstellt, seine Modellkarte ist die einzige Ankündigung, die Nanbeige gemacht hat, und die Tabelle mit 20 Zeilen auf dieser Karte ist die einzige Quelle für jede Zahl, die derzeit darüber im Umlauf ist. Gemma 4 31B erscheint in dieser Tabelle als eine von drei Vergleichsspalten. Kein unabhängiges Labor hat diese beiden Modelle gegeneinander getestet, und kein Anbieter hat den anderen außerhalb dieser einen Tabelle gebenchmarkt. Die ehrliche Version dieses Vergleichs ist also kein Punktestand. Sie ist eine Erörterung darüber, welche Zeilen einer Prüfung standhalten und welche lediglich das Test-Harness messen.

Was jedes Modell tatsächlich ist

Die beiden Releases liegen sechseinhalb Monate auseinander, und die Designannahmen zeigen das.

• Parameter — Nanbeige4.3-33B ist mit 33,1B dicht (33.118.977.024 in BF16), jeder Parameter ist bei jedem Token aktiv. Gemma 4 31B ist mit 30,7B dicht. Keines von beiden ist ein Mixture-of-Experts-Modell, daher skaliert der Durchsatz auf beiden Seiten mit der vollen Gewichtsanzahl.

• Kontext — Nanbeige4.3-33B bietet nativ 524.288 Token. Gemma 4 31B bietet 262.144. Beide sind für diese Parameterklasse ungewöhnlich groß; Nanbeige liegt doppelt so hoch.

• Modalität — Nanbeige4.3-33B ist Text rein, Text raus, Englisch und Chinesisch. Gemma 4 31B akzeptiert neben Text auch Bilder, wurde auf über 140 Sprachen vortrainiert und bringt natives Function Calling sowie einen konfigurierbaren Denkmodus mit.

• Lizenz — beide sind Apache 2.0. Dies ist der seltene Vergleich, bei dem die Lizenzfrage schon vor dem Start geklärt ist.

• Gewichte auf der Festplatte — Nanbeige4.3-33B umfasst in BF16 etwa 66 GB und bei 4 Bit ungefähr 20 GB. Gemma 4 31B liegt im selben Bereich. Keines von beiden ist ein Laptop-Modell; beide sind Modelle für eine einzelne Workstation oder einen einzelnen Knoten.

Das Einzige, worin sie sich nicht ähneln, ist die Distribution. Gemma 4 31B hat eine Managed API, einen Endpunkt, den Artificial Analysis derzeit mit null Kosten listet, und unabhängige Berichterstattung. Nanbeige4.3-33B hat Gewichte, eine Modellkarte und – mit den Worten der Karte selbst – keinen Inference-Anbieter, der es bereitstellt. Diese Asymmetrie ist kein Qualitätsurteil, aber sie verändert, was „es auszuprobieren“ kostet.

Die Anbieterspalte und Googles eigene Karte stimmen nicht überein.

Zwei Zeilen in Nanbeiges Tabelle lassen sich mit Googles veröffentlichten Zahlen abgleichen, und nur eine davon stimmt überein.

• AIME 2026 — Nanbeige schreibt Gemma 4 31B 89,2 zu. Google meldet 89,2. Exakte Übereinstimmung.

• GPQA Diamond — Nanbeige schreibt Gemma 4 31B 91,3 zu, und das ist die einzige Zeile, in der Gemma Nanbeiges eigene 89,5 übertrifft. Googles veröffentlichte Zahl für das Modell ist 84,3. Das ist eine Diskrepanz von sieben Punkten, und keine der beiden Modellkarten erklärt die Konfiguration dahinter.

Diese zweite Zeile verdient Aufmerksamkeit, denn sie ist die einzige Stelle, an der die Anbieter-Tabelle dem Gegner einen Sieg beschert. Wenn die Zahl aus einem erneuten Lauf mit maximalem Denkaufwand stammt, ist sie ein legitimes Ergebnis, und Gemma führt bei wissenschaftlichen Fragen auf Hochschulniveau tatsächlich. Wenn sie aus einer anders konfigurierten Evaluierung stammt, vergleicht die Tabelle zwei verschiedene Gemmas. So oder so stützt sich die Zeile „Gemma gewinnt GPQA“, die diese Woche in jedem Sekundärbericht wiederholt wurde, auf eine Zahl, die Google nicht veröffentlicht.

Der Rest der Gemma-Spalte ist schwerer zu prüfen, weil Google andere Benchmarks meldet. Nanbeiges Tabelle führt Gemma mit 18,6 auf Tau3-Bench; Googles Model Card führt es mit 86,4 auf τ²-bench. Das sind unterschiedliche Versionen der Benchmark-Familie, sie widersprechen sich also nicht – aber sie sind auch kein Vergleich, und die 68-Punkte-Lücke zwischen ihnen ist eine faire Schätzung dafür, wie stark die Wahl von Harness und Version die Punktzahl eines einzelnen Modells verschieben kann.

Die Nullen richtig lesen

Drei Zeilen in der Gemma-Spalte liegen nahe null: 0,0 bei Terminal-Bench 4.0, 2,7 bei DeepSWE und 3,3 bei SWE-Atlas-QnA. Das sind die Zeilen, die in sozialen Medien die Runde machen, und sie sind die am wenigsten aussagekräftigen Zahlen in der Tabelle.

Ein nahezu Nullwert bei einem agentischen Benchmark hat mindestens drei mögliche Ursachen: Das Modell kann die Aufgabe nicht abschließen, das Modell kann die vom Harness bereitgestellten Tools nicht steuern, oder der Harness wurde für eine andere Chat-Vorlage und ein anderes Tool-Call-Format abgestimmt. Nanbeiges Modellkarte sagt ausdrücklich, dass die eigenen Ergebnisse Terminus 2 für Terminal-Bench 2.1 und mini-swe-agent v2.4.6 für Terminal-Bench 4.0, DeepSWE und SWE-Atlas-QnA verwendeten. Sie sagt nicht, ob Gemma 4 31B dasselbe Gerüst mit seinem eigenen Tool-Call-Format erhielt oder in Nanbeiges XML-orientiertes gesteckt wurde. Diese ergeben sehr unterschiedliche Zahlen, und nur eine davon betrifft das Modell.

Das ist kein Grund, Nanbeiges Ergebnis abzutun. Nanbeige4.3-33B wurde rund um agentisches Coding entwickelt – seine Modellkarte empfiehlt ein XML-Tool-Call-Format, preserve_thinking=true für die Tool-Nutzung über mehrere Turns hinweg und eine Temperatur von 1.0 für agentische Aufgaben –, daher ist es nicht überraschend, dass es in einer eigens dafür gebauten Harness gut abschneidet. Es ist ein Grund, die Gemma-Spalte als Untergrenze statt als Urteil zu behandeln.

Die Asymmetrie-Benchmarks bepreisen nicht: Bilder

Gemma 4 31B nimmt Bilder entgegen. Nanbeige4.3-33B nicht. Dieser eine Satz entscheidet über mehr echte Deployments als jede Zeile in der Tabelle.

Wenn Ihr Agent Screenshots, Rechnungen, Diagramme, gescannte Formulare oder UI-Zustände liest, ist Nanbeige4.3-33B bei keinem Benchmark-Ergebnis ein Kandidat. Sie bräuchten ein separates Extraktionsmodell davor, mit eigener Latenz, eigenen Kosten und eigenen Fehlerarten, und die Qualität der Pipeline wäre dann die Qualität des Extraktionsmodells statt die der 33B. Gemma erledigt diesen Schritt nativ, und Googles veröffentlichte Werte von 76,9 bei MMMU-Pro und 85,6 bei MATH-Vision legen nahe, dass es das kompetent statt nur pro forma tut.

Umgekehrt gilt: Wenn die Arbeit ausschließlich aus Text besteht – Code, Logs, lange Dokumente, mehrstufige Tool-Traces –, ist die Bildfähigkeit totes Gewicht, das Sie bei jedem Forward Pass mitbezahlen. Genau dafür ist Nanbeige gebaut, und das macht einen großen Teil agentischer Arbeit aus.

512K gegenüber 256K, und wozu ein Fenster dient

Nanbeiges 524.288-Token-Fenster ist doppelt so groß wie Gemmas 262.144, und beide Zahlen sind groß genug, dass der Unterschied nur bei bestimmten Arbeitsformen eine Rolle spielt.

Ein 256K-Fenster fasst ungefähr so viel Quellcode wie ein mittelgroßes Repository oder mehrere hundert Seiten Text. Ein 512K-Fenster fasst doppelt so viel. Für ein einzelnes langes Dokument plus eine lange Antwort sind beide ausreichend; für einen Agenten, der über Hunderte von Turns hinweg Tool-Ausgaben ansammelt, verschafft das größere Fenster mehr Turns, bevor zusammengefasst oder verdrängt wird. Die Modellkarte von Nanbeige empfiehlt bis zu 262.144 neue Tokens für Reasoning und Chat, was nahelegt, dass das praktische Reasoning-Budget näher an 256K als an den vollen 512K liegt. Das Ausgabelimit von Gemma wird üblicherweise auf 131.072 konfiguriert.

Keiner der beiden Anbieter veröffentlicht hier einen Benchmark zur Erinnerungsleistung bei langem Kontext, daher lässt sich nicht ehrlich sagen, wessen 512K oder 256K besser genutzt wird. Die Kontextgröße ist eine Kapazitätsaussage, keine Qualitätsaussage, und beide Karten belassen es dabei.

Was es kostet, jeden Einzelnen anzurufen

Gemma 4 31B ist der einzige der beiden, den Sie heute als Service aufrufen können. Bei OrcaRouter kostet er 0,13 $ pro Million Eingabe-Tokens und 0,38 $ pro Million Ausgabe-Tokens, wobei zwischengespeicherte Eingaben mit 0,02 $ berechnet werden – eine Weitergabe des Listenpreises des Anbieters ohne Aufschlag, weshalb eine Preisänderung des Anbieters noch am Tag ihrer Ankündigung in unseren Katalog einfließt. Artificial Analysis führt Googles eigenen Endpunkt derzeit mit 0,00 $ Eingabe und 0,00 $ Ausgabe, was mit großer Wahrscheinlichkeit eher eine Aktion oder ein kostenloses Kontingent widerspiegelt als einen dauerhaften Preis; behandeln Sie ihn als Testkanal, nicht als Budgetposten.

Für Nanbeige4.3-33B gibt es keinen Preis pro Token, den man nennen könnte. Die Gewichte sind unter Apache 2.0 kostenlos, und die Model Card gibt an, dass kein Inferenzanbieter das Modell betreibt. Es zu betreiben bedeutet vier GPUs bei Tensor-Parallel-Größe 4 nach den eigenen vLLM- und SGLang-Rezepten der Model Card, offen gehalten, ob Anfragen eintreffen oder nicht. Die Grenzkosten eines Tokens sind dann Ihr Stromverbrauch und Ihre Auslastungsrate, nicht eine Preisliste. Wer „$0.13 input“ mit „kostenlos“ vergleicht, vergleicht eine Rechnung mit einer Investitionsausgabe.

Das ist auch das praktische Argument dafür, einen Router im Spiel zu behalten, selbst wenn das neue Modell selbst gehostet wird. Die Entscheidung, vor der die meisten Teams tatsächlich stehen, lautet nicht „Gemma ersetzen“, sondern „5 % des Traffics an das neue Ding schicken und sehen, was passiert“. Den etablierten Anbieter mithilfe eines Schlüssels mit automatischem Failover, falls der Experiment-Endpunkt ausfällt, erreichbar zu halten, macht daraus eine Routing-Änderung statt einer Migration.

Wenn Gemma 4 31B einfach die richtige Antwort ist

Vier Bedingungen klären dies ohne eine Benchmark-Tabelle.

• Der Arbeitsaufwand umfasst Bilder, PDFs oder Screenshots. Gemma, ohne Diskussion.

• Du brauchst mehr als Englisch und Chinesisch. Gemma wurde auf über 140 Sprachen vortrainiert; Nanbeige nennt zwei.

• Sie möchten keine GPUs besitzen. Gemma bietet heute einen verwalteten Endpunkt; Nanbeige bietet Gewichte und ein Deployment-Rezept.

• Sie brauchen eine zweite Meinung zur Qualität. Gemma erreicht beim {{1}}Artificial Analysis Intelligence Index{{/1}} einen Wert von 15, was bescheiden, aber unabhängig ist. Nanbeige ist dort überhaupt nicht vertreten, sodass jede Zahl dazu vom Anbieter selbst benotet wird – er korrigiert seine eigenen Hausaufgaben.

Dreht man diese um, ist der Nanbeige-Fall ebenso klar: rein textbasierte agentische Arbeit, ein langer Tool-Trace, ein Team mit GPUs und die Bereitschaft, das empfohlene XML-Tool-Format auszuführen. Für diese Art von Arbeit behauptet Nanbeiges eigene Tabelle einen Vorsprung von 33,7 Punkten bei Terminal-Bench 2.1 – 80,9 gegenüber 47,2 – und einen Vorsprung von 62,8 Punkten bei DeepSWE. Diese Abstände sind groß genug, dass sie wahrscheinlich ein echtes Signal enthalten, selbst wenn man den Harness-Vorteil herausrechnet. Sie sind jedoch nicht groß genug, um darauf einen Produktionspfad zu stützen, ohne selbst einen Lauf durchzuführen.

Ein Backwettbewerb am Nachmittag schlägt diesen Tisch.

Wenn Sie wirklich zwischen ihnen wählen, ist der Test günstig und er erfordert nicht, einem der beiden Anbieter zu glauben. Nehmen Sie zwanzig echte Aufgaben aus Ihren eigenen Agent-Logs. Führen Sie jedes Modell mit seinem eigenen empfohlenen Tool-Call-Format und seinen Thinking-Einstellungen aus — XML für Nanbeige, natives Function Calling für Gemma — und bewerten Sie die Aufgaben-Erledigung, nicht die Benchmark-Ähnlichkeit. Protokollieren Sie die pro erledigter Aufgabe verbrauchten Tokens, denn ein dichtes 33B-Modell und ein dichtes 30,7B-Modell unterscheiden sich in der Ausführlichkeit selbst bei identischen Preisen pro Token.

Was Sie an einem Nachmittag erfahren werden, ist, ob Nanbeiges agentischer Vorsprung seinen eigenen Harness-Vorteil überdauert. Bis jemand das veröffentlicht, ist die belastbare Zusammenfassung enger als die Schlagzeilen: Gemma 4 31B ist das besser einsetzbare Modell und das einzige mit einer unabhängigen Bewertung; Nanbeige4.3-33B ist das ambitioniertere, mit einem nativen 512K-Fenster und einer Reihe selbst gemeldeter agentischer Kennzahlen, die beeindruckend, ungeprüft und zwei Tage alt sind.