Nanbeige4.3-33B hat seine erste externe Zahl: 20, gleichauf mit Qwen3.8-27B und doppelt so gesprächig.

Zwei Wochen lang war der einzige Beleg dafür, dass Nanbeige4.3-33B in irgendetwas gut war, eine zwanzigzeilige Tabelle, die das Labor über sich selbst geschrieben hatte. Am 5. November änderte sich das: Artificial Analysis setzte Nanbeige4.3-33B in seinem Intelligence Index v5.0.1 auf 20, dieselbe Punktzahl, die es Qwen3.8-27B bei dessen höchster Reasoning-Einstellung gibt — 20 im Gesamtwert, 20,1 für das Qwen-Modell im zugrunde liegenden v5.0-Lauf. Ein Zehntelpunkt ist kleiner als das Rauschen zwischen zwei Bewertungen desselben Checkpoints, daher liegen die beiden auf dem einzigen öffentlichen Gesamtwert, der beide misst, gleichauf.

Das ist die Zahl, auf die die Veröffentlichung gewartet hat, und sie ist das Uninteressanteste an der Messung. Der zusammengesetzte Wert verbirgt ein Modell, dessen zwei Hälften in entgegengesetzte Richtungen zeigen: eine agentische Hälfte, die dem Qwen-Modell, das es schlagen sollte, weit voraus ist, und eine Wissenshälfte, die messbar dahinter zurückliegt. Er verbirgt außerdem die Tatsache, dass Nanbeige4.3-33B 160 Millionen Ausgabe-Tokens verbraucht hat, um diese 20 zu erreichen – mehr als das Doppelte dessen, was das Medianmodell in seiner Vergleichsklasse verbraucht, und genug, um es auf dem Verbositätsmaß von Artificial Analysis auf den letzten Platz von acht zu setzen.

Die ehrliche Lesart dieses Releases ist also nicht mehr „unverifiziert“. Sie ist „verifiziert – und seltsamer, als die Anbietertabelle nahelegte“. Hier steht, was der unabhängige Durchlauf tatsächlich sagt, wo er mit Nanbeiges eigenen Zahlen übereinstimmt, und die eine Stelle, an der eine externe Messung höher als die eigene Angabe des Labors

Was 20 bedeutet – und was nicht

Artificial Analysis setzt Nanbeige4.3-33B in seiner eigenen Vergleichsklasse auf Platz eins von neun, bei einem Klassenmedian von 10. Diese Klasse besteht aus den neun Open-Weight-Modellen ähnlicher Größe, die zum Vergleich herangezogen werden, und die Website gibt separat an, dass sie 144 Modelle in der breiteren vergleichbaren Kohorte führt. Beide Grundgesamtheiten sollte man gleichzeitig im Blick behalten: Gegenüber Open-Weight-Modellen etwa seiner Größe ist es das stärkste gemessene Modell, und gegenüber dem gesamten Feld – einschließlich der führenden geschlossenen Modelle und der besten von Qwen, DeepSeek und Anthropic – ist eine Punktzahl von 20 ein solides Ergebnis im Mittelfeld.

Diese Lücke zwischen #1-von-9 und einem Mittelfeld-Ergebnis sollte man festhalten, denn genau diese Lücke geht verloren, wenn ein Release mit „schlägt Qwen“ zusammengefasst wird. Dass ein Open-Weights-Modell mit 33B auf einem Composite, das von Modellen dominiert wird, die mehrere Male so groß sind, im Mittelfeld landet, ist eine echte Leistung. Es ist kein Frontier-Ergebnis, und nichts im Vokabular dieses Releases sollte etwas anderes implizieren.

Was der Index nicht enthält, ist der Preis. Es gibt keinen Preis, weil es keinen gehosteten Endpunkt gibt: Artificial Analysis verzeichnet „Keine öffentlich verfügbare API“, die Zuordnung der Inference-Anbieter von Hugging Face für das Repository ist leer, und jeder Tracker, der das Modell führt, zeigt die Kosten als nicht verfügbar an. Deine Kosten sind die Hardware.

Die beiden Hälften des Modells widersprechen sich

Artificial Analysis veröffentlicht keine einzelne Kennzahl, und die Teilwerte sind der Punkt, an dem dieses Modell lesbar wird. Lesen Sie sie als zwei Spalten.

• Terminal-Bench 4.0 (Artificial-Analysis-Harness) — Nanbeige4.3-33B 29,8 %, Rang 56 aller Konfigurationen auf dem Board. Qwen3.8-27B erreicht mit xhigh 5,6 % im selben Harness.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7 %, auf Platz 81. Qwen3.8-27B erzielt mit xhigh 14,9 %, der Code-Qualitäts-Benchmark geht also in die andere Richtung.

• AA-Omniscience v1.1 — Nanbeige4.3-33B erzielt netto −4,4 bei 11,7 % Genauigkeit. Qwen3.8-27B erzielt bei xhigh netto −6,4 bei 17,3 % Genauigkeit. Qwen weiß mehr; Nanbeige schneidet unterm Strich besser ab, weil es häufiger die Antwort verweigert.

• AA-Omniscience-Nicht-Halluzination — Nanbeige4.3-33B 81,8 %, auf der gesamten Website auf Platz 7. Qwen3.8-27B erreicht bei xhigh 71,4 %.

• AutomationBench — Nanbeige4.3-33B 53,1 %, Rang 82. AA-Briefcase v1.1 — 1.162, Rang 90. Terminal-Bench-Science 0.1 — 0,9 %, Rang 89.

• HLE-Diamond — 6,9 %, Rang 117. CritPt v2 schwierige Teilmenge — 15,5 %, Rang 85. GDP.pdf — 11,2 %, Rang 135.

Das Muster über diese Zeilen hinweg ist konsistent. Bei der Aufgabe, „ein Terminal lange zu bedienen und nicht vorzeitig abzubrechen“, erreicht dieses Modell etwa das Fünffache der Punktzahl des Qwen-Modells. Bei der Aufgabe, „einen Fakt zu kennen“, liegt es zurück – und bei der Aufgabe, „einen Fakt zu kennen oder zu sagen, dass man ihn nicht kennt“, liegt es vor fast allem in der Bestenliste, bei 81,8 % Nicht-Halluzination.

Diese Kombination ist kein Zufall des Tunings. Sie ist das, was ein Modell, das zum Generieren von Agenten-Trajektorien gebaut wurde, zeigt, wenn man ein Wissens-Benchmark darauf richtet. Ein Lehrermodell, das Fakten erfindet, ist ein Lehrer, der die Trainingsdaten des Schülers vergiftet, daher zählt Kalibrierung in der Pipeline, die Nanbeige nach eigenen Angaben aufbaut, mehr als Recall. Ob dieser Kompromiss absichtlich oder emergent war, er ist der am besten verteidigbare Aspekt der Veröffentlichung.

Das Weitschweifigkeitsproblem ist ein getarntes Kostenproblem.

Artificial Analysis berichtet, dass Nanbeige4.3-33B 160 Millionen Ausgabe-Tokens generierte, während es auf dem Intelligence Index evaluiert wurde. Das Medianmodell in seiner Vergleichsklasse generierte 77,7 Millionen. In der Ausführlichkeitsrangliste der Website belegt es den letzten Platz, #8 von 8 in dieser Klasse, bei etwa dem 2,06-Fachen des Medians. Das Eingabevolumen betrug 15,4 Milliarden Tokens, was das Verhältnis von Ausgabe zu Eingabe auf 1,034 % bringt.

Daraus folgen zwei Dinge. Erstens war die 20 teuer im Einkauf. Wenn man irgendwo pro Token bezahlt, kostet ein Modell, das für denselben zusammengesetzten Score doppelt so viele Token ausgibt, pro Einheit gemessener Leistungsfähigkeit ungefähr doppelt so viel, und der Index normalisiert das nicht. Zweitens ist Ausführlichkeit zuerst ein Latenzproblem und erst danach ein Geldproblem: Ein dichtes 33B-Modell auf den eigenen GPUs, das doppelt so viele Token produziert, braucht doppelt so lange, um eine Aufgabe abzuschließen.

Nanbeiges eigene empfohlene Einstellungen erklären einen Teil davon und entschuldigen nicht alles davon. Die Modellkarte verlangt eine Obergrenze von 262.144 Token für Reasoning und Chat, 65.536 für agentische Arbeit, wobei Thinking standardmäßig aktiviert ist. Jedes Modell, dem gesagt wird, es dürfe für eine Viertelmillion Token nachdenken, wird einige davon nutzen. Aber der Klassenmedian ist ein fairer Vergleich – auch andere Modelle hinter demselben Index sind Reasoning-Modelle – und der 2,06-fache Wert bleibt unter dieser Kontrolle bestehen.

Bei einer selbst gehosteten Bereitstellung ist die praktische Lösung ein Budget, kein Modellwechsel: Begrenzen Sie die maximalen neuen Token pro Aufgabe und messen Sie Ihre eigene Erfolgsquote bei 8K, 16K und 32K, bevor Sie davon ausgehen, dass die Standardwerte der Karte für Ihre Arbeitslast die richtigen sind. Die meisten agentischen Aufgaben verbessern sich ab einem bestimmten Punkt nicht mehr, und dieses Modell wird Ihnen nicht sagen, wo dieser Punkt liegt.

Die eine Zeile, in der der externe Lauf die eigene Zahl des Anbieters übertraf

Die Modellkarte von Nanbeige gibt für Nanbeige4.3-33B Terminal-Bench 4.0 mit 23,8 an, gegenüber 6,3 für Qwen3.8-27B. Artificial Analysis hat 29,8 gemessen. Die unabhängige Zahl ist sechs Punkte höher als die, die das Labor über sich selbst veröffentlicht hat.

Das ist ungewöhnlich genug, um es klar zu sagen, denn der übliche Fehlermodus in dieser Branche läuft in die andere Richtung — Labore melden die beste Zahl, die ihr eigenes Scaffold produziert, und externe Wiederholungsläufe fallen niedriger aus. Wenn ein Anbieter seinen eigenen agentischen Score zu niedrig angibt, deutet das entweder auf einen anderen Harness auf seiner Seite, eine bewusst konservative Angabe oder eine Tabelle hin, die vor dem finalen Checkpoint erstellt wurde. Nichts davon ist schlecht; all das bedeutet, dass die Anbietertabelle keine Obergrenze ist und nicht als solche gelesen werden sollte.

Daraus folgt nicht, dass jede Anbieterzeile vertrauenswürdig ist. Die größten Angaben in Nanbeiges Tabelle – DeepSWE mit 65,5 gegenüber Qwens 42,5, SWE-Atlas-QnA mit 50,8 gegenüber 41,9 – haben noch keine unabhängige Entsprechung, und beide sind scaffold-sensitive Benchmarks, bei denen die Wahl des Harness die Ergebnisse stärker bewegt als die Modellqualität. Was das Terminal-Bench-Ergebnis belegt, ist enger und nützlicher: Die agentische Richtung der Aussage ist real. Die Größenordnung in einer einzelnen Zeile ist weiterhin unbestätigt.

Was das für ein Team bedeutet, das es ausprobieren möchte

Am Zugang hat sich nichts geändert. Es gibt keinen Endpunkt zum Aufrufen, keine Preisliste und keinen Anbietereintrag – die Gewichte liegen auf Hugging Face unter Apache 2.0, und der Serving-Pfad ist vLLM, SGLang oder Transformers auf Hardware, die Ihnen gehört. Der bfloat16-Checkpoint umfasst 66,3 GB über vierzehn Shards, und bei 512K Kontext kommt allein der KV-Cache auf rund 104 GiB – deshalb ist die funktionierende Konfiguration vierfache Tensor-Parallelität statt einer einzigen großen Karte.

Was sich geändert hat, ist, dass Sie jetzt den teuren Teil der Due Diligence überspringen können. Vor dieser Woche bedeutete die Bewertung von Nanbeige4.3-33B, vier GPUs bereitzustellen, um herauszufinden, ob die Agentic-Behauptungen den Kontakt mit einer neutralen Testumgebung überstehen. Die 29.8 bei Terminal-Bench 4.0 beantwortet die erste Frage – die Richtung stimmt –, und die Ausführlichkeitskennzahl beantwortet eine Frage, die niemand gestellt hat, nämlich was das Modell Sie an Tokens pro abgeschlossener Aufgabe kosten wird.

Wenn Sie einen Vergleichspunkt brauchen, den Sie heute tatsächlich abrufen können, ist Qwen3.8-27B die natürliche Vergleichsgröße: denselben zusammengesetzten Score, denselben veröffentlichten Preis und ein 262K-Fenster. Es läuft auf OrcaRouter für 0,33 $ pro Million Eingabe-Token und 2,40 $ pro Million Ausgabe-Token, mit demselben Schlüssel wie der Rest des Katalogs, wobei die Listenpreise der Anbieter ohne Aufschlag durchgereicht werden. Ihren Aufgabensatz gegen ein gehostetes Modell und ein selbst gehostetes hinter einer einzigen Routing-Regel laufen zu lassen, ist der günstigste Weg, um herauszufinden, ob ein dichtes 33B-Checkpoint auf Ihrer eigenen Hardware ein 27B-Modell schlägt, das Sie pro Token mieten — und das ist eine Frage, die der Intelligence Index nicht für Sie beantworten kann, weil er nicht weiß, wie Ihre Aufgaben aussehen oder was Ihre GPUs kosten.

Die Dinge, die noch wirklich unbekannt sind, sind überschaubar. Ob Nanbeige4.3-3B, das Destillationsziel, das dieses Modell lehren soll, etwas von der Kalibrierung übernimmt. Ob die Ausführlichkeit im Studentenmodell erhalten bleibt, denn ein kleines Modell, das 2× so viele Token ausgibt, ist ein viel günstigerer Fehler. Und ob das Ergebnis zur Nicht-Halluzination außerhalb des Omniscience-Harness Bestand hat, denn 81,8 % ist eine bemerkenswerte Zahl, und bemerkenswerte Zahlen verdienen einen zweiten Blick, bevor jemand eine Pipeline darauf aufbaut.