Nanbeige4.3-33B vs. Qwen3.8 27B: Überprüfung der 18-von-20-Behauptung

Nanbeige4.3-33B schlägt Qwen3.8-27B in 18 von 20 Benchmarks. Das ist die Behauptung, die diese Woche durchs Internet geht, und technisch gesehen steht das so auf der Modellkarte. Es ist auch ein Satz mit einem Nenner, und der Nenner ist der interessante Teil. Von diesen 20 Zeilen sind 19 mit Punkten bewertet und eine ist ein Dollarbetrag; vier der 18 Siege fallen um weniger als einen einzigen Punkt aus; und mindestens drei der Qwen-Zahlen scheinen aus Qwens eigenen veröffentlichten Ergebnissen übernommen und nicht von Nanbeige erneut erhoben worden zu sein. Nichts davon macht die Behauptung falsch. Es macht sie enger, als sie klingt.

Das Duell ist ungewöhnlich, weil Nanbeige Qwen3.8-27B als Sparringspartner gewählt hat. Qwen3.8-27B wurde Mitte August 2026 veröffentlicht, ist ein Dense-Modell mit 27,78 Milliarden Parametern, steht unter Apache 2.0, ist multimodal bei der Eingabe und verfügt – anders als Nanbeige4.3-33B – über einen unabhängigen Artificial Analysis Intelligence Index von 34. Dies ist also der einzige Vergleich in dieser Reihe, bei dem der Gegner einen verifizierten Wert hat und der Kandidat nicht. Diese Asymmetrie ist das beste Werkzeug, das wir zur Überprüfung der Tabelle haben.

Wer hat die Behauptung verfasst, und was enthält der Nenner?

Die Tabelle stammt von Nanbeige. Sie wurde auf der Hugging-Face-Modellkarte von Nanbeige4.3-33B veröffentlicht, in einem Repository, das am 24. Oktober 2026 erstellt wurde. Es gibt keinen begleitenden Blogbeitrag, keine Launch-Veranstaltung und keine Reproduktion durch Dritte. Jede Zahl in der Qwen-Spalte und jede Zahl in der Nanbeige-Spalte wurde von dem Labor erzeugt oder ausgewählt, das den Vergleich durchführt.

Die 20 Zeilen decken drei Gruppen ab: agentisches Codieren (Terminal-Bench 2.1 und 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), agentische Zusammenarbeit (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) und Reasoning (GPQA Diamond, AIME 2026, AA-LCR). Der Harness wird sorgfältiger offengelegt als bei den meisten Anbieterkarten: Terminus 2 für Terminal-Bench 2.1, mini-swe-agent v2.4.6 für Terminal-Bench 4.0, DeepSWE und SWE-Atlas-QnA, Claude Code für NL2Repo und JobBench sowie GPT-6 Sol als Judge für SWE-Atlas-QnA. Diese Offenlegung spricht für Nanbeige. Sie ist auch der Grund, warum der Vergleich schwerer zu lesen ist als eine einzelne Siegeszahl.

Die beiden Zeilen, die Nanbeige verliert

• SWE-Bench Pro — Qwen3.8-27B 61,7 gegenüber Nanbeige4.3-33B 60,3. Ein Vorsprung von 1,4 Punkten für Qwen.

• GDPval — Qwen3.8-27B 86,4 gegen Nanbeige4.3-33B 84,8. Ein Vorsprung von 1,6 Punkten für Qwen.

Das sind die beiden Zeilen, die die Schlagzeile „18 von 20“ stillschweigend wegrundet, und sie weisen in eine konsistente Richtung. Beide sind Benchmarks für professionelle, wirtschaftlich wertvolle Arbeit: SWE-Bench Pro ist die schwierigere Software-Engineering-Variante, und GDPval misst die Ausgabequalität bei realen beruflichen Aufgaben. Qwen gewinnt beide mit Abständen, die in absoluten Zahlen klein, aber über zwei verschiedene Aufgabenfamilien hinweg stabil sind. Wenn Sie sich zwischen diesen Modellen für professionelle Arbeit und nicht für ein Leaderboard entscheiden, sind das zwei der Zeilen, die Sie am stärksten gewichten sollten, und es sind die beiden, bei denen das betreffende Modell verliert.

Die Model Card von Nanbeige erklärt die Verluste nicht. Das muss sie auch nicht – ein Anbieter darf eine Tabelle veröffentlichen, in der er gewinnt. Doch Leserinnen und Leser sollten bemerken, dass sich die Verluste genau dort häufen, wo der Benchmark der Frage am nächsten kommt: „Würde eine Fachperson diese Ausgabe akzeptieren?“ – und die Gewinne dort, wo er der Frage am nächsten kommt: „Hat der Agent den Kreislauf abgeschlossen?“

Siege, die Rundungsfehler sind

Vier der 18 Siege werden mit weniger als einem Punkt Vorsprung entschieden.

• Tau3-Bench — 48,8 vs. 48,5. Drei Zehntelpunkte.

• GPQA Diamond — 89,5 vs. 89,2. Drei Zehntel.

• AIME 2026 — 95,2 gegenüber 94,5. Sieben Zehntel.

• EnterpriseOps-Gym — 41,0 vs. 40,2. Acht Zehntel.

Zwei weitere liegen innerhalb von etwa zwei Punkten: Toolathlon-Verified bei 70,4 gegenüber 68,5 und AA-LCR bei 84,0 gegenüber 82,0. Bei Benchmarks dieser Größe und Varianz ist ein Abstand von unter einem Punkt kein Beleg für Überlegenheit. Er ist ein Beleg dafür, dass zwei Modelle im selben Bereich liegen. Eine faire Neuformulierung der Schlagzeile wäre: „Nanbeige führt klar bei 12 von 20, liegt bei 6 gleichauf und liegt bei 2 zurück“ – was immer noch ein starkes Ergebnis ist, und ein nützlicheres.

Die großen Vorsprünge sind der Punkt, an dem das eigentliche Argument liegt. DeepSWE mit 65,5 gegenüber 42,5 ergibt einen Abstand von 23 Punkten. Terminal-Bench 4.0 mit 23,8 gegenüber 6,3 ergibt 17,5. Automation Bench mit 54,2 gegenüber 38,3 ergibt 15,9. DeepPlanning mit 63,3 gegenüber 49,2 ergibt 14,1. YC-bench, eine auf Dollar lautende Aufgabe, meldet 1.025.437 $ gegenüber 641.290 $. Das sind keine Rundungsdifferenzen. Sie besagen, dass Nanbeige bei langfristiger, mehrstufiger Ausführung besser ist – der Art von Arbeit, bei der ein Modell einen Plan über Dutzende Tool-Aufrufe hinweg aufrechterhalten muss. Das ergibt ein stimmiges Bild und steht im Einklang mit dem nativen 512K-Kontext des Modells und seinen empfohlenen agentenorientierten Einstellungen.

Die Spalten sind möglicherweise nicht dasselbe Experiment.

Hier ist die Beobachtung, die die gesamte Tabelle kompliziert. Drei Qwen-Werte stimmen exakt mit Qwens eigenen veröffentlichten Zahlen überein: Terminal-Bench 2.1 bei 73,0, SWE-Bench Pro bei 61,7 und GPQA Diamond bei 89,2. Qwen veröffentlicht alle drei. Die Zeilen, die Qwen nicht veröffentlicht – DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval –, sind genau die Zeilen, in denen Nanbeiges Vorsprünge am größten sind.

Dieses Muster passt zu zwei unterschiedlichen Vorgehensweisen innerhalb einer Tabelle: kopierte Zahlen für Benchmarks, die der Konkurrent bereits veröffentlicht hatte, frische Durchläufe für Benchmarks, die er nicht veröffentlicht hatte. Das ist eine Schlussfolgerung, keine offengelegte Tatsache – in Nanbeiges Model Card heißt es, alle Modelle seien mit dem höchsten Denkaufwand und denselben Inferenzparametern und demselben Harness evaluiert worden, was gegen das Kopieren sprechen würde. Aber die exakte Übereinstimmung bei drei unabhängigen Zahlen ist ein Zufall, den es zu erwähnen lohnt, und wenn die Qwen-Spalte eine Mischung ist, dann vergleicht „18 von 20“ in einigen Zeilen Nanbeiges Durchläufe mit Qwens Durchläufen und in anderen Nanbeiges Durchläufe mit Nanbeiges Durchläufen.

Es gibt ein zweites, subtileres Problem. Nanbeiges eigenes Modell läuft in dem Harness, den seine Modellkarte empfiehlt: XML-Toolaufrufe, preserve_thinking=true, Temperatur 1.0 für agentische Arbeit. Die Karte sagt nicht, ob Qwen3.8-27B seine eigenen empfohlenen Einstellungen erhielt oder in die von Nanbeige gesteckt wurde. Wenn Letzteres der Fall ist, ist ein Teil der 23-Punkte-Differenz bei DeepSWE ein Konfigurationsunterschied und kein Fähigkeitsunterschied. Das ist derselbe Vorbehalt, der für jeden Anbietervergleich gilt, und kein Grund, das Ergebnis zu verwerfen — sondern ein Grund, einen neutralen erneuten Lauf zu verlangen, bevor man es als geklärt betrachtet.

Die unabhängige Bewertung, die nur ein Modell hat

Artificial Analysis bewertet Qwen3.8-27B auf seinem Intelligence Index mit 34, gemessen in der Reasoning-Konfiguration xhigh, bei 45,2 Ausgabe-Token pro Sekunde. Die Latenz variiert je nach Anbieter: Unsere eigene Seite meldet eine p50-Zeit bis zum ersten Token von 2,95 Sekunden, gegenüber den 3,8 Sekunden, die Artificial Analysis auf dem von ihr beprobten Endpunkt gemessen hat. Dieser Index ist ein zusammengesetzter Wert aus zehn Evaluierungen, darunter Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA und AutomationBench-AA – mehrere derselben Benchmark-Familien, über die Nanbeige auch selbst berichtet.

Nanbeige4.3-33B hat keinen Eintrag bei Artificial Analysis. Das ist kein Skandal; das Modell ist zwei Tage alt. Aber es bedeutet, dass die beiden Seiten dieses Vergleichs nicht epistemisch gleichwertig sind. Qwens 34 ist eine Zahl, die jemand anderes gemessen hat. Nanbeiges 80,9 auf Terminal-Bench 2.1 ist eine Zahl, die Nanbeige gemessen hat. Wenn beide korrekt sind, würde Nanbeige auf derselben zusammengesetzten Kennzahl wahrscheinlich deutlich über 34 liegen – seine 23,8 bei Terminal-Bench 4.0 und 52,6 bei SciCode sind starke Zeilen. Der Punkt ist, dass „wahrscheinlich“ hier die Arbeit macht, und das wird so bleiben, bis ein unabhängiger Evaluator das Modell laufen lässt.

Das ist auch der praktische Grund, die 18-von-20-Behauptung als Eröffnungsargument zu behandeln. Die Behauptung ist auf eine konkrete, kostengünstige Weise falsifizierbar: Nanbeige4.3-33B bei einem unabhängigen Evaluator einreichen und den zusammengesetzten Wert vergleichen. Bis das geschieht, ist die stärkste ehrliche Aussage, dass Nanbeige einen Vorsprung bei agentischer Arbeit mit langem Zeithorizont beansprucht und bei der Qualität professioneller Ergebnisse leicht zurückliegt, und dass nur eines dieser beiden Modelle von jemand anderem als seinem Hersteller geprüft wurde.

Kosten pro Aufgabe, nicht pro Token

Qwen3.8-27B ist der einzige der beiden, den Sie heute aufrufen können. Bei OrcaRouter kostet es 0,33 $ pro Million Input-Tokens und 2,40 $ pro Million Output-Tokens – unter den 0,50 $ und 3,00 $, die Artificial Analysis für Alibabas First-Party-Endpunkt auflistet. Dieses Modell wird auf unserer eigenen Infrastruktur bereitgestellt und nicht zum Listenpreis des Anbieters weiterverkauft, weshalb es unter dem First-Party-Preis liegt; bei Modellen, die wir durchreichen, bedeutet die 0%-Aufschlagsregel, dass Sie den Listenpreis des Anbieters zahlen. So oder so schwanken die Preise pro Token je nach Route stark genug, dass der First-Party-Endpunkt nicht automatisch der günstige ist. Das Modell akzeptiert zudem Bilder und Videos neben Text und verfügt über ein Fenster von 262.144 Tokens.

Der Preis pro Token ist für diesen Vergleich allerdings die falsche Einheit. Tester berichten, dass Qwen3.8-27B ungewöhnlich token-hungrig ist – etwa dreimal so viele Tokens wie Qwen3.6-27B bei vergleichbaren Aufgaben –, und Artificial Analysis schätzt rund 1,01 US-Dollar pro Intelligence-Index-Aufgabe bei der Einstellung xhigh. Ein Modell, das beim Preis pro Token gewinnt und bei den Tokens pro Aufgabe verliert, kann trotzdem die teurere Wahl sein. Nanbeige4.3-33B hat überhaupt keinen Preis pro Token: Die Gewichte sind kostenlos, kein Inferenz-Anbieter setzt es ein, und der Betrieb bedeutet ein Vier-GPU-Tensor-Parallel-Deployment, das offen gehalten wird, egal ob Anfragen eintreffen oder nicht.

Dort rechtfertigt eine Routing-Schicht ihren Platz. Qwen3.8-27B ist heute mit unserem Schlüssel erreichbar; Nanbeige nicht, und wir werden nicht so tun, als wäre es so. Sie können Qwen als Produktionspfad beibehalten und einen Teil des echten Datenverkehrs an einen selbst gehosteten Nanbeige-Endpunkt leiten, um Aufgabenabschluss und verbrauchte Tokens zu messen, statt einer Tabelle zu vertrauen. Automatisches Failover ist hier wichtig: Ein Experiment-Endpunkt, der mitten im Lauf ausfällt, sollte auf das bestehende System zurückfallen und nicht den Agenten mitreißen. Die Entscheidung hängt dann von Ihren eigenen Kosten pro abgeschlossener Aufgabe ab, der einzigen Kennzahl, die das Token-Verhalten beider Modelle ehrlich kombiniert.

Was würde das falsifizieren?

Drei Ergebnisse würden die Frage klären, und keines davon erfordert ein neues Modell.

• Ein Eintrag bei Artificial Analysis für Nanbeige4.3-33B. Wenn er nahe bei oder über 34 landet, ist die Richtung der Anbietertabelle bestätigt, und die Größenordnung wird diskussionswürdig. Wenn er deutlich darunter liegt, braucht die 18-von-20-Behauptung eine viel bessere Erklärung als die Wahl des Harness.

• Ein neutraler erneuter Durchlauf von DeepSWE und Terminal-Bench 4.0 mit beiden Modellen in ihren jeweils empfohlenen Konfigurationen. Genau dieses Experiment führt die aktuelle Tabelle nicht durch, und es zielt auf die Zeilen ab, die den Großteil von Nanbeiges Vorsprung ausmachen.

• Eine veröffentlichte Kennzahl für Tokens pro abgeschlossener Aufgabe für beide. Preise pro Token können ein dichtes 33B-Modell, das Sie selbst hosten, nicht mit einem tokenhungrigen 27B-Modell vergleichen, das Sie mieten. Die Kosten pro erledigter Aufgabe schon.

Das Urteil, das wir verteidigen würden

Nanbeige4.3-33B ist vermutlich das stärkere Long-Horizon-Agent-Modell der beiden. Die Vorsprünge bei DeepSWE, Terminal-Bench 4.0, Automation Bench und DeepPlanning sind zu groß und in der Richtung zu konsistent, um vollständig ein Artefakt des Harness zu sein, und der native 512K-Kontext passt zu diesem Bild. Qwen3.8-27B ist vermutlich das stärkere Modell für professionelle Deliverable-Qualität, wo es beide Zeilen gewinnt, die diese messen, und es ist eindeutig das nutzbarere: unabhängiger Score, gehostete API, multimodaler Input und ein Preis, den man heute in eine Tabellenkalkulation eintragen kann.

„18 von 20“ ist ein echtes Ergebnis, das als ein größeres daherkommt. Die korrekte Version ist, dass ein zwei Tage altes Modell aus einem Labor, das niemand unabhängig bewertet hat, einen klaren Vorsprung bei agentischer Ausführung behauptet, Gleichstand beim allgemeinen Schlussfolgern und ein kleines Defizit bei professioneller Ausgabe – gegen einen Gegner, der seit zehn Wochen auf dem Markt ist und von jemand anderem als seinem Hersteller gemessen wurde. Das ist eine wirklich interessante Behauptung. Es ist noch kein Grund zu wechseln.