NVIDIA Nemotron Labs Dory 1.0 4B vs. Qwen 3.8: Das Open-Weight-4B gegen Alibabas dreistufige Produktlinie

Der Vergleich von N​VIDIA N​emotron Labs Dory 1.0 4B mit „Qwen 3.8" ist kein Kräftemessen — es ist ein Missverhältnis auf eine ganz bestimmte und lehrreiche Weise. Qwen 3.8 ist nicht ein Modell; am Open-Weight-Ende ist es Qwen3.8-27B, ein dichtes multimodales 27B-Modell unter Apache 2.0 mit einem 256K-Fenster, und darüber hinaus ist es Qwen3.8-Flash und Qwen3.8-Max, beide größer, beide nur über die API von A​libaba angeboten. Dory ist ein einzelner 4B-Checkpoint, nur Text, nur Englisch, von N​VIDIA, veröffentlicht auf Hugging Face in vier Quantisierungen unter der OpenMDW 1.1-Lizenz, mit dem Stempel „GA (10/16/2026)" auf der Modellkarte und ohne Ankündigung dahinter. Die eigentliche Frage ist also nicht, ob ein 4B ein 27B schlagen kann. Sie ist, ob ein 4B mit elastischer Tiefe, das Sie selbst hosten, ein billigerer Weg ist, die Aufgabenklasse zu erreichen, die Sie sonst von der Qwen3.8-Linie mieten würden — und die beiden entscheidungsrelevantesten Fakten sind, dass Qwen3.8-27B Open-Weights ist, sodass beide Modelle auf Ihrer Hardware laufen, und dass Dorys eigene Modellkarte überhaupt nicht gegen ein Qwen3.8-Modell benchmarkt.

Was wird eigentlich verglichen?

Beginne mit der Q​wen-Seite, denn „Q​wen 3.8“ fasst drei verschiedene Aussagen zusammen.

Qwen3.8-27B ist Alibabas offenes dichtes Vision-Sprachmodell mit offenen Gewichten, Apache 2.0, 27B Parameter, 64 Schichten, 5.120 versteckter Dimension und einem nativen Kontext von 262.144 Token, der laut Modellkarte bis auf eine Million erweiterbar ist. Es akzeptiert Text, Bilder und Video und gibt Text zurück, verwendet über 16 wiederholte Blöcke hinweg ein hybrides Layout aus Gated DeltaNet und Gated Attention und wird im Transformers-Format mit Unterstützung für vLLM, SGLang und TokenSpeed ausgeliefert. Es meldet 90,3 auf LiveCodeBench v6, 89,2 auf GPQA Diamond, 79,5 auf IFBench und 73,0 auf Terminal-Bench 2.1, inmitten einer langen Liste agentischer und Vision-Ergebnisse. Es ist seit Mitte August 2026 öffentlich und wurde mehrere Millionen Mal heruntergeladen.

Qwen3.8-Flash und Qwen3.8-Max sind die gehosteten Stufen. Flash ist das kostenoptimierte multimodale Modell mit einem Kontext von einer Million Token; Max ist Alibabas Flaggschiff, ebenfalls eine Million Token, positioniert gegen die stärksten proprietären Modelle. Keines von beiden hat offene Gewichte. Sie erreicht man über eine API.

NVIDIA Nemotron Labs Dory 1.0 4B ist das 4B. Dicht, geloopt, latent-rekurrent — ein 8-schichtiger Eingabeblock, ein 20-schichtiger rekurrenter Block, der eine variable Anzahl von Malen angewendet wird, ein 8-schichtiger Ausgabeblock — mit hybrider, verschachtelter Sliding-Window- und Full-Attention. Text rein, Text raus, nur Englisch, 256K Kontext. Vortrainiert auf 6 Billionen Tokens, die ersten ~4,5 Billionen davon nativ in NVFP4, plus eine Kontexterweiterung um 300 Milliarden Tokens, dann SFT und Multi-Umgebungs-GRPO. Es gibt keinen gehosteten Endpunkt dafür, den wir verifizieren können.

Ein Punkt, den man richtig verstehen muss, weil er viele Leute stolpern lässt: NVIDIA liefert Dory in BF16, MXFP8, NVFP4 und Q5_K_M GGUF aus. Die kanonische Repository-ID ist die MXFP8-Variante, aber die Benchmarks in der Modellkarte wurden mit BF16 gemessen. MXFP8 ist eine Quantisierung derselben Gewichte, kein anderes Modell.

Der Spec-Kontrast

• Parameter — Dory 1.0 4B ist 4B dense, mit einem wiederkehrenden Block, der wiederholt angewendet wird, sodass die effektive Rechenleistung pro Token bei vier Schleifen die Parameteranzahl übersteigt. Qwen3.8-27B ist 27B dense mit einem Vision-Tower. Sie sind nicht in derselben Gewichtsklasse, und nur eines von ihnen passt in ein speicherarmes Deployment.

• Modalität — Qwen3.8-27B verarbeitet Bilder und Videos sowie Text. Dory verarbeitet Text. Jede Workload, die ein Bild enthält, endet hier.

• Kontext — beide werben mit 256K. Qwen3.8-27B gibt in seinem Datenblatt native 262.144 Positionen an, erweiterbar auf rund eine Million; Dorys Datenblatt nennt bis zu 256K, wobei 262.144 in vLLM unter dem mitgelieferten Startbefehl validiert wurden. Qwen3.8-Flash und Max erreichen beide direkt eine Million Token.

• Lizenz — Apache 2.0 für Qwen3.8-27B, OpenMDW 1.1 für Dory. Beide sind kommerziell nutzbar; Apache 2.0 ist der bekanntere Text.

• Sprachen — Qwen3.8-27B ist von seiner Abstammung her mehrsprachig; Dory ist ausschließlich englischsprachig, mit 43 Programmiersprachen in seiner Pre-Training-Mischung.

• Rechenverhalten — dies ist die einzige Zeile, in der Dory etwas bietet, was Qwen3.8-27B strukturell nicht bieten kann. Dorys Tiefe ist ein Serving-Time-Parameter: eine Schleife für Latenz, zwei als von NVIDIA empfohlener Standard, vier, wenn agentische Genauigkeit wichtiger ist – alles aus einem einzigen Checkpoint, mit einem Last-Loop-KV-Caching-Modus, der den Cache-Speicher unabhängig von der Schleifenanzahl ungefähr auf der Größe einer einzelnen Schleife halten soll. Qwen3.8-27B hat eine feste Tiefe; seine Hebel sind Quantisierung und Hardware.

• Formate — Dory liefert vier Quantisierungen, darunter ein GGUF für llama.cpp. Qwen3.8-27B hat ein separates FP8-Repo und ein sehr großes, daraus abgeleitetes Ökosystem an Quantisierungen und Finetunes — das bekommt man für mehrere Millionen Downloads.

Die Benchmark-Frage, die N​VIDIAs eigene Tabelle umgeht

Hier ist das unangenehme Detail. N​VIDIAs Benchmark-Tabelle für Dory vergleicht es mit Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B und Qwen3.6-35B-A3B. Sie nutzt die beiden vorangegangenen Q​wen-Generationen und greift nie auf Qwen3.8 zurück. Für ein 4B-Modell ist das eine vertretbare Wahl – Qwen3.8-27B ist fast siebenmal so groß –, doch bedeutet es, dass der Hersteller überhaupt keinen veröffentlichten direkten Vergleich mit der aktuellen Q​wen-Generation hat, weder in die eine noch in die andere Richtung. A​libabas Qwen3.8-27B-Karte wiederum vergleicht sich mit der proprietären Frontier, nicht mit einem 4B-Modell.

Was Dorys Karte im Vergleich zu ihren älteren Vergleichsmodellen tatsächlich veröffentlicht, ist ehrlich darüber, wo sich Looping lohnt. Betrachten Sie ihre drei Loop-Einstellungen im Vergleich zu Qwen3.5-4B und Qwen3.5-9B:

• SWE-bench Verified — 50,3 / 59,5 / 61,8 gegenüber 54,7 und 61,0. Bei vier Loops schlägt Dory nominell das 9B-Qwen in dieser Zeile.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 gegenüber 15 und 24. Es verliert gegen beide, einschließlich des 4B.

• τ³-bench (Banking) — 11,6 / 12,89 / 14,69 gegenüber 5,03 und 7,22. Dory verdoppelt den Wert des 4B Qwen um mehr als das Doppelte und den des 9B in etwa.

• GPQA Diamond, ohne Tools — 69,19 / 72,41 / 72,16 gegen 77,71 und 80,93. Es verliert gegen beide.

• IFBench — 74,29 / 77,94 / 79 gegenüber 53,83 und 59. Ein großer Erfolg bei der Befolgung von Anweisungen.

• AA-LCR — 63 / 71 / 73 gegenüber 64,7 und 68,4. Langkontext-Retrieval verbessert sich mit Schleifen deutlich und liegt am Ende vorn.

• AA-Omniscience — 10.03 / 10.08 / 10.03 gegenüber 15.02 und 18.05. Das gespeicherte Wissen ändert sich kaum mit der Schleifenanzahl, was die Plausibilitätsprüfung ist, die der Rest der Tabelle besteht.

Jede einzelne dieser Zahlen stammt von N​VIDIA, gemessen auf N​VIDIAs Prüfstand, mit offengelegten Wiederholungszahlen — SciCode acht Durchläufe, AA-LCR sechzehn, mehrere Benchmarks genau einmal — und die Karte bezeichnet ihre Artificial-Analysis-förmigen Werte als „interne Schätzungen“, die von offiziellen abweichen können. Nichts davon wird reproduziert.

Jetzt stell Qwen3.8-27Bs Karte daneben. Seine gemeldeten 89,2 auf GPQA Diamond, 79,5 auf IFBench und 73,0 auf Terminal-Bench 2.1 liegen alle über Dorys besten Werten auf denselben Benchmarks, was genau das ist, was man von einem Modell erwarten würde, das siebenmal so groß ist und eine um zwei Generationen neuere Trainingspipeline hat. Es gibt kein Szenario, in dem ein 4B ein gut umgesetztes 27B bei einem Wissens- oder Reasoning-Benchmark schlägt, und Dory erhebt keinen solchen Anspruch. Was Dory behauptet, ist etwas anderes: dass es mit 4B ungefähr agentisches Verhalten der 9B-Klasse erreicht und dass man selbst wählen kann, wie viel Compute man für diese Größenordnung aufwenden möchte.

Deployment: Die Lücke ist nicht klein, und es geht nicht um Qualität

Qwen3.8-27B ist ein ganz normaler Open-Weight-Release. Transformers-Format, gelistete Unterstützung für vLLM, SGLang und TokenSpeed, ein FP8-Geschwisterchen und ein Ökosystem, das seit August weit über tausend Quantisierungen und hunderte Finetunes hervorgebracht hat. Wenn dein Stack moderne Open-Weight-Modelle ausführt, führt er auch dieses aus, und die einzige echte Einschränkung ist der Speicher — 27B dense in BF16 ist kein Modell für kleine Maschinen, aber genau dafür gibt es die quantisierten Varianten.

Dory ist das Gegenteil. Die vLLM-Unterstützung wird in einem offenen Pull Request geprüft; bis er zusammengeführt wird, sagt NVIDIA, Sie sollen vLLM aus diesem Branch mit dem Flag für vorkompilierte Kernel installieren und dann mit Overrides starten, die die Anzahl der rekurrenten Schleifendurchläufe und den KV-Cache-Modus konfigurieren. Die llama.cpp-Unterstützung befindet sich in einem zweiten offenen Pull Request mit einem gepinnten Commit und Build-Anweisungen für ARM64 macOS. Es gibt keinen gehosteten Endpunkt für Dory, den wir verifizieren können, und die Download-Zähler aller vier Repositories standen bei null, als dies geschrieben wurde. Veröffentlichte Geschwindigkeitszahlen beschränken sich auf Quantisierungsbeschleunigungen auf einem DGX Spark – 1,69× und 1,84× für MXFP8 gegenüber BF16, 2,17× und 2,44× für NVFP4, je nach Eingabe-/Ausgabelängen-Mix – nicht auf den Durchsatz.

Demgegenüber ist die Speicherangabe in Dorys Karte der eine technische Kniff, der die Unannehmlichkeit rechtfertigen könnte. Beim standardmäßigen rekurrenten Looping wird pro Schleife ein separater KV-Cache gespeichert, sodass der Speicherbedarf mit jedem Durchlauf wächst. Dorys Last-Loop-KV-Caching-Modus hält einen Cache pro rekurrenter Attention-Schicht vor und überschreibt ihn bei jedem Durchlauf, wodurch der Speicherbedarf bei beliebiger Loop-Anzahl ungefähr auf der Ein-Loop-Größe bleibt – mit einer Genauigkeit, die laut N​VIDIA nahe am Per-Loop-Modus bleibt. Wenn das einer Messung durch Dritte standhält, wird ein 4B-Modell mit 256K-Fenster und vier Loops auf Hardware praktikabel, die sich das sonst nicht leisten könnte. Niemand außerhalb von N​VIDIA hat das überprüft.

Wo OrcaRouter in diesem Vergleich tatsächlich steht

Dies ist der seltene Vergleich, bei dem wir konkret werden können, weil die beiden Seiten hier auf unterschiedlicher Grundlage stehen. Die Q​wen-Seite befindet sich in unserem Katalog: qwen/qwen3.8-27b ist selbst gehostet auf OrcaRouters eigener Infrastruktur, und qwen/qwen3.8-flash und qwen/qwen3.8-max sind als gehostete Endpunkte erreichbar, alle über einen einzigen API-Schlüssel zum Listenpreis des Anbieters mit 0 % Aufschlag. Die N​VIDIA-Seite ist es nicht — N​VIDIA N​emotron Labs Dory 1.0 4B ist nicht im Katalog und hat, soweit wir es bestätigen können, nirgendwo einen gehosteten Endpunkt.

Diese Asymmetrie ist wirklich nützlich und nicht etwa ungeschickt. Das Argument für ein kleines selbst gehostetes Modell ist ein Kostenargument, und ein Kostenargument braucht den Mietpreis, gegen den es argumentiert. Die drei Qwen3.8-Stufen sind sehr unterschiedlich bepreist — 27B mit 0,33 $ pro Million Input-Tokens und 2,40 $ pro Million Output, Flash mit 0,15 $ und 0,47 $, Max mit 2,00 $ und 6,00 $ — die ehrliche Version von „Kann ein 4B das ersetzen?" hat also drei verschiedene Antworten, je nachdem, welche Stufe Sie heute tatsächlich nutzen. Ein einziger OrcaRouter-Schlüssel erreicht alle drei, für die Kalkulation dieser Frage braucht es also keine drei Konten. Weil wir die Listenpreise der Anbieter ohne Aufschlag weitergeben, schlägt eine Qwen-Preisänderung hier noch am selben Tag durch. Und wenn Sie sich tatsächlich für eine Stufe entscheiden, sorgen automatisches Failover über Anbieter hinweg und die Routing-DSL — mit der Sie Modelle hinter einem einzigen Aufruf kombinieren können — dafür, dass der Wechsel von einem gehosteten Qwen zu einem selbst gehosteten Dory oder zurück eine Konfigurationsänderung an einer einzigen Aufrufstelle ist und kein Refactoring. Wir stellen Dory nicht bereit; wir sind der günstige Weg, zu messen, was es ersetzen würde.

Das Urteil

Wenn deine Arbeitslast multimodal, mehrsprachig oder wissensintensiv ist – alles, bei dem das Modell Dinge wissen muss, statt sie zu tun –, ist Qwen3.8-27B die Antwort mit offenen Gewichten, und der Vergleich ist nicht ausgeglichen. Es ist siebenmal so groß, zwei Generationen neuer, wird von einem großen Derivat-Ökosystem gestützt, läuft auf Engines, die es bereits unterstützen, und seine eigene Model Card nennt Zahlen, an die Dory bei GPQA- oder Instruction-Benchmarks nicht heranreicht. Miete stattdessen Flash oder Max, wenn du ein 27B-Modell lieber gar nicht selbst hosten möchtest.

Dory 1.0 4B ist eine Wette auf einer anderen Achse. Die Reibung, aus einem Branch zu bauen, ist nur dann lohnenswert, wenn drei Dinge auf dich zutreffen: Die Aufgabe ist text-only und English-only, sie ist agentisch statt wissensgetrieben, und du würdest tatsächlich einen Compute-Regler nutzen — einen Loop unter Last und vier, wenn Genauigkeit zählt, von einem einzigen Checkpoint aus, ohne einen zweiten Download. Die Model Card behauptet, dass diese Wette sich bei τ³-Bench und Instruction-Following mit 4B auszahlt, und sie legt genug darüber offen, wie diese Zahlen zustande kamen, damit du sie angemessen relativieren kannst.

Was die Sache klären würde, ist der Test, den noch niemand durchgeführt hat: Dory 1.0 4B gegen Qwen3.8-27B auf einem gemeinsamen Harness, bei derselben Quantisierung, auf einem agentischen Aufgabensatz. N​VIDIAs Tabelle überspringt die aktuelle Q​wen-Generation vollständig, und A​libabas Tabelle blickt nicht eine Gewichtsklasse tiefer. Bis jemand diesen Vergleich veröffentlicht, ist die zutreffende Position, dass eines dieser Modelle ein bewährtes, unterstütztes, weit verbreitetes 27B-Modell ist und das andere ein 4B-Repository, das über Nacht auftauchte und in dem eine interessante Idee steckt — und die einzige Person, die sagen kann, ob die Idee es wert ist, gebaut zu werden, bist du, anhand deines Aufgabensatzes.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.