NVIDIA Nemotron Labs Dory 1.0 4B vs. LFM2.5 2.6B Base: Der eine ist fertig, der andere bewusst nicht

NVIDIA Nemotron Labs Dory 1.0 4B und LFM2.5-2.6B-Base sind beide klein, beide reine Textmodelle, beide als GGUF herunterladbar und beide solche, die man selbst betreibt – und sie liegen an entgegengesetzten Enden der Post-Training-Pipeline. Dory kommt vollständig fertig: überwachtes Feintuning auf einem von NVIDIA kuratierten Set, dann Multi-Environment-Reinforcement-Learning mit GRPO, wobei Reasoning im Serving-Pfad dauerhaft eingeschaltet ist. LFM2.5-2.6B-Base kommt bewusst unfertig, auf der eigenen Modellkarte als vortrainierter Checkpoint beschrieben, „nur empfohlen für Aufgaben, die umfangreiches Feintuning erfordern“. Liquid AI liefert die fertige Version dieses Modells separat als LFM2.5-2.6B aus, nachtrainiert für agentische Workloads. Die ehrliche Einordnung lautet also nicht „welches Modell der 4B-Klasse besser ist“, denn ein Basis-Checkpoint und ein fertiges Reasoning-Modell konkurrieren nicht um denselben Platz in deinem Stack. Die nützliche Frage ist, für welche Hälfte der Pipeline du dich entscheidest.

Was jedes Artefakt tatsächlich ist

N​VIDIA N​emotron Labs Dory 1.0 4B ist ein dichtes 4B-Modell, das N​VIDIA auf Hugging Face in vier Quantisierungen veröffentlicht hat – BF16, MXFP8, NVFP4 und einen Q5_K_M GGUF-Export – unter der OpenMDW 1.1-Lizenz. Seine Modellkarte versieht den Build mit dem Stempel „GA (10/16/2026)“ und beschreibt eine geloopte, latent-rekurrente Architektur: einen 8-Schichten-Eingabeblock, einen 20-Schichten-Rekurrenzblock, der eine variable Anzahl von Malen angewendet wird, und einen 8-Schichten-Ausgabeblock, mit hybrid verschachteltem Sliding-Window- und Full-Attention. Der Kontext reicht bis zu 256K Token, die Sprache ist ausschließlich Englisch, und die gesamte Veröffentlichung erfolgte ohne begleitende Ankündigung von N​VIDIA. Die Modellkarte merkt an, dass das Reasoning im vLLM-Serving-Pfad immer aktiviert ist, was ebenso sehr eine Aussage über die Absicht wie über die Mechanik ist: Dies ist kein reiner Textprädiktor, der Ihr Dokument vervollständigt, sondern ein Modell, das konfiguriert ist, nachzudenken, bevor es antwortet.

LFM2.5-2.6B-Base ist der vortrainierte 2,69B-Checkpoint von Liquid AI, veröffentlicht unter der unternehmenseigenen LFM-Lizenz (gekennzeichnet als lfm1.0) und Mitte August 2026 aktualisiert. Er ist der rohe Checkpoint, von dem der Rest der 2,6B-Reihe abgeleitet ist. Die Architektur ist ein Hybrid aus 22 doppelt gegateten Kurzfaltungs-Blöcken und 8 Grouped-Query-Attention-Schichten, trainiert auf ungefähr 34 Billionen Token mit einer Kontexterweiterung im Mid-Training auf 128K, über ein Vokabular von 128.000 Token und 16 Sprachen. Die Modellkarte ist explizit in Bezug auf die Zielgruppe: domänenspezifische Assistenten, sprachspezifische Arbeit, Training mit proprietären Daten. Es gibt kein nennenswertes Chat-Template-Verhalten, da kein Instruction-Tuning darin enthalten ist.

Beide sind Text-in, Text-out. Damit enden die Gemeinsamkeiten dann auch schon ungefähr.

Die Spezifikationen im Vergleich, Seite an Seite

• Parameter — Dory 1.0 4B ist ein dichter 4B-Stack. LFM2.5-2.6B-Base hat 2,69B. Der Abstand ist kleiner, als die Namen vermuten lassen, und beide passen problemlos auf einen einzelnen Consumer-Beschleuniger bei vernünftiger Quantisierung.

Post-Training — Dory bietet SFT plus Multi-Environment-RL über Mathematik, Code, Naturwissenschaften, Instruction-Following, Tool-Nutzung und strukturierte Ausgabe. LFM2.5-2.6B-Base hat davon nichts – und das ist beabsichtigt. Wenn Sie ein Modell brauchen, das Anweisungen von Haus aus befolgt, ist eines davon die falsche Wahl – und es ist nicht das mit weniger Parametern.

• Kontext — Dory erreicht 256K Token, wobei 262.144 Positionen in vLLM unter dem von NVIDIA mitgelieferten Startbefehl validiert wurden. LFM2.5-2.6B-Base unterstützt 131.072 Token, erreicht durch eine Erweiterung während des Mid-Trainings. Dorys Fenster ist ungefähr doppelt so groß; ob Sie es sich leisten können, es zu füllen, hängt vom unten besprochenen KV-Cache-Verhalten ab.

• Sprachen — Dory ist ausschließlich auf Englisch verfügbar, wobei die Vortrainingsdaten 43 Programmiersprachen abdecken. LFM2.5-2.6B-Base umfasst 16 natürliche Sprachen, darunter Englisch, Arabisch, Chinesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Spanisch, Vietnamesisch, Thailändisch, Indonesisch, Hindi, Russisch und Polnisch. Bei allem außerhalb des Englischen entscheidet diese Dimension eigenständig darüber.

• Architektur — Hybrid aus Kurzfaltung plus Attention auf der Liquid-Seite; gelooptes latent-rekurrentes normalisiertes GPT mit verschachtelter Sliding-Window-Attention auf der NVIDIA-Seite. Beide sind Abweichungen von einem einfachen Transformer-Stack, und sie weichen in unterschiedliche Richtungen ab.

• Rechenverhalten — Dorys Tiefe ist ein Laufzeitparameter. Eine Schleifenanzahl von 1, 2 oder 4 tauscht Rechenaufwand gegen Genauigkeit, ohne einen zweiten Checkpoint, und N​VIDIA empfiehlt zwei als Standard. LFM2.5-2.6B-Base hat eine feste Tiefe; sein Kostenhebel sind die Quantisierung und, in der breiteren Familie, ein spekulativer Drafter.

• Lizenz — OpenMDW 1.1 für Dory, die LFM-Lizenz für den Liquid-Checkpoint. Beide erlauben die kommerzielle Nutzung; die Liquid-Lizenz ist die eigene des Unternehmens und kein Standard-Open-Source-Text, den man besser liest, statt ihn einfach vorauszusetzen.

• Bereitgestellte Formate — Dory: BF16, MXFP8, NVFP4, GGUF. LFM2.5-2.6B-Base: BF16-Gewichte auf dem Hub, mit GGUF-, ONNX- und MLX-Builds, die an anderer Stelle innerhalb der Familie verfügbar sind. Das Liquid-Ökosystem ist hier breiter; die Dory-Repositories sind erst wenige Stunden alt.

Fine-Tuning ist die Achse, die sie trennt.

Wenn der Grund, warum du dir LFM2.5-2.6B-Base ansiehst, der ist, dass du vorhast, darauf zu trainieren – einen Domänenassistenten, einen proprietären Korpus, eine Sprache, die das Basismodell bereits spricht –, dann ist Dory 1.0 4B aus einem Grund ein schlechter Ersatz, der nichts mit Qualität zu tun hat. Ein vollständig nachtrainiertes Reasoning-Modell für eine eng umrissene Aufgabe zu fine-tunen ist normalerweise schwieriger als das Fine-Tuning eines Basis-Checkpoints, weil man gegen das Verhalten ankämpft, das die RL-Phase eingebaut hat, statt einen unbeschriebenen Predictor zu formen. Die Liquid-Modellkarte empfiehlt ihren Basis-Checkpoint aus genau diesem Grund für domänen- und sprachspezifische Arbeit, und 34 Billionen Pre-Training-Tokens über 16 Sprachen sind ein breiterer Ausgangspunkt, als ein rein englischsprachiges Modell bietet.

Doch die Dory-Karte schweigt zum Fine-Tuning auf eine Weise, die selbst aussagekräftig ist. Sie dokumentiert die Trainingspipeline, veröffentlicht die Formate und gibt Serving-Anweisungen für zwei Engines; über Adapter, LoRA-Unterstützung oder ein Fine-Tuning-Rezept sagt sie nichts. Das ist das Profil eines Checkpoints, der veröffentlicht wurde, um bereitgestellt zu werden, nicht um darauf trainiert zu werden. Das Fehlen von Belegen als Beweis zu deuten, wäre ein Fehler, aber die Asymmetrie ist es wert, benannt zu werden: Die eine Karte wirbt um Fine-Tuner, die andere um Deployer.

Noch eine Anmerkung zur Ehrlichkeit bei Zahlen. Liquid veröffentlicht eine vollständige Evaluationstabelle für das post-trainierte LFM2.5-2.6B gegen Gemma 4 E2B und E4B sowie Qwen3.5-4B und 9B, und diese Tabelle lässt sich nicht auf den Basis-Checkpoint übertragen – ein Basismodell, das auf Benchmarks zur Anweisungsbefolgung bewertet wird, misst etwas anderes als ein post-trainiertes Modell, das auf denselben Benchmarks bewertet wird. N​VIDIA veröffentlicht eine Benchmark-Tabelle für Dory gegen Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B und Qwen3.6-35B-A3B, gemessen auf seinem eigenen Harness, ohne unabhängige Reproduktion. Es gibt kein gemeinsames Harness-Ergebnis für Dory und einen der beiden LFM-Checkpoints, und überhaupt keinen veröffentlichten direkten Vergleich.

Sie auf echter Hardware ausführen

Die Edge-Story ist der Punkt, an dem die beiden in der Praxis am stärksten auseinandergehen, und Liquid gewinnt sie eindeutig. Die LFM2.5-Familie ist für den Einsatz direkt auf Geräten gebaut – das 2,6B-Instruct-Geschwistermodell erreicht in Benchmarks 220 Tokens pro Sekunde auf einem Apple M5 Max und 113 auf einem Ryzen AI Max+ 395, bei unter 2,5 GB Speicher, wobei ein für Smartphones typischer Wert von rund 30 Tokens pro Sekunde angegeben wird. In der Familie gibt es ONNX- und MLX-Builds sowie einen spekulativen Drafter mit 328M, DSpark, von dem das Unternehmen sagt, dass er bei identischen Ausgaben eine etwa 2,6-mal schnellere Dekodierung liefert. Wenn Ihr Ziel ein Laptop, ein Mini-PC oder ein Smartphone ist, steht LFM2.5-2.6B-Base auf der richtigen Seite dieser Linie, und Dory ist offensichtlich nicht dafür ausgelegt.

Dorys Serving-Pfad ist schmaler und neuer. vLLM-Unterstützung wird in einem offenen Pull Request geprüft, und bis er gemergt wird, heißt es auf der Karte, vLLM aus diesem Branch mit einem Precompiled-Kernel-Flag zu installieren und dann mit Overrides zu servieren, die die Loop-Anzahl und den KV-Cache-Modus festlegen. Die llama.cpp-Unterstützung befindet sich in einem zweiten offenen Pull Request, mit einem gepinnten Commit und Build-Anweisungen, die auf natives ARM64-macOS auf Apple Silicon abzielen. NVIDIAs veröffentlichte Geschwindigkeitsangaben sind Quantisierungs-Beschleunigungen auf einem DGX Spark und keine Durchsatzwerte: 1,69× und 1,84× für MXFP8 gegenüber BF16, je nach Eingabe-/Ausgabe-Längenmix, 2,17× und 2,44× für NVFP4.

Das Gegengewicht – und es ist ein echtes – ist das Speicherdesign. Beim Standard-Looping wird für jede Schleife ein separater KV-Cache vorgehalten, sodass der Speicherbedarf mit jedem zusätzlichen Durchlauf steigt – was der übliche Grund dafür ist, dass rekurrente Architekturen sich nur schwer bereitstellen lassen. Dory unterstützt einen Last-Loop-KV-Caching-Modus, der pro rekurrenter Attention-Schicht einen einzigen Cache vorhält und ihn bei jedem Durchlauf überschreibt, wodurch der Speicherbedarf bei beliebiger Schleifenanzahl auf etwa der Größe einer einzelnen Schleife bleibt. NVIDIA zufolge bleibt die Genauigkeit nahe am Modus pro Schleife, bei nahezu unveränderten Ausgabelängen. Diese Behauptung ist das Wertvollste, was im Dory-Datenblatt zu überprüfen ist, denn wenn sie zutrifft, ist das 256K-Fenster bei mehr als einer Schleife bezahlbar, und wenn nicht, ist die Funktion der elastischen Tiefe weit weniger nützlich, als sie klingt.

Was ein Router hier tut und was nicht

Keines der beiden Modelle steht im OrcaRouter-Katalog. NVIDIA Nemotron Labs Dory 1.0 4B besteht nur aus Gewichten, und es gibt keinen gehosteten Endpunkt, den wir irgendwo bestätigen können, und LFM2.5-2.6B-Base ist ein Fine-Tuning-Checkpoint, den keine Plattform vernünftigerweise unverändert bereitstellen würde – sein nachtrainiertes Schwestermodell ist das, was hinter eine API gehört. Auch in unserem Katalog gibt es keine gehosteten LFM2.5-Modelle, die zutreffende Aussage ist also die langweilige: Für diesen Vergleich läuft alles auf Ihrer Hardware.

Genau dann hört eine Routing-Schicht auf, optionale Infrastruktur zu sein, und wird zum Testwerkzeug. Ein Fine-Tuning-Experiment auf einem Basis-Checkpoint und ein Serving-Experiment auf einem 4B-Modell im Loop bedeuten zwei lokale Stacks, zwei Sätze Quantisierungen, zwei Sätze Serving-Flags – und keine saubere Möglichkeit, eines davon mit den gehosteten Modellen zu vergleichen, die die tatsächliche Baseline für Ihre Anwendung sind. OrcaRouter gibt es für die zweite Hälfte: ein API-Schlüssel erreicht die gehosteten Modelle, gegen die Sie benchmarken würden zum Listenpreis des Anbieters mit 0 % Aufschlag, sodass die Kontrollgruppe weder ein eigenes SDK noch einen eigenen Vertrag benötigt. Die Routing-DSL ermöglicht es, einen selbst gehosteten Endpunkt und gehostete Endpunkte hinter einem einzigen Aufruf zusammenzufassen, und automatisches Failover hält einen langen Evaluierungslauf am Leben, wenn ein lokaler GPU-Pool ausgelastet ist. Er wird Ihnen nicht sagen, ob sich Liquids Basis-Checkpoint durch Fine-Tuning besser schlägt als NVIDIAs fertiges Modell im Serving. Er beseitigt die Einrichtungskosten, um das herauszufinden.

Zwischen ihnen wählen

Nimm LFM2.5-2.6B-Base, wenn du einen Ausgangspunkt statt einer fertigen Antwort suchst: Du hast Trainingsdaten, brauchst eine Sprache, die Dory nicht spricht, willst auf Apple Silicon oder einer NPU laufen oder möchtest den Speculative-Decoding-Weg und die ONNX- und MLX-Builds, die zur Familie gehören. Es ist das kleinere, schnellere, mehrsprachigere und stärker mit dem Ökosystem verbundene Artefakt, und es ist ehrlich darüber, dass es nicht fertig ist.

Nimm NVIDIA Nemotron Labs Dory 1.0 4B, wenn du ein ausgeliefertes Verhalten kaufst: Du willst ein fertiges Reasoning-Modell, in dem Tool-Calling- und Structured-Output-Training bereits enthalten sind, du arbeitest ausschließlich auf Englisch, dein Kontext ist lang, und du bist bereit, vLLM oder llama.cpp heute aus einem Branch zu bauen – im Austausch gegen einen Compute-Regler, den dir kein herkömmliches dichtes Modell bietet. Akzeptiere, dass du einer der ersten Menschen außerhalb von NVIDIA sein wirst, der es ausführt, dass jede Zahl auf seinem Datenblatt eine Herstellerangabe ist und dass die Behauptung zum KV-Cache der letzten Schleife – das eine Merkmal, das das gesamte Design praktikabel macht – nicht verifiziert ist.

Der Vergleich, der tatsächlich aufschlussreich wäre, ist Dory 1.0 4B gegen das nachtrainierte LFM2.5-2.6B, und niemand hat ihn veröffentlicht. Wenn das 2,6B-Instruct-Modell von Liquid und NVIDIAs Elastic-Depth-4B auf Ihrer Workload nur wenige Punkte auseinanderliegen, dann werden der Speicherunterschied zwischen 2,69B und 4B sowie die Reifegradlücke zum entscheidenden Faktor, nicht die Architektur. Das ist das Experiment, das es wert ist, durchgeführt zu werden, und es ist billiger durchzuführen als letzte Woche.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.