d1-2B vs. Liquid AI d1-3B: Das kleinere Modell gewinnt das Board und verliert das Deployment

Vier Fragen entscheiden über diesen Vergleich, und keine davon lautet „Welches Modell ist besser“. Beinhaltet der State Video? Überschreitet er 32K Tokens? Müssen Sie ihn unter llama.cpp ausführen? Können Sie es sich leisten, die erste Person zu sein, die ihn testet? d1-2B ist Liquid AIs Entscheidungsmodell mit 1,92B Parametern, aufgebaut auf LFM3-VL-2B, und erzielte 51,1 in der Decision-Index-Tabelle des Anbieters. Liquid AI d1-3B ist das am 7. Oktober veröffentlichte Modell mit 3,12B Parametern, aufgebaut auf LFM2.5-VL-3B, und erzielte 49,0 in derselben Tabelle. Das neuere, kleinere Modell liegt im Durchschnitt vorn. Dennoch verliert es drei der Zeilen, auf die es bei einem Deployment tatsächlich ankommt, und es ist von den beiden dasjenige ohne llama.cpp-Pfad und ohne unabhängiges Testergebnis. Diese Seite ist um diese vier Fragen herum organisiert und nicht um das Leaderboard, denn das Leaderboard beantwortet keine davon.

Die kurze Antwort, nach Workload

• Reine Text-Triage bei hohem Volumen — d1-2B, dank 1.132 Entscheidungen pro Sekunde für 64 gebatchte Zustände und 3,84 GB Gewichte. Der Vorteil des 3B bei Typed Decisions ist irrelevant, wenn die Ausgabe ein Label ist.

• Das Lesen von Diagrammen und Grafiken — Liquid AI d1-3B. Es gewinnt bei AI2D mit 79,9 zu 76,7 und ist das Modell, hinter dem ein unabhängiger Lauf steht.

• Lange Dokumente, lange Formulare, lange Anrufprotokolle — d1-2B. Sein Fenster umfasst 128K Tokens gegenüber 32.768, und das Datenblatt ist ehrlich genug zu sagen, dass die Zuverlässigkeit ab etwa 64K nachlässt, was immer noch die doppelte Gesamtkapazität des 3B bedeutet.

• Edge-Boxen mit llama.cpp — Liquid AI d1-3B, eher standardmäßig als aufgrund von Verdiensten. Es hat ein GGUF-Repository und einen quantisierten Weight-Activation-Build; d1-2B hat beides nicht.

• Alles, bei dem eine Fehlentscheidung teuer und ungetestet ist — keines von beiden, bis Sie beide mit Ihren eigenen Daten getestet haben. Nur eines von beiden wurde überhaupt von einem Dritten getestet.

Gleiche Familie, eine Generation Unterschied

Die beiden Modelle sind keine Geschwister im Sinne der Namen. Liquid AI d1-3B stammt von LFM2.5-VL-3B ab, das wiederum von LFM2.5-2.6B-Base abstammt, und verfügt über einen 400M-SigLIP2-NaFlex-Vision-Encoder. d1-2B stammt von LFM3-VL-2B aus der nächsten Familie ab und basiert auf einem Backbone aus 24 Schichten, die sich zwischen 13 gated Short Convolutions, 5 Sliding-Window-Attention-Schichten und 6 globalen Attention-Schichten aufteilen. Diese Generationslücke ist der Ursprung der Benchmark-Inversion: Die neuere Architektur leistet mehr pro Parameter, sodass der kleinere Checkpoint den größeren in den meisten Zeilen übertreffen kann.

• Parameter — 1,92B für d1-2B vs. 3,12B für Liquid AI d1-3B.

• Download — 3,84 GB vs. 6,25 GB an BF16-Safetensors, beide als Einzeldatei.

• Kontext — 128K Token vs. 32.768.

• Vokabular — 128.000 Token im Vergleich zum LFM2.5-Vokabular.

• Eingaben — Text oder JSON, Bilder oder Video, plus benannte Fragen, für d1-2B; Text oder JSON plus Bilder für das 3B-Modell. Video ist der klarste Fähigkeitsunterschied zwischen ihnen.

• Sprachen — jeweils sechzehn, dieselbe Auswahl.

• Lizenz — LFM Open License v1.0 für beide, wobei die kommerzielle Nutzung davon abhängt, unter 10.000.000 US-Dollar Jahresumsatz zu bleiben. Es gibt keinen Lizenzierungsgrund, eines von beiden zu bevorzugen.

• Veröffentlichung — Die Gewichte von d1-3B wurden am 5. Oktober hochgeladen und am 7. Oktober angekündigt. Das Repository von d1-2B wurde am 24. Oktober erstellt und hatte nie einen eigenen Beitrag; der einzige Satz des Anbieters, der es erwähnt, steht im LFM3-Launch vom 27. Oktober.

Ein Detail in der Dokumentation sollte eher als Signal denn als Tatsache gelesen werden: Die Dokumentationsseite für Entscheidungsmodelle von Liquid AI listet jetzt d1-2B, d1-omni-2B, d1-omni-600M, d1.1 und d1-ultra auf. d1-3B wird dort nicht mehr aufgeführt. Das 3B-Modell wurde nicht eingestellt – sein Repo sowie seine GGUF- und MLX-Builds sind alle verfügbar –, doch im eigenen Index des Anbieters ist der Platz für offene Gewichte nun auf das 2B-Modell übergegangen.

Die Anzeigetafel, Zeile für Zeile gelesen

Alle unten aufgeführten Zahlen stammen aus der Benchmark-Tabelle auf der Modellkarte von d1-2B, die vier offene d1-Modelle anhand derselben Items mit demselben Scorer bewertet. Das ist wichtig, weil die eigene Karte von Liquid AI d1-3B 48.57 für Decision Index 0.2.1 ausweist, während diese Tabelle 49.0 für Version 0.3 meldet; die Differenz liegt an der Index-Ausgabe, nicht an einer Modelländerung, und die Karte sagt das in einer Anmerkung. Die beiden Karten direkt zu vergleichen – 48.57 gegen 51.1 – würde bedeuten, Werte aus zwei verschiedenen Tests voneinander abzuziehen. Ein Vergleich innerhalb dieser Tabelle ist zulässig, und genau das tut der Rest dieses Abschnitts.

• Decision Index – öffentliche Suite v0.3 — 51,1 gegenüber 49,0.

• DecisionBench (Hanno Labs) v1 — 77,1 vs. 73,1.

• Decision Bench (decisionbench.ai) v4 — 85,2 gegenüber 83,6.

• JevBench v1.4.1 — 77,9 vs. 76,2.

• ImajevBench v2.0-lite — 75,5 vs. 64,0, die größte Lücke auf der Entscheidungsseite.

• WorkflowEvals — 81,6 gegenüber 74,4.

• Internes Board von Liquid AI — 63,2 vs. 58,8.

• Vision-Durchschnitt — 70,2 vs. 65,4 über achtzehn Benchmarks.

Jede benannte Entscheidungs-Suite in dieser Tabelle geht an das 2B-Modell, und genau das meint der LFM3-Launch-Post, wenn er d1-2B als Ersatz für d1-3B „mit einem Drittel weniger Parametern" und höheren Werten „in allen vier Entscheidungs-Suites" bezeichnet. Die Aussage ist so formuliert korrekt – und enger gefasst als „schlägt das 3B", weshalb der nächste Absatz existiert. Dann die drei Zeilen, die in die andere Richtung gehen. Fast Decisions liegt bei 58,8 für d1-2B gegenüber 59,3 für das 3B. Typed Decisions liegt bei 61,3 gegenüber 65,0. AI2D liegt bei 76,7 gegenüber 79,9. Keine dieser Lücken ist groß, und zwei der drei liegen innerhalb eines Punktes, aber es sind die Zeilen, in denen die zusätzlichen 1,2B Parameter noch etwas Messbares bringen: geschwindigkeitsorientierte Entscheidungen, typisierte Extraktion und Diagrammlesen. Wenn die Aufgaben Ihrer Pipeline die typisierte Extraktion aus Formularen sind, ist das 3B nicht die veraltete Option, die die Docs-Seite impliziert.

Latenz: Die beiden zentralen Zahlen sind nicht vergleichbar

Liquid AI nennt 5,7 ms pro Entscheidung für d1-2B und 8 ms für Liquid AI d1-3B, und das sind nicht dieselben Messungen. Der 2B-Wert bezieht sich auf eine H100 PCIe; der 3B-Wert auf eine RTX 4090. Eine Lücke von 2,3 ms zwischen zwei verschiedenen GPUs sagt nichts darüber aus, welches Modell auf Ihrer Hardware schneller ist, und sie als Vergleich zu wiederholen wäre genau die Art von Zahlenwäsche, die dieser Blog vermeiden will.

Es gibt eine Maschine, die beide Karten nennen. Auf einem Apple M5 Pro braucht d1-2B 18,6 ms pro Frage und das 3B 30 ms — eine Reduktion um 38 % auf identischem Silizium. Das ist der ehrliche Geschwindigkeitsvergleich, und er weist in dieselbe Richtung, die auch der Größenunterschied nahelegt. Beim Batching schafft d1-2B 1.132 Entscheidungen pro Sekunde auf einer H100 PCIe und 1.699 pro Sekunde auf einer MI325X mit 64 Zuständen in einem Aufruf; die Karte des 3B nennt 475 pro Sekunde auf einer RTX 4090 und 1.106 pro Sekunde auf einer MI325X. Die MI325X-Zeile ist die, die beide Karten gemeinsam haben, und dort liegt das 2B um rund 54 % vorn.

Der einzige existierende unabhängige Test führte das 3B aus.

Mitte Oktober ließ Efraín Garay acht Entscheidungsmodelle gegen Decision Index 0.3 und drei Aufgaben mit realen Daten laufen und veröffentlichte die Ergebnisse samt Code. Zwei Erkenntnisse sind für diesen Vergleich von Belang.

Das erste ist beruhigend für das Scoreboard. Er hat die öffentliche Suite aus ihrem Kit neu aufgebaut, geprüft, dass die heruntergeladenen Dateien mit den offiziellen übereinstimmten, eine Stichprobe von 6.000 Anfragen gezogen und Liquid AI d1-3B mit 49,11 bewertet — gegenüber Liquids eigenen 49,04 auf denselben Zeilen und 48,99 auf der vollständigen Suite. Das ist der stärkste verfügbare Beleg dafür, dass die v0.3-Zahlen in der obigen Tabelle korrekt berechnet werden. Es ist ein Beleg für das 3B, nicht für d1-2B, das er nicht getestet hat.

Der zweite Punkt ist eine Warnung davor, was ein Index misst. In einer synthetischen Kartenbetrugs-Bank mit 10.000 Zahlungen erzielte Liquid AI d1-3B eine AUC von 0,314 – schlechter als der Zufall, da es Anomalien als weniger verdächtig einstufte als normale Zahlungen, weil Serien aufeinanderfolgender Zahlungen bei einer medianen Wahrscheinlichkeit von 0,41 landeten gegenüber 0,56 bei einer normalen Zahlung. Das Modell belegte im öffentlichen Index den zweiten Platz und bei dieser Aufgabe den letzten. Die Lehre lässt sich direkt übertragen: Die 51,1 von d1-2B sind ein Wert in einer allgemeinen Entscheidungssuite, und niemand hat gezeigt, dass er die Leistung bei Ihrer spezifischen Entscheidung vorhersagt. Der Anbieter sagt genau das in seiner eigenen Model Card, in der Anweisung, Schwellenwerte anhand Ihrer eigenen Daten zu kalibrieren.

Was Sie heute tatsächlich ausführen können

Hier ist der Vergleich nicht mehr knapp. {{1}}Liquid AI d1-3B{{/1}} verfügt seit {{3}}6. Oktober{{/3}} über ein {{2}}GGUF-Repository{{/2}}, seit {{5}}7. Oktober{{/5}} über einen {{4}}8-Bit-Gewicht-Aktivierungs-Build{{/4}} und seit {{7}}12. Oktober{{/7}} über {{6}}vier MLX-Varianten{{/6}}. {{8}}d1-2B{{/8}} bekam am {{11}}27. Oktober{{/11}} {{9}}drei MLX-Builds{{/9}} und einen {{10}}ONNX-Export{{/10}} – und sonst nichts. Es gibt kein {{12}}d1-2B-GGUF{{/12}}, keine Quantisierung über {{13}}MLX' 4-Bit und 8-Bit{{/13}} hinaus und daher keinen veröffentlichten {{14}}llama.cpp-Pfad{{/14}} für den Decision Head – obwohl das Basismodell {{15}}LFM3-VL-2B{{/15}} seit {{17}}19. Oktober{{/17}} sein eigenes {{16}}GGUF{{/16}} hat.

Bei einem Transformers-Deployment verschwindet der Unterschied: Beide laden mit trust_remote_code=True und stellen dieselben system_one und system_one_batch Aufrufe bereit. Bei einem Edge-Deployment ist das nicht der Fall. Wenn Ihr Stack llama.cpp auf einem Jetson oder einem Smartphone ist, ist das 3B das einzige der beiden, das Sie ohne das Schreiben einer Runtime-Integration ausführen können, und seine veröffentlichten Edge-Werte – 16 ms auf Jetson AGX Thor, 26 ms auf AGX Orin 64GB, 50 ms auf Orin Nano – sind die, mit denen Sie planen können.

Keines der beiden Modelle wird von OrcaRouter bereitgestellt, daher ist die Wahl zwischen ihnen in jedem Fall eine Entscheidung fürs Self-Hosting. Ein Router verdient seinen Platz eine Ebene weiter außen: Entscheidungsmodelle laufen selten allein, und der generative Schritt, der auf ein Routing-Label reagiert, kommt üblicherweise von einem gehosteten Modell. Ein OpenAI-kompatibler Schlüssel für über 200 Modelle, eine Routing-DSL, mit der Sie diese Schritte zu einem einzigen Aufruf zusammenfassen können, und automatisches Failover sorgen dafür, dass diese Hälfte der Pipeline nicht zu einem zweiten Integrationsprojekt wird, während der Entscheidungsknoten auf Ihrer eigenen Hardware bleibt.

Wenn Sie migrieren, ändern sich drei Dinge

Die API-Oberfläche ist so nah, dass eine Portierung trivial wirkt – und es nicht ist. Zuerst der Eingabevertrag: d1-3B nimmt Bilder; d1-2B nimmt eine Medienliste, die Video enthalten kann, und seine Karte beschreibt die Medien als einmal für alle Fragen eines Aufrufs kodiert. Code, der ein einzelnes Bild übergibt, läuft, nutzt aber nicht, wofür das Modell gebaut wurde.

Zweitens die Schwelle. Beide Modelle liefern Wahrscheinlichkeiten, und beide benötigen eine auf Ihren Daten angepasste Entscheidungsschwelle. Eine Schwelle, die auf die Kalibrierung von d1-3B abgestimmt wurde, lässt sich nicht übertragen – die Kalibrierungstabellen werden in jedem Repo separat mitgeliefert und separat angepasst –, sodass eine Migration, die den alten Grenzwert beibehält, einen anderen Arbeitspunkt und in einem Moderations- oder Betrugspfad ein anderes Fehlerprofil erzeugt.

Drittens die Zuverlässigkeitsklippe. Das 128K-Fenster ist das Aushängeschild; laut Karte werden Antworten ab etwa 64K Tokens Zustand weniger zuverlässig. Beim 3B liegt die Obergrenze bei 32.768, daher wird eine Migration auf d1-2B meist ein reiner Kapazitätsgewinn sein — aber eine Pipeline, die nun 100K-Token-Zustände einspeist, weil sie es jetzt kann, testet den Teil des Bereichs, den der Anbieter als schwächer gekennzeichnet hat.

Das Urteil ist weniger symmetrisch als die Anzeigetafel. Für eine Neuentwicklung in Transformers – bei Text, Bildern oder Video und mit Zuständen, die lange laufen können – ist d1-2B die bessere Standardwahl und die günstigere im Betrieb. Für einen Edge-Einsatz unter llama.cpp, für typisierte Extraktion oder für diagrammlastige Vision ist Liquid AI d1-3B weiterhin das Modell der Wahl – und es ist das einzige der beiden, hinter dem irgendeine externe Evidenz steht. Das Einzige, was man nicht tun sollte, ist, allein anhand der 51,1-gegen-49,0-Zeile zu entscheiden. Zwei Punkte auf dem Index eines Anbieters zwischen zwei Modellen, die niemand auf Ihrer Aufgabe laufen lassen hat, sind keine Entscheidung; sie sind ein Stichentscheid.