d1-2B vs Liquid AI d1-3B: Het kleinere model wint het leaderboard en verliest de deployment

Vier vragen bepalen deze vergelijking, en geen enkele ervan is "welk model beter is." Bevat de state video? Overschrijdt het 32K tokens? Moet je het onder llama.cpp draaien? Kun je het je veroorloven om de eerste te zijn die het test? d1-2B is het 1,92B-beslissingsmodel van Liquid AI, gebouwd op LFM3-VL-2B en behaalde 51,1 op de Decision Index-tabel van de leverancier. Liquid AI d1-3B is het 3,12B-model dat op 7 oktober is uitgebracht, gebouwd op LFM2.5-VL-3B en behaalde 49,0 in diezelfde tabel. Het nieuwere, kleinere model staat gemiddeld voorop. Het verliest nog steeds drie van de rijen waar een deployment daadwerkelijk op draait, en van de twee is het degene die geen llama.cpp-pad en geen onafhankelijk testresultaat heeft. Deze pagina is georganiseerd rond die vier vragen in plaats van rond het leaderboard, omdat het leaderboard geen enkele daarvan beantwoordt.

Het korte antwoord, per workload

• Alleen-tekst-triage voor grote volumes — d1-2B, dankzij 1.132 beslissingen per seconde voor 64 gebatchte toestanden en 3,84 GB aan gewichten. Het voordeel van de 3B bij Typed Decisions is irrelevant wanneer de uitvoer een label is.

• Diagrammen en grafieken lezen — Liquid AI d1-3B. Het wint AI2D met 79,9 tegen 76,7, en het is het model met een onafhankelijke run erachter.

• Lange documenten, lange formulieren, lange transcripties van gesprekken — d1-2B. Het venster is 128K tokens tegenover 32.768, en op de kaart staat eerlijk dat de betrouwbaarheid na ongeveer 64K afneemt, waardoor er nog steeds twee keer zoveel overblijft als de totale capaciteit van de 3B.

• Edge-boxen met llama.cpp — Liquid AI d1-3B, eerder standaard dan op verdienste. Het heeft een GGUF-repository en een gekwantiseerde weight-activation-build; d1-2B heeft geen van beide.

• Alles waarbij een verkeerde beslissing duur en ongetest is — geen van beide, totdat je ze beide op je eigen data hebt gedraaid. Slechts één ervan is zelfs maar door een derde partij uitgevoerd.

Zelfde familie, één generatie verschil

De twee modellen zijn geen zustermodellen zoals de namen doen vermoeden. Liquid AI d1-3B stamt af van LFM2.5-VL-3B, dat voortkomt uit LFM2.5-2.6B-Base, en heeft een 400M SigLIP2 NaFlex vision-encoder. d1-2B stamt af van LFM3-VL-2B, de volgende familie, met een backbone van 24 lagen, verdeeld over 13 gated short-convoluties, 5 sliding-window-attentielagen en 6 global-attentielagen. Die generatiekloof is de oorzaak van de benchmarkomkering: de nieuwere architectuur haalt meer uit elke parameter, waardoor het kleinere checkpoint op de meeste rijen hoger kan scoren dan het grotere.

• Parameters — 1,92B voor d1-2B vs 3,12B voor Liquid AI d1-3B.

• Downloaden — 3,84 GB vs 6,25 GB aan BF16-safetensors, beide in één bestand.

• Context — 128K tokens versus 32.768.

• Vocabulaire — 128.000 tokens vs het LFM2.5-vocabulaire.

• Invoer — tekst of JSON, afbeeldingen of video, plus benoemde vragen, voor d1-2B; tekst of JSON plus afbeeldingen voor de 3B. Video is het duidelijkste verschil in mogelijkheden tussen beide.

• Talen — zestien elk, dezelfde set.

• Licentie — LFM Open License v1.0 voor beide, waarbij commercieel gebruik is toegestaan op voorwaarde dat de jaarlijkse omzet onder $10.000.000 blijft. Er is geen licentiegerelateerde reden om een van beide te verkiezen.

• Uitgave — de gewichten van d1-3B zijn op 5 oktober online gezet en werden op 7 oktober aangekondigd. De repository van d1-2B is op 24 oktober aangemaakt en heeft nooit een eigen bericht gehad; de enige leverancierszin die het noemt, staat in de LFM3-lancering van 27 oktober.

Eén documentatiedetail is de moeite waard om als signaal te lezen in plaats van als feit: de documentatiepagina van Liquid AI over decision-modellen vermeldt nu d1-2B, d1-omni-2B, d1-omni-600M, d1.1 en d1-ultra. d1-3B staat er niet meer. De 3B is niet uitgefaseerd — de repo, GGUF- en MLX-builds zijn allemaal nog live — maar de index van de leverancier zelf heeft de open-weights-plek naar de 2B verschoven.

Het scorebord, rij voor rij gelezen

Alle cijfers hieronder komen uit de benchmarktabel op de modelkaart van d1-2B, die vier open d1-modellen op dezelfde items met dezelfde scorer beoordeelt. Dat is belangrijk omdat de eigen kaart van Liquid AI d1-3B 48,57 rapporteert op Decision Index 0.2.1, terwijl deze tabel 49,0 op versie 0.3 rapporteert; het verschil zit in de indexeditie, niet in een modelwijziging, en de kaart vermeldt dat in een noot. De twee kaarten rechtstreeks vergelijken — 48,57 tegenover 51,1 — zou betekenen dat je over twee verschillende tests heen aftrekt. Vergelijken binnen deze tabel is legitiem, en dat is wat de rest van deze sectie doet.

• Decision Index public suite v0.3 — 51,1 tegen 49,0.

• DecisionBench (Hanno Labs) v1 — 77,1 vs 73,1.

• Decision Bench (decisionbench.ai) v4 — 85,2 tegen 83,6.

• JevBench v1.4.1 — 77,9 tegen 76,2.

• ImajevBench v2.0-lite — 75,5 vs 64,0, de grootste kloof aan de beslissingszijde.

• WorkflowEvals — 81,6 vs. 74,4.

• Liquid AI's interne board — 63,2 vs 58,8.

• Vision-gemiddelde — 70,2 vs 65,4 over achttien benchmarks.

Elke genoemde beslissingssuite in die tabel gaat naar de 2B, en dat is wat de LFM3-lanceringspost bedoelt wanneer hij d1-2B een vervanging voor d1-3B noemt "met een derde minder parameters" en hogere scores "op alle vier beslissingssuites". De bewering is accuraat zoals ze er staat — en smaller dan "verslaat de 3B", en daarom bestaat de volgende alinea. Dan de drie rijen die de andere kant op gaan. Fast Decisions is 58,8 voor d1-2B tegen 59,3 voor de 3B. Typed Decisions is 61,3 tegen 65,0. AI2D is 76,7 tegen 79,9. Geen van die verschillen is groot, en twee van de drie vallen binnen één punt, maar het zijn de rijen waar de extra 1,2B parameters nog iets meetbaars opleveren: snelheidsgerichte beslissingen, getypeerde extractie en diagramlezen. Als de taken van je pipeline getypeerde extractie uit formulieren zijn, is de 3B niet de verouderde optie die de documentatiepagina suggereert.

Latentie: de twee belangrijkste cijfers zijn niet met elkaar te vergelijken

Liquid AI noemt 5,7 ms per beslissing voor d1-2B en 8 ms voor Liquid AI d1-3B, en dat zijn niet dezelfde metingen. Het cijfer voor 2B is op een H100 PCIe; het cijfer voor 3B is op een RTX 4090. Een verschil van 2,3 ms tussen twee verschillende GPU's zegt niets over welk model sneller is op jouw hardware, en het herhalen ervan als vergelijking zou precies het soort cijferwitwassen zijn dat deze blog wil vermijden.

Er is één machine waarover beide kaarten rapporteren. Op een Apple M5 Pro doet de d1-2B er 18,6 ms per vraag over en de 3B 30 ms — een reductie van 38% op identieke silicon. Dat is de eerlijke snelheidsvergelijking, en die wijst dezelfde kant op als het formaatverschil suggereert. Wat batchen betreft, verwerkt de d1-2B 1.132 beslissingen per seconde op een H100 PCIe en 1.699 per seconde op een MI325X met 64 toestanden in één aanroep; de kaart van de 3B rapporteert 475 per seconde op een RTX 4090 en 1.106 per seconde op een MI325X. De MI325X-rij is de rij die beide kaarten delen, en daar ligt de 2B ongeveer 54% voor.

De enige onafhankelijke test die bestaat, heeft de 3B gedraaid

Medio oktober voerde Efraín Garay acht beslissingsmodellen uit tegen Decision Index 0.3 en drie taken met echte data, en publiceerde de resultaten samen met de code. Twee bevindingen zijn relevant voor deze vergelijking.

Het eerste is geruststellend voor het scorebord. Hij heeft de publieke suite opnieuw opgebouwd uit de bijbehorende kit, gecontroleerd of de gedownloade bestanden overeenkwamen met de officiële, 6.000 verzoeken gesampled en Liquid AI d1-3B gescoord op 49,11 — tegenover Liquids eigen 49,04 op dezelfde rijen en 48,99 op de volledige suite. Dat is het sterkste beschikbare bewijs dat de v0.3-cijfers in de tabel hierboven correct worden berekend. Het is bewijs over de 3B, niet over d1-2B, die hij niet heeft getest.

Het tweede is een waarschuwing over wat een index meet. Op een synthetische dataset voor creditcardfraude met 10.000 betalingen scoorde Liquid AI d1-3B een AUC van 0,314 — onder kansniveau, waarbij anomalieën als minder verdacht werden gerangschikt dan normale betalingen, omdat reeksen opeenvolgende betalingen op een mediane waarschijnlijkheid van 0,41 uitkwamen, tegenover 0,56 voor een normale betaling. Het model stond tweede op de publieke index en laatste op die taak. De les laat zich direct vertalen: de 51,1 van d1-2B is een score op een algemene beslissingssuite, en niemand heeft aangetoond dat die de prestaties op uw specifieke beslissing voorspelt. De leverancier zegt dat ook in zijn eigen modelkaart, in de instructie om drempelwaarden op uw eigen data te kalibreren.

Wat je vandaag daadwerkelijk kunt uitvoeren

Hier houdt de vergelijking op spannend te zijn. Liquid AI d1-3B heeft sinds 6 oktober een GGUF-repository, sinds 7 oktober een 8-bit weight-activation-build en sinds 12 oktober vier MLX-varianten. d1-2B kreeg op 27 oktober drie MLX-builds en een ONNX-export, en verder niets. Er is geen d1-2B-GGUF, geen kwantisatie verder dan MLX's 4-bit en 8-bit, en dus geen gepubliceerd llama.cpp-pad voor de decision head — ook al heeft het basismodel, LFM3-VL-2B, sinds 19 oktober zijn eigen GGUF.

Bij een Transformers-deployment verdwijnt het verschil: beide laden met trust_remote_code=True en bieden dezelfde system_one en system_one_batch-aanroepen. Bij een edge-deployment is dat niet het geval. Als je stack llama.cpp is op een Jetson of een telefoon, is de 3B de enige van de twee die je kunt draaien zonder een runtime-integratie te schrijven, en de gepubliceerde edge-cijfers — 16 ms op Jetson AGX Thor, 26 ms op AGX Orin 64GB, 50 ms op Orin Nano — zijn de cijfers waarop je kunt plannen.

Geen van beide modellen wordt door OrcaRouter aangeboden, dus de keuze tussen beide is hoe dan ook een beslissing over self-hosting. Waar een router zijn plek verdient, is één laag verder: beslissingsmodellen draaien zelden alleen, en de generatieve stap die op basis van een routeringslabel in actie komt, is meestal afkomstig van een gehost model. Eén OpenAI-compatibele sleutel voor meer dan 200 modellen, een routerings-DSL waarmee je die stappen in één aanroep kunt samenvoegen, en automatische failover voorkomen dat die helft van de pipeline een tweede integratieproject wordt, terwijl het beslissingsknooppunt op je eigen hardware blijft.

Als je migreert, veranderen er drie dingen

Het API-oppervlak komt zo dicht in de buurt dat een port triviaal lijkt, maar dat niet is. Eerst het invoercontract: d1-3B neemt afbeeldingen; d1-2B neemt een medialijst die video kan bevatten, en de kaart ervan beschrijft de media als eenmalig gecodeerd voor alle vragen in een aanroep. Code die één afbeelding doorgeeft, wordt uitgevoerd, maar gebruikt niet waarvoor het model is gebouwd.

Ten tweede, de drempel. Beide modellen retourneren waarschijnlijkheden, en beide hebben een beslissingsdrempel nodig die op je data wordt afgestemd. Een drempel die is afgestemd op de kalibratie van d1-3B is niet overdraagbaar — de kalibratietabellen worden meegeleverd in elke repo en afzonderlijk afgestemd — dus een migratie die de oude afkapwaarde behoudt, levert een ander werkpunt op en, in een moderatie- of fraudepad, een ander foutprofiel.

Ten derde: de betrouwbaarheidsklif. Het 128K-venster is het uithangbord; op de kaart staat dat antwoorden minder betrouwbaar worden voorbij ongeveer 64K tokens aan state. Bij de 3B ligt het plafond op 32.768, dus een migratie naar d1-2B zal meestal een rechtstreekse capaciteitswinst zijn — maar een pipeline die 100K-token-states gaat aanvoeren omdat dat nu kan, test het deel van het bereik dat de leverancier als zwakker heeft aangemerkt.

Het vonnis is minder symmetrisch dan het scorebord. Voor een nieuwe build in Transformers, op tekst, afbeeldingen of video, met states die lang kunnen doorlopen, is d1-2B de betere standaard en de goedkopere om te draaien. Voor een edge-implementatie onder llama.cpp, voor getypeerde extractie of voor visie met veel diagrammen is Liquid AI d1-3B nog steeds het model om te kiezen — en het is het enige van de twee met enige externe onderbouwing achter zich. Het enige wat je niet moet doen, is alleen op de lijn 51,1 tegenover 49,0 kiezen. Twee punten op de index van een leverancier, tussen twee modellen die niemand op jouw taak heeft gedraaid, is geen beslissing; het is een tiebreaker.