LFM3-VL-2B vs MiniCPM-V 4.7 1B: het gat van 14 punten dat krimpt tot 4 wanneer je de denkmodus uitschakelt

Het belangrijkste verschil tussen LFM3-VL-2B en MiniCPM-V 4.7 1B staat in geen van beide benchmarktabellen. Het staat in de licentieregel. Het model van OpenBMB is Apache 2.0. Dat van Liquid AI is de LFM Open License v1.0, die commerciële voorwaarden bevat in plaats van gewoon permissieve voorwaarden. De twee modellen ontlopen elkaar qua grootte verder weinig en zijn directe substituten — 1,92B tegen 1,55B — en ze verschenen binnen drie weken van elkaar: MiniCPM-V 4.7 1B kwam op 6 oktober op Hugging Face en werd in de releaseopmerkingen van de leverancier gedateerd op 12 oktober, terwijl LFM3-VL-2B vanaf 19 oktober in een openbare repository stond en op 27 oktober werd aangekondigd. Op Liquid's eigen suite van 62 benchmarks scoort het nieuwe model gemiddeld 71,4 tegen 57,5, een verschil van 13,9 punt dat instort tot 4,6 punt zodra je reasoning op het Liquid-model uitschakelt.

Twee modellen in dezelfde gewichtsklasse, onder verschillende regels

MiniCPM-V 4.7 1B is de kleinere van de twee, ongeveer 370 miljoen parameters kleiner. Het combineert een vision tower in SigLIP-stijl met een van Qwen3.5 afgeleide taalbackbone, gebruikt per verzoek selecteerbare visuele tokencompressie van 4× of 16×, en claimt in de documentatie van de leverancier een contextvenster van 256K. Het is beschikbaar in BF16-, int4-, AWQ-, GPTQ- en GGUF-builds, met een speciaal DSpark-draftmodel voor speculatieve decoding.

LFM3-VL-2B combineert het LFM3-1.7B-taalmodel met een nieuwe eigen 164M-visie-encoder en een 25M-projector, met een gedocumenteerde context van 128K, video-invoer aan 2 frames per seconde en een gedocumenteerde no-thinking-modus.

• Parameters — 1,92B voor LFM3-VL-2B versus 1,55B voor MiniCPM-V 4.7 1B, volgens de documentatie van OpenBMB; de badge voor modelgrootte van Hugging Face rondt laatstgenoemde af naar 2B.

• Licentie — LFM Open License v1.0 vs Apache 2.0.

• Context — 128K tokens vs een geclaimde 256K, hoewel inferentieconfiguraties het plafond vaak veel lager instellen.

• Vision path — een interne encoder van 164M met één token per 2×2-patchblok versus een toren in SigLIP-stijl met 4×/16×-compressie.

• Video — 2 frames per seconde, het eerste LFM-visiemodel dat video accepteert versus ondersteunt, met door de leverancier gepubliceerde LongVideoBench- en MotionBench-cijfers.

• Redeneermodus — beschikbaar en op beide manieren gemeten versus beschikbaar en gebruikt in de benchmarkrun.

• Leveranciersgemiddelde op de suite met 62 benchmarks van Liquid — 71,4 met denkmodus, 62,1 zonder denkmodus, vs. 57,5.

Het totale verschil is 13,9 punten. Lees eerst de voetnoot.

De tabel van Liquid is het enige artefact dat beide modellen op dezelfde 62 benchmarks met dezelfde normalisatie scoort, en het is de reden dat deze vergelijking überhaupt mogelijk is. De eigen modelkaart van OpenBMB bevat geen benchmark tegen LFM3-VL-2B, dat nog niet bestond toen MiniCPM-V 4.7 1B uitkwam.

De voetnoot die ertoe doet: de redeneermodus werd gebruikt voor elk model in de tabel behalve LFM2.5-VL-3B, dat deze niet ondersteunt, en de no-thinkingconfiguratie van LFM3-VL-2B. Dus 71.4 en 57.5 zijn beide scores met redeneren ingeschakeld, wat de vergelijking eerlijker maakt dan de LFM2.5-matchup. Beide modellen worden gemeten op hun beste instelling, met dezelfde instrumenten, door hetzelfde lab.

Eerlijk is niet hetzelfde als onafhankelijk. Liquid koos de benchmarks en voerde ze uit. De tabel is ongewoon compleet — met rijen op categorieniveau en per benchmark, en elke concurrent wordt bij naam genoemd — maar geen enkele derde partij heeft er ook maar iets van gereproduceerd.

Zet thinking uit en de 1B wint 24 van de 62

LFM3-VL-2B publiceert een tweede score voor dezelfde gewichten met redeneren uitgeschakeld. Die kolom is de interessante, omdat die laat zien waar de geaggregeerde 13,9 punten eigenlijk vandaan komen. Zonder nadenken wint LFM3-VL-2B 35 benchmarks, MiniCPM-V 4.7 1B wint er 24, en 3 eindigen gelijk. De gemiddelde kloof daalt tot 4,6 punten.

Opvallender is wat de 1B in die configuratie wint. Hij neemt het grootste deel van de cluster voor wiskunde en grafiekredenering voor zijn rekening, vaak met een ruime marge.

• We-Math (testmini, strikt) — 47,8 voor MiniCPM-V 4.7 1B tegenover 20,1 voor LFM3-VL-2B zonder redeneren, en 68,6 met redeneren.

• LogicVista — 46,1 vs. 30,2 zonder denken, 60,4 met denken.

• MathVista (mini) — 71,2 vs 68,5 zonder denken, 84,2 met denken.

• ChartQA (test) — 88,8 vs 81,4 zonder denkmodus, 92,7 met denkmodus.

• CharXiv (descriptief) — 73,4 vs 65,5 zonder denkmodus, 87,5 met denkmodus.

• DynaMath — 63,8 vs 57,7 zonder nadenken.

• MMMU (val) — 51,0 vs 48,6 zonder redeneren, 55,7 met redeneren.

Het We-Math-resultaat is het resultaat waarbij je even stil zou moeten staan: een voorsprong van 27,7 punten voor de 1B wanneer geen van beide modellen mag redeneren — en een voorsprong van 20,8 punten voor LFM3-VL-2B zodra het dat wel mag. We-Math is een benchmark voor strikte nauwkeurigheid op meerstaps visuele wiskunde, en de score verandert niet geleidelijk tussen de twee modellen. Hij slaat om. Dat is de duidelijkste afzonderlijke illustratie in de tabel van wat de redeneermodus oplevert.

De praktische vertaling: als je redeneren uitschakelt vanwege latency en je workload bevat cijfers in grafieken of diagrammen, dan beschermt het totale voordeel van het grotere model je niet. De 1B is het betere hulpmiddel.

Waar LFM3-VL-2B wint, ongeacht de modus

Het omgekeerde is ook waar, en de categorieën zijn net zo concreet. Vijf ervan zijn zelfs in de kolom 'zonder nadenken' bijna eenzijdig.

• GUI-begrip — 83,1 met denken, 81,5 zonder denken, tegenover 45,3 voor MiniCPM-V 4.7 1B. ScreenSpot-Pro is 55,5 tegenover 4,9; ScreenSpot-v2 Desktop is 94,6 tegenover 51,5.

• Visuele grounding — 77,3 met denken, 72,6 zonder denken, vs 51,1. RefCOCO-avg komt uit op 90,5 vs 86,3.

• Belichaamd redeneren — 64,4 met denken, 57,9 zonder denken, vs. 45,3.

• Agentic — 42,5 thinking, 32,9 no-thinking, tegenover 16,9. De zwakste categorie voor alle vier de modellen in de tabel, en de grootste relatieve kloof tussen deze twee.

• Meertalig — 84,4 met denken, 76,2 zonder denken, vs. 77,4. De enige categorie waarin het Liquid-model zonder denken verliest van het 1B-model.

ScreenSpot-Pro met 55,5 tegenover 4,9 is het grootste afzonderlijke verschil tussen de twee modellen op alle 62 benchmarks. Als je UI-automatisering bouwt, hoef je hier geen keuze te maken; als je een wiskundetutor bouwt, keert de rangorde om. Een gemiddelde van 13,9 punten is een artefact van het middelen van twee populaties die zich heel verschillend gedragen.

Twee harnassen, twee cijfers voor dezelfde benchmark

Dit is het onderdeel dat vergelijking tussen leveranciers verraderlijk maakt, en het verdient een eigen sectie omdat beide leveranciers cijfers publiceren voor benchmarks met dezelfde naam.

OpenBMB rapporteert MathVista 74,3 voor MiniCPM-V 4.7 1B op zijn eigen pagina. De heruitvoering door Liquid van hetzelfde model op dezelfde genoemde benchmark rapporteert 71,2. OpenBMB rapporteert OCRBench 86,1; de harness van Liquid rapporteert OCRBench v1 op 82,1. Geen van beide labs liegt. Ze gebruiken verschillende promptformaten, verschillende regels voor het extraheren van antwoorden of verschillende subsets, en de resulterende verschillen van 3,1 en 4,0 punten zijn gewone harness-variantie.

Het gevolg is dat je niet het cijfer 74,3 van OpenBMB kunt nemen en daar het no-thinking-MathVista-cijfer 68,5 van Liquid voor LFM3-VL-2B van kunt aftrekken om een overwinning van 5,8 punten te krijgen. Dat was een verdedigbare lezing vóór 27 oktober, toen de enige gedeelde benchmark tussen MiniCPM-V 4.7 1B en LFM2.5-VL-3B op twee verschillende testharnassen werd gemeten. Het is nu niet meer verdedigbaar, aangezien Liquid beide modellen in één tabel heeft gepubliceerd. Gebruik de tabel en beschouw elk cijfer op de leverancierspagina als behorend bij zijn eigen meetinstrument.

De gelijkstand die een ouder geschil stilletjes beslecht

In diezelfde tabel staat een resultaat dat niemand bij een van beide bedrijven naar buiten heeft gebracht. MiniCPM-V 4.7 1B scoort gemiddeld 57,5 op de 62 benchmarks. LFM2.5-VL-3B scoort gemiddeld 57,6.

De productpagina van OpenBMB beweert dat het 1B-model LFM2.5-VL-3B overtreft op OCR, grafiekredenering en videobegrip. Op de suite van Liquid is die bewering half juist en half onjuist, en de totale uitkomst is een exact gelijkspel:

• Document, OCR en grafiek — 73,0 voor MiniCPM-V 4.7 1B vs 71,2 voor LFM2.5-VL-3B. Bewering ondersteund, zij het nipt.

• Video — 53,7 vs 41,3. Claim overtuigend ondersteund.

• Wiskunde — 51,8 vs 40,6. Bewering ondersteund, en niet genoemd in de oorspronkelijke bewering.

• Visuele grounding — 51,1 vs 68,3. De claim faalt zwaar.

• GUI-begrip — 45,3 vs 66,0. De claim klopt totaal niet.

• Agentic — 16,9 vs 21,1. Claim vervalt.

Een Apache 2.0-model van 1,55B evenaart dus een 3,1B-model van een goed gefinancierd lab op een gedeelde suite van 62 benchmarks, en doet dat door sommige categorieën overtuigend te winnen en andere overtuigend te verliezen. Dat is een echt resultaat over capaciteitsdichtheid, en het is ook een waarschuwing voor wat een gemiddelde verbergt. Dat brengt de vergelijking terug bij LFM3-VL-2B: het model dat beide verslaat, is het model waarvan de redeneermodus de zwakste categorieën optilt, niet het model dat uniform beter is.

Licentie, downloads en wat je daadwerkelijk kunt uitbrengen

Het licentieverschil zal meer deployments bepalen dan welke rij hierboven dan ook. Apache 2.0 vereist geen overleg met een juridisch team. De LFM Open License v1.0 bevat commerciële voorwaarden, en hoewel de licentie open genoeg is dat Liquid elk model in de familie eronder uitbrengt, is het niet dezelfde toestemming.

Adoptie vertelt een vergelijkbaar verhaal. Op Hugging Face heeft MiniCPM-V 4.7 1B sinds 6 oktober ongeveer 155.000 downloads en iets meer dan 400 likes verzameld. LFM3-VL-2B staat op het moment van schrijven op een paar honderd downloads en 16 likes, nu het negen dagen openbaar is en één dag aangekondigd. Downloadaantallen zijn een ruisig signaal — CI-pipelines en kwantisatiemirrors blazen ze op — maar een verschil van drie ordes van grootte is geen ruis. Het weerspiegelt dat het ene model een maand aan tooling, tutorials en kwantisaties door de community achter zich heeft en het andere een dag.

Tooling volgt hetzelfde patroon. MiniCPM-V 4.7 1B vermeldt Transformers, SGLang, vLLM, llama.cpp, Ollama en OpenVINO, plus native applicaties voor iOS, Android en HarmonyOS. LFM3-VL-2B heeft SGLang bij de lancering, GGUF-gewichten beschikbaar en llama.cpp-ondersteuning nog in review — zonder video-invoer in de nog lopende implementatie, volgens de eigen modelkaart.

Welk model voor welke klus

• UI-automatisering, schermlezen, roboticaperceptie — LFM3-VL-2B, zonder aarzelen, en de no-thinking-modus is prima. ScreenSpot-Pro op 55,5 tegen 4,9 is geen marge waar je omheen kunt werken.

• Grafiekredenering, visuele wiskunde, diagramvragen — MiniCPM-V 4.7 1B als je zonder redenering draait, en een echte wedstrijd als je dat niet doet. Controleer We-Math op je eigen data; een gat van 27,7 punten zonder nadenken is precies het soort ding dat zich onmiddellijk in productie laat zien.

• Lange video — dichterbij dan de categoriegemiddelden doen vermoeden. LFM3-VL-2B leidt de categorie Video met 61,2 tegen 53,7, maar MiniCPM-V 4.7 1B wint Video-MMMU met 50,1 tegen 49,6, zelfs tegen de denkconfiguratie.

• Alles wat juridisch moet worden goedgekeurd zonder een review — MiniCPM-V 4.7 1B, met alleen Apache 2.0.

• Alles wat vandaag een volwassen inferentiestack nodig heeft — MiniCPM-V 4.7 1B, in ieder geval de komende weken, totdat llama.cpp LFM3-VL-ondersteuning heeft samengevoegd.

Waar een router past wanneer geen van beide modellen erop draait.

Geen van deze checkpoints staat in de catalogus van OrcaRouter; beide zijn gewichten die je downloadt, quantiseert en uitvoert. Het interessante gebruik van een routeringslaag hier is niet om ze te serveren, maar om eromheen te componeren. Modelfusie laat een panel van modellen samen dezelfde vraag beantwoorden, en een lokale 1.55B-specialist in visuele wiskunde gekoppeld aan een gehost model dat sterker is in de categorieën waar hij verliest — grounding, agentisch werk — is een configuratie die elk model afzonderlijk verslaat. De routerings-DSL is hoe je uitdrukt welke route welke vraag afhandelt zonder de applicatie telkens te herschrijven wanneer er een checkpoint uitkomt.

De eerlijke samenvatting is dat de kop van 13,9 punten echt is, gemeten op de testomgeving van één lab, en misleidend als aankoopbeslissing. LFM3-VL-2B is het betere model voor schermen en grounding, met een marge die niets anders in zijn formaatklasse benadert. MiniCPM-V 4.7 1B is het betere model voor visuele wiskunde zonder redeneren, wordt geleverd onder een licentie waarvoor geen onderhandeling nodig is, en evenaart op dezelfde suite een model dat twee keer zo groot is. Het juiste antwoord hangt af van welke van die zinnen je workload beschrijft — en het gemiddelde van geen van beide leveranciers zal je dat vertellen.