MiniCPM-V 4.7 vs LFM3-VL-2B: Det bättre benchmarkresultatet är fel sensor

Liquid AI placerade MiniCPM-V 4.7 1B i sin egen jämförelsetabell och slog den sedan. På en svit med 62 benchmarks som körts av Liquid får LFM3-VL-2B i genomsnitt 71,4 med resonemang aktiverat och 62,1 utan; MiniCPM-V 4.7 1B får i genomsnitt 57,5. Det är en skillnad på 13,9 punkter i skiktet för små modeller, och det är siffran som de flesta jämförelseinlägg stannar vid. Det är också den minst användbara siffran för beslutet, eftersom de två modellerna inte konkurrerar om samma plats. Den ena är en tät modell med 1,92 miljarder parametrar byggd för att vara hela svaret. Den andra är den billiga halvan av ett system med två modeller, vars dyra halva är en blandning av experter med 35 miljarder parametrar.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Tre nivåer som låtsas vara två modeller

LFM3-VL-2B är en artefakt. Den består av 1,92 miljarder parametrar: en språkryggrad på 1,73B, en egenutvecklad visionsencoder på 164M och en projektor på 25M, med en kontext på 128K token, video samplad med två bildrutor per sekund och en enda uppsättning vikter som utför detektion, OCR, diagram och beskrivning. Liquid tillkännagav LFM3-familjen den 27 oktober 2026; LFM3-VL-2B-repositoriet lades upp den 19 oktober.

MiniCPM-V 4.7 är två artefakter med ett delat visionstorn. 1B-modellen är en tät qwen3_5_text-ryggrad med 24 lager, en kontext på 262 144 token och tre linjära attentionlager för varje fullt attentionlager. 35B-A3B är en gles modell med 256 experter som routar åtta experter per token, behåller samma kontext på 262 144 token och finns eftersom OpenBMB ville ha en stor modell som kunde streama experter från lagring i stället för att hålla dem i minnet. Båda är Apache-2.0. Vikterna publicerades den 6 och 7 oktober 2026, modellkortet följde den 12 oktober och ModelBest utfärdade ett engelskt pressmeddelande den 15 oktober.

Så den ärliga formuleringen är inte ”2B kontra 1B”. Det är ”en modell som måste göra allt” mot ”en familj där du väljer hur mycket modell varje fråga förtjänar”. Om din pipeline ställer en fråga per bild är LFM3-VL-2B-formen enklare och, i den lilla änden, starkare. Om din pipeline ställer tiotusen billiga frågor och en dyr, är MiniCPM-formen billigare till sin konstruktion.

Vad Liquids egen tabell säger, och vad det kostar att läsa den

62-benchmarkssviten tillhör Liquid, körs på vLLM 0.27.1, normaliserad till en skala 0–100, med resonemangsläge aktiverat för varje modell utom de rader som markerats annorlunda. Att en leverantör benchmarkar en konkurrent är normalt och värt att läsa, men testramverket är leverantörens, promptuppsättningen är leverantörens och aggregatet är leverantörens. Betrakta raderna som påståenden.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Mönstret är konsekvent: med resonemang påslaget är den täta 2B-modellen bättre på flerstegs visuellt resonemang och diagramtolkning, och ungefär jämn på vanlig OCR. Med resonemang avslaget kollapsar gapet till cirka 4,6 punkter, vilket säger att det mesta av fördelen köps med testtids-tokens snarare än med parametrar. Det spelar större roll för latens än för kvalitet, och latens är den axel som den här jämförelsen vanligtvis ignorerar.

Det oberoende testet som vänder på rangordningen

I slutet av oktober publicerade WebBrain ett benchmark med 100 fall av webbläsarskärmbilder som kördes helt offline i Q4_K_M GGUF på dubbla RTX 5060 Ti-kort, med en fryst uppsättning skärmbilder, en produktionsprompt och en deterministisk bedömningsmall. MiniCPM-V 4.7 1B fick 37 strikta godkännanden av 100 och en genomsnittlig bedömningspoäng på 68,2 procent vid 1,30 sekunder per skärmbild. LFM3-VLD-2B – en syskonvariant av Liquid-modellen, inte den exakta LFM3-VL-2B-checkpointen – fick 4 strikta godkännanden och 44,7 procent vid 2,20 sekunder.

Förbehållet är viktigt och går åt båda hållen. Enligt det strikta regexet för numrerade rubriker fick MiniCPM noll godkända, eftersom det skrev avsnittsrubriker som textetiketter i stället för siffror. Siffran 37 godkända kommer från en ompoängsättning av samma utdata efter avsnittsnamn. Det är ett verkligt formateringsfel, och om din nedströms parser förväntar sig numrerade rubriker är det diskvalificerande. Men innehållspoängen är inte nära: 68,2 mot 44,7, vid 60 procent av latensen, på en uppgift – att läsa en tät webbläsarvyport – som ligger mycket närmare produktion än ett diagrambenchmark.

Detta är den enda oberoende utvärdering som någon av modellerna har på den här nivån, det är ett testramverk på ett GPU-par, och Liquid-modellen som testades är VLD-varianten. Den är fortfarande mer informativ än aggregeringen av 62 benchmarks, eftersom den mäter det man faktiskt gör med en liten visionsmodell: tittar på en skärm och svarar snabbt på en fast fråga.

Licensen är den tysta avgöraren

MiniCPM-V 4.7 släpps under Apache-2.0 utan något intäktsvillkor. LFM3-VL-2B släpps under LFM Open License v1.0, som Liquid beskriver som gratis för kommersiellt bruk under 10 miljoner dollar i årliga intäkter. Över den gränsen ändras villkoren och du behöver läsa dem.

För ett hobbyprojekt är skillnaden teoretisk. För en produkt är det första saken en jurist kommer att fråga om, och det är den enda raden i en jämförelsetabell som ingen benchmark kan åsidosätta. En modell som är fyra poäng bättre på diagramresonemang och har en intäktsutlösare är inte automatiskt det bättre beroendet. Det är också här som valet av Apache-2.0 för båda storlekarna av MiniCPM-V 4.7 gör mer nytta än benchmark-siffrorna: det tar bort en konversation.

Kadens: antalet som ingen av tabellerna rapporterar

esp32-eye-kattmonitorn är det tydligaste offentliga exemplet på hur MiniCPM 1B faktiskt används. Den körs som en Q4_K_M GGUF bakom llama-server på en MacBook och anropas högst en gång var 1,5 sekund, styrd av en bakgrundsskillnadskontroll så att de flesta bildrutor aldrig når den. Samma bygge fann att 1B var opålitlig när det gällde att skilja fyra liknande katter åt och flyttade identiteten till 35B i stället för att leverera en gissning.

Det är den driftsättningsprofil som benchmarktabellerna inte fångar. En modell som du anropar var 1,5 sekund måste vara tillräckligt liten för att förbli resident, tillräckligt snabb för att svaret ska komma innan nästa bildruta och tillräckligt tillåtande för att du ska kunna släppa den. 1B uppfyller alla tre. LFM3-VL-2B är 1,25 GB i Q4 och 2,2 sekunder per skärmbild i det oberoende testet, vilket är bra för en pipeline per bild och för långsamt för en 1,5-sekundersgrind på samma hårdvara.

Om du vill ha en hostad slutpunkt i stället för en lokal fil finns ingendera modellen i OrcaRouters katalog i dag, så det ärliga svaret är att 1B körs där du placerar den och 35B körs via OpenBMB:s eget API. Det en router däremot erbjuder är den omgivande arkitekturen: en nyckel för över 200 modeller, 0 % påslag på leverantörernas listpriser, och automatisk failover, vilket är hur du håller en pipeline med två modeller vid liv när det dyra benet är en enda extern slutpunkt. Det gör inte en icke-hostad modell hostad, och det är värt att säga det rakt ut.

Vilken ska man välja?

Om du bygger en bildpipeline med en enda modell och vill ha den starkaste generalisten i 2B-klassen på de benchmarks som båda labben publicerar, är LFM3-VL-2B det försvarbara valet, med licensförbehållet nedskrivet. Om du bygger en agent som tittar på skärmar i en loop, placerar det oberoende webbläsartestet MiniCPM 1B före på både poäng och latens, och dess formateringsdisciplin är det du bör åtgärda i din parser snarare än i modellen.

Om du behöver en modell som kan läsa ett dokument på 262 144 token, titta på en video och stå sig i MMMU, är ingen av de små modellerna svaret: det är 35B-A3B-nivån, där OpenBMB rapporterar 80,2 på MMMU, 91,2 på OCRBench och 68,9 på LongVideoBench, alla leverantörsrapporterade och inga oberoende reproducerade. Det verkliga beslutet är inte vilken 2B som vinner. Det är huruvida din pipeline har råd att ställa en enkel fråga billigt och en svår fråga sällan — och om den har det, är tvåmodellsdesignen billigare än någon enskild modell som försöker vara bra på båda.

En sista kalibrering. Gapet på 13,9 punkter som Liquid publicerar är verkligt i Liquids testsvit, och gapet på 23,5 punkter som WebBrain publicerar är verkligt i WebBrains testsvit, och de pekar i motsatta riktningar eftersom de mäter olika uppgifter. Den som citerar det ena utan det andra säljer dig en slutsats. Den användbara frågan är inte vilken modell som är bättre; den är hur många gånger om dagen du behöver fråga, och hur mycket du är villig att betala för svaret.