MiniCPM-V 4.7 vs LFM3-VL-2B: De betere benchmarkscore is de verkeerde sensor

Liquid AI zette MiniCPM-V 4.7 1B in zijn eigen vergelijkingstabel en versloeg het vervolgens. Op een suite van 62 benchmarks, uitgevoerd door Liquid, scoort LFM3-VL-2B gemiddeld 71,4 met redeneren ingeschakeld en 62,1 zonder; MiniCPM-V 4.7 1B scoort gemiddeld 57,5. Dat is een verschil van 13,9 punten in de categorie kleine modellen, en dat is het getal waarop de meeste vergelijkingsberichten stoppen. Het is ook het minst bruikbare getal in de beslissing, omdat de twee modellen niet voor dezelfde plek concurreren. Het ene is een dense model met 1,92 miljard parameters, gebouwd om het hele antwoord te zijn. Het andere is de goedkope helft van een tweemodelssysteem waarvan de dure helft een mixture of experts met 35 miljard parameters is.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Drie niveaus die zich voordoen als twee modellen

LFM3-VL-2B is één artefact. Het zijn 1,92 miljard parameters, bestaande uit een taalbackbone van 1,73 miljard, een eigen visie-encoder van 164 miljoen en een projector van 25 miljoen, met een context van 128K tokens, video gesampled op twee frames per seconde, en één set gewichten die detectie, OCR, grafieken en beschrijving doet. Liquid kondigde de LFM3-familie aan op 27 oktober 2026; de LFM3-VL-2B-repository verscheen op 19 oktober.

MiniCPM-V 4.7 bestaat uit twee artefacten met een gedeelde vision-tower. De 1B is een dense qwen3_5_text-backbone met 24 lagen, een context van 262.144 tokens en drie lineaire-attentielagen voor elke volledige-attentielaag. De 35B-A3B is een sparse model met 256 experts dat acht experts per token routeert, dezelfde context van 262.144 tokens behoudt en bestaat omdat OpenBMB een groot model wilde dat experts vanaf opslag kon streamen in plaats van ze in het geheugen te houden. Beide zijn Apache-2.0. De gewichten verschenen op 6 en 7 oktober 2026, de modelkaart volgde op 12 oktober en ModelBest bracht op 15 oktober een Engelstalig persbericht uit.

Dus de eerlijke formulering is niet ‘2B versus 1B’. Het is ‘één model dat alles moet kunnen’ tegenover ‘een familie waarin je kiest hoeveel model elke vraag verdient’. Als je pipeline één vraag per afbeelding stelt, is de vorm van LFM3-VL-2B eenvoudiger en, aan de kleine kant, sterker. Als je pipeline tienduizend goedkope vragen en één dure vraag stelt, is de vorm van MiniCPM door zijn opzet goedkoper.

Wat de eigen tabel van Liquid zegt, en wat het kost om die te lezen

De {{1}}62-benchmarksuite{{/1}} is van Liquid, uitgevoerd op {{2}}vLLM 0.27.1{{/2}}, genormaliseerd naar een {{3}}schaal van 0–100{{/3}}, met de redeneermodus ingeschakeld voor elk model behalve de rijen die anders zijn gemarkeerd. Dat een leverancier een concurrent benchmarkt, is normaal en de moeite van het lezen waard, maar het {{4}}testharnas{{/4}} is van de leverancier, de {{5}}promptset{{/5}} is van de leverancier, en het {{6}}aggregaat{{/6}} is van de leverancier. Beschouw de rijen als beweringen.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Het patroon is consistent: met redeneren aan is het 2B dense model beter in meerstaps visueel redeneren en het interpreteren van grafieken, en ongeveer gelijk bij gewone OCR. Met redeneren uit valt het verschil terug tot ongeveer 4,6 punten, wat aangeeft dat het grootste deel van het voordeel wordt behaald met tokens tijdens de inferentie in plaats van met parameters. Dat is belangrijker voor latentie dan voor kwaliteit, en latentie is juist de as die deze vergelijking meestal negeert.

De onafhankelijke test die de rangschikking omkeert

Eind oktober publiceerde WebBrain een benchmark met 100 gevallen van browser-screenshots, volledig offline uitgevoerd in Q4_K_M GGUF op twee RTX 5060 Ti-kaarten, met een bevroren set screenshots, één productieprompt en een deterministische rubric. MiniCPM-V 4.7 1B scoorde 37 strikte passes van de 100 en een gemiddelde rubriekscore van 68,2 procent bij 1,30 seconden per screenshot. LFM3-VLD-2B — een zustervariant van het Liquid-model, niet de exacte LFM3-VL-2B-checkpoint — scoorde 4 strikte passes en 44,7 procent bij 2,20 seconden.

De waarschuwing is belangrijk en snijdt in beide richtingen. Onder de strikte regex voor genummerde koppen scoorde MiniCPM nul passes, omdat het sectiekoppen als tekstlabels schreef in plaats van cijfers. Het aantal van 37 passes komt uit het opnieuw scoren van dezelfde outputs op sectienaam. Dat is een echte opmaakfout, en als je downstream-parser genummerde koppen verwacht, is die diskwalificerend. Maar de contentscore ligt niet dicht bij elkaar: 68,2 tegen 44,7, bij 60 procent van de latentie, op een taak — het lezen van een dichte browserviewport — die veel dichter bij productie ligt dan een grafiekbenchmark.

{{1}}Dit is de enige onafhankelijke evaluatie die elk van beide modellen in deze categorie heeft{{/1}}, {{2}}het is één testharnas op één GPU-paar{{/2}}, en het Liquid-model dat het testte is de VLD-variant. Het is nog steeds informatiever dan de samengestelde score van 62 benchmarks, omdat het meet wat je daadwerkelijk doet met een klein visiemodel: naar een scherm kijken en snel een vaste vraag beantwoorden.

De licentie is de stille beslisser.

MiniCPM-V 4.7 wordt geleverd onder Apache-2.0 zonder omzetvoorwaarde. LFM3-VL-2B wordt geleverd onder de LFM Open License v1.0, die Liquid beschrijft als gratis voor commercieel gebruik bij een jaaromzet onder 10 miljoen dollar. Boven die grens veranderen de voorwaarden en moet je ze lezen.

Voor een hobbyproject is het verschil theoretisch. Voor een product is het het eerste waar een advocaat naar zal vragen, en het is de enige rij in elke vergelijkingstabel die geen enkele benchmark kan tenietdoen. Een model dat vier punten beter is in grafiekredenering en een omzettrigger heeft, is niet automatisch de betere afhankelijkheid. Dit is ook waar de keuze voor Apache-2.0 op beide MiniCPM-V 4.7-formaten meer werk verzet dan de benchmarkcijfers: het voorkomt een gesprek.

Cadence: het aantal dat geen van beide tabellen vermeldt

De esp32-eye kattenmonitor is het duidelijkste publieke voorbeeld van hoe de MiniCPM 1B daadwerkelijk wordt gebruikt. Hij draait als een Q4_K_M GGUF achter llama-server op een MacBook en wordt hoogstens één keer per 1,5 seconde aangeroepen, afgeschermd door een controle op achtergrondverschillen zodat de meeste frames hem nooit bereiken. Dezelfde build vond de 1B onbetrouwbaar in het onderscheiden van vier vergelijkbare katten en verplaatste de identiteitsbepaling naar de 35B in plaats van een gok te leveren.

Dat is het implementatieprofiel dat de benchmarktabellen niet vastleggen. Een model dat je elke 1,5 seconde aanroept, moet klein genoeg zijn om resident te blijven, snel genoeg zodat het antwoord aankomt vóór het volgende frame, en permissief genoeg om het te kunnen uitbrengen. De 1B voldoet aan alle drie. LFM3-VL-2B is 1,25 GB in Q4 en 2,2 seconden per schermafbeelding in de onafhankelijke test, wat prima is voor een pipeline per afbeelding en te langzaam voor een drempel van 1,5 seconde op dezelfde hardware.

Als je een gehost endpoint wilt in plaats van een lokaal bestand, staat geen van beide modellen vandaag in de catalogus van OrcaRouter, dus het eerlijke antwoord is dat het 1B-model draait waar je het plaatst en het 35B-model op OpenBMB's eigen API draait. Wat een router wél biedt, is de omliggende architectuur: één sleutel voor meer dan 200 modellen, 0% opslag bovenop de lijstprijzen van de provider, en automatische failover, waarmee je een pijplijn met twee modellen in de lucht houdt wanneer het dure deel één extern endpoint is. Het maakt een niet-gehost model niet gehost, en het is de moeite waard om dat ronduit te zeggen.

Welke moet je kiezen?

Als je een beeldpijplijn met één model bouwt en je wilt de sterkste generalist in de 2B-klasse op de benchmarks die beide labs publiceren, is LFM3-VL-2B de verdedigbare keuze, met de licentiebeperking op schrift. Als je een agent bouwt die in een lus naar schermen kijkt, zet de onafhankelijke browsertest de MiniCPM 1B op zowel score als latentie voorop, en de opmaakdiscipline is iets wat je in je parser moet oplossen, niet in het model.

Als je een model nodig hebt dat een document van 262,144 tokens kan lezen, een video kan bekijken en zich staande kan houden op MMMU, is geen van beide kleine modellen het antwoord: dat is de 35B-A3B-klasse, waar OpenBMB 80.2 rapporteert op MMMU, 91.2 op OCRBench en 68.9 op LongVideoBench, allemaal door de leverancier gerapporteerd en geen ervan onafhankelijk gereproduceerd. De echte beslissing is niet welk 2B-model wint. Het is of je pipeline het zich kan veroorloven om een kleine vraag goedkoop te stellen en een moeilijke vraag zelden — en als dat kan, is het tweemodelontwerp goedkoper dan elk afzonderlijk model dat op beide goed probeert te zijn.

Een laatste kalibratie. Het verschil van 13,9 punten dat Liquid publiceert, is echt op de suite van Liquid, en het verschil van 23,5 punten dat WebBrain publiceert, is echt op de suite van WebBrain, en ze wijzen in tegengestelde richtingen omdat ze verschillende taken meten. Wie het ene aanhaalt zonder het andere, verkoopt je een conclusie. De nuttige vraag is niet welk model beter is; het is hoe vaak je per dag moet vragen, en hoeveel je bereid bent voor het antwoord te betalen.