LFM3-1.7B-Base vs MiniCPM5 2B: Twee leveranciers, twee scoreborden, één eerlijk antwoord

Liquid AI heeft op 26 oktober 2026 de LFM3-1.7B-Base-repository op Hugging Face aangemaakt en de dag erna de aankondiging van de LFM3-familie gepubliceerd — en de benchmarktabel in die aankondiging doet iets ongewoon nuttigs: hij zet de post-getrainde LFM3-1.7B rechtstreeks tegenover MiniCPM5-2B, het 2,5B-model dat OpenBMB sinds het verschijnen van zijn gewichten in september open-source state of the art in de 2B-klasse noemt. Op Liquids eigen suite van 27 tests wint LFM3-1.7B 23 rijen en MiniCPM5-2B vier. De checkpoint uit de titel van dit artikel is echter niet degene in die tabel, en hij bevat helemaal geen benchmarkcijfers. Die kloof is het verhaal.

Drie dingen raken in elke vergelijking van kleine modellen vertroebeld, dus het is de moeite waard ze vooraf te scheiden: wat Liquid heeft gemeten, wat OpenBMB heeft gemeten, en wat geen van beide leveranciers heeft gepubliceerd over de basis-checkpoints die mensen daadwerkelijk fine-tunen. Alleen de derde categorie beschrijft een eerlijke strijd tussen de twee namen op deze pagina.

De tabel die Liquid publiceerde, en het model dat deze beschrijft

De modelkaart van LFM3-1.7B bevat 27 rijen verdeeld over zeven categorieën — agents, toolgebruik, agentisch programmeren, programmeren, instructieopvolging, kennis en lange context — met kolommen voor LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B en Qwen3.5 9B. Liquids eigen model wint alle behalve vier daarvan, en de marges op de agentische rijen zijn niet klein: LiveClaw 45,60 tegen 30,37, WebArena-Verified 38,42 tegen 9,11, AutomationBench 41,29 tegen 4,71, BrowseComp-Plus 37,00 tegen 16,83. Hetzelfde patroon geldt bij toolgebruik (BFCL V4 71,39 versus 62,65, ToolSandbox 80,36 versus 68,16) en lange context, waar RULER 128K 65,56 aangeeft tegen 37,96 voor MiniCPM5-2B.

De vier overwinningen van MiniCPM5-2B zijn allemaal op kennis of multi-turn-robuustheid: τ³-bench op 69,44 tegen 68,01, GPQA Diamond op 65,15 tegen 63,37, Humanity's Last Exam zonder tools op 8,20 tegen 7,17, en AA-Omniscience-nauwkeurigheid op 9,13 tegen 7,07. Dat zijn kleine voorsprongen op benchmarks waar een fractie van een punt vaak ruis is. De agentische verschillen zijn dat niet.

Elk getal in die alinea is door de leverancier opgegeven. Liquid gebruikte zijn eigen testopstellingen, koos zijn eigen vergelijkingsset en publiceerde geen methodologie per test op de specificatiekaart. Op 28 oktober 2026 konden we geen LFM3-vermelding op Artificial Analysis vinden, dus er is geen onafhankelijke reproductie om ertegen af te wegen. Beschouw de 23–4-verdeling als het argument van Liquid, niet als een brancheresultaat.

Wat de basis-checkpoint eigenlijk is

Haal je de post-training weg, dan houd je een tekst-only model van 1,73 miljard parameters met 24 lagen over: 13 gated korte convoluties, vijf sliding-window-attentielagen met een venster van 256 tokens en zes global-attentionlagen. Het contextcijfer van 256K is echt — max_position_embeddings in de gepubliceerde config staat op 262.144 — niet het venster van 256 tokens waarmee vroege berichtgeving het verwarde. De woordenschat omvat 128.000 tokens, de modelkaart vermeldt 16 talen en de licentie is de LFM Open License v1.0, waarvan de commerciële verlening niet meer geldt voor een juridische entiteit met een jaaromzet van $10 miljoen of meer.

Het trainingsrecept is gedetailleerder gedocumenteerd dan bij de meeste basisreleases: in totaal 22 biljoen tokens, waarvan de laatste 3,5 biljoen worden besteed aan gecureerde mid-traininggegevens met agentische traces en tool calls, plus contextuitbreidingen naar 128K en 256K. Bij 4-bitprecisie zou de checkpoint ongeveer 1 GB innemen, en dat is het getal dat ertoe doet als het doel een telefoon of een laptop is in plaats van een server.

Wat de modelkaart je niet geeft, is enige evaluatie van het basismodel zelf. De gepubliceerde scores van Liquid zijn van LFM3-1.7B na SFT, gemengde RL, multi-domain on-policy distillatie en agentic RL. Er is geen manier, op basis van publiek materiaal, om te scheiden hoeveel van dat gemiddelde van 49,37 uit de 22 biljoen pretrainingstokens kwam en hoeveel uit de post-trainingstack. Dat is geen kritiek specifiek op Liquid — bijna niemand publiceert evals van basismodellen — maar het betekent wel dat de naam in de titel van dit artikel geen eigen scorebord heeft.

OpenBMB's teller-scorebord

De kaart van MiniCPM5-2B doet een andere bewering op een andere reeks assen. De capaciteitenradar ervan scoort negen dimensies en rapporteert een gemiddelde van 53,9, tegenover 51,1 voor Qwen3.5-4B, 42,7 voor granite-4.2-3B en 33,2 voor LFM2.5-2.6B. Op dat bord is het model state of the art in de 2B-klasse en concurrerend met modellen uit de 4B-klasse. Het bevat geen LFM3-1.7B, dat niet bestond toen de kaart werd geschreven.

De twee scoreborden kunnen niet van elkaar worden afgetrokken. Ze gebruiken verschillende tests, verschillende normalisatie en verschillende vergelijkingssets — en de enige overlappende benchmark, τ³-bench, is precies waar het model van OpenBMB in de tabel van Liquid net vooroploopt. Als je 53.9 naast 49.37 zet en concludeert dat MiniCPM5-2B het sterkere model is, heb je een leveranciersgemiddelde over negen assen vergeleken met een leveranciersgemiddelde over 27 tests en niets geleerd.

De hardwaregegevens zijn minder dubbelzinnig. MiniCPM5-2B is een standaard LlamaForCausalLM met in totaal 2.516.756.480 parameters, waarvan 1.981.982.720 niet-embedding, 42 lagen, grouped-query attention met 16 query- en 2 KV-heads, en een context van 131.072 tokens in de geleverde configuratie. Het is Apache 2.0, het wordt geleverd als GGUF-, MLX-, GPTQ- en LiteRT-builds, samen met een draftmodel voor speculatieve decoding, en OpenBMB heeft de trainingscorpora ermee uitgebracht. Dat is een afgewerkt product met de fabriek erbij.

Base tegen base is de enige zuivere vergelijking

Beide families leveren een vooraf getraind checkpoint mee, waardoor voor het eerst een vergelijking op gelijke basis mogelijk is. MiniCPM5-2B-Base is gemaakt op 27 augustus 2026, heeft een Apache 2.0-licentie en bestaat om dezelfde reden als LFM3-1.7B-Base: om te worden doorgetraind tot iets anders. Geen van beide basiskaarten publiceert een evaluatietabel. De beslissing moet dus worden genomen op basis van specificatie, licentie en ecosysteem in plaats van op basis van een score.

Die herformulering is belangrijk, omdat de meest voorkomende fout bij dit paar is om de Liquid-base te downloaden, er een prompt op los te laten alsof het een chatmodel is, en te concluderen dat het slechter is dan MiniCPM5-2B. Dat zal het ook zijn. LFM3-1.7B-Base is mid-training-output met een chat-template en een thinking-modus, geen assistent; de eigen kaart van Liquid zegt dat je LFM3-1.7B moet gebruiken voor chat, tool calling en agents. De voltooide checkpoint van OpenBMB is het juiste vergelijkingsobject voor LFM3-1.7B, en die vergelijking staat al in de tabel van Liquid. De base-tot-base-vergelijking is bedoeld voor mensen die de training zelf willen doen.

Het specificatieblad, dimensie voor dimensie

• Parameters — LFM3-1.7B-Base: 1,73B verdeeld over 24 lagen. MiniCPM5-2B: 2,52B totaal, 1,98B niet-embedding, verdeeld over 42 lagen.

• Context — LFM3-1.7B-Base: 256K tokens, invoer plus uitvoer. MiniCPM5-2B: 131.072 tokens in de meegeleverde configuratie.

• Architectuur — LFM3-1.7B-Base: tri-hybride met gegate korte convoluties plus sliding-window- en globale attention, geladen met trust_remote_code. MiniCPM5-2B: een standaard Llama-decoder die draait op ongewijzigde tooling.

• Licentie — LFM3-1.7B-Base: LFM Open License v1.0, commercieel gebruik onder de voorwaarde dat de jaarlijkse omzet onder $10 miljoen blijft. MiniCPM5-2B: Apache 2.0, geen omzetvoorwaarde.

• Uitgeleverde formaten — LFM3-1.7B-Base: alleen BF16-gewichten op de base-kaart; de post-trained tegenhanger heeft GGUF-, MLX-, ONNX-, FP8- en NVFP4-builds. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ en LiteRT, plus SFT- en mid-training-checkpoints en een DSpark-draftmodel.

• Voetafdruk — LFM3-1.7B-Base: ongeveer 1 GB bij 4-bit, volgens Liquid. MiniCPM5-2B: een 2,5B dense model waarvoor op de kaart geen 4-bit-voetafdruk is gepubliceerd; verwacht de gebruikelijke geheugenkosten van de 2,5B-klasse, niet 1 GB.

• Talen — LFM3-1.7B-Base: 16 benoemde talen, waaronder Arabisch, Hindi, Thai en Vietnamees. MiniCPM5-2B: een op Engels en Chinees gerichte kaart, met de vrijgegeven data erachter.

• Trainingsdata — LFM3-1.7B-Base: 22T tokens, recept beschreven maar data niet vrijgegeven. MiniCPM5-2B: UltraData-corpora samen met de gewichten vrijgegeven.

Wat de repositories je vertellen over deployment

MiniCPM5-2B is het gemakkelijkere model om vandaag op een apparaat te zetten. De architectuur is standaard, dus ondersteuning voor llama.cpp, Ollama en LM Studio is een kwestie van de gepubliceerde GGUF gebruiken in plaats van te wachten op een kernel. Apple Silicon heeft MLX-builds, Android heeft een LiteRT-pad, en het DSpark-draftmodel bestaat specifiek om het decoderen sneller te maken op beperkte hardware.

LFM3-1.7B-Base vraagt meer van de runtime. Er is aangepaste modelleercode nodig, en het basischeckpoint wordt alleen in BF16 gepubliceerd. De rest van de familie is beter af: Liquid noemt ondersteuning van vLLM, SGLang en Transformers voor BF16, SGLang voor FP8 en NVFP4, llama.cpp en Ollama voor GGUF, MLX voor Apple Silicon en ONNX Runtime voor platformonafhankelijk werk. Het addertje onder het gras is dat die builds bij LFM3-1.7B horen, niet bij het basischeckpoint. De SGLang-pullrequest die LFM3-ondersteuning toevoegt, #46858, was op het moment van schrijven nog open; de bijbehorende cookbook-pullrequest is samengevoegd.

Als de vraag is welk model je deze week achter een endpoint wilt zetten, bedenk dan dat noch MiniCPM5-2B noch LFM3-1.7B-Base vandaag in de catalogus van OrcaRouter staat. Beide zijn voorlopig opties om te downloaden en zelf te hosten. Dat is precies de situatie waarin een routeringslaag zich later in plaats van eerder terugverdient: één OpenAI-compatibele sleutel voor 200+ modellen, 0% markup waarbij de lijstprijs van de provider wordt doorgegeven, en automatische failover wanneer een zelfgehoste machine of één enkele upstream uitvalt. Je hebt niets van dat alles nodig om een model van 1 GB op een laptop te draaien; je hebt het nodig wanneer het kleine model één schakel in een productiepad wordt en iets de fout moet opvangen.

Wat nog niet kenbaar is

De eerlijke lijst is kort en concreet. We konden voor geen enkel LFM3-model een onafhankelijke benchmark vinden, dus elke bewering over de capaciteiten van de familie is afkomstig van Liquid zelf. Er is geen gepubliceerde evaluatie van LFM3-1.7B-Base, dus niemand kan zeggen hoe goed de ruwe checkpoint is vóór post-training. Er is geen prijs per token voor LFM3 via een gehoste API, waardoor kostenvergelijkingen met MiniCPM5-2B — in de meeste implementaties ook zelf gehost — eerder een kwestie van hardware en elektriciteit zijn dan van een tariefkaart. En er is nog geen bewijs, onafhankelijk of anderszins, of het schuifvenster van 256 tokens het model iets kost bij retrieval-intensief werk met een lange context; Liquid's eigen RULER 128K-score van 65,56 ligt ruim onder de 87,11 die het voor Qwen3.5 9B rapporteert, wat een signaal is om in de gaten te houden in plaats van een eindoordeel.

Drie vragen die het waard zijn om te beantwoorden voordat je een van beide downloadt

Wil je een model, of een startpunt?

Als je iets wilt dat vragen beantwoordt, tools aanroept en maandag een demo overleeft, is MiniCPM5-2B het afgewerkte product en LFM3-1.7B-Base niet. Als je een domeincorpus, een post-training-pipeline en een reden hebt waarom het standaardmodel niet volstaat, is het base-checkpoint de juiste aankoop — en Liquid's TRL-notebooks voor SFT, DPO, GRPO en voortgezette pre-training bieden meer begeleiding dan de meeste leveranciers.

Zal uw organisatie ooit 10 miljoen dollar aan jaarlijkse omzet behalen?

De LFM Open License v1.0 verleent commerciële rechten alleen onder die drempel. Daarboven valt het werk helemaal niet onder de licentie van de overeenkomst, en heb je een aparte regeling met Liquid nodig. Apache 2.0 heeft zo'n klif niet. Voor een hobbyproject of een vroege startup is het verschil theoretisch; voor een gevestigd bedrijf bepaalt het de shortlist voordat er ook maar een benchmark wordt uitgevoerd.

Is 256K context een aangepaste architectuur waard?

LFM3-1.7B-Base biedt twee keer zoveel context als MiniCPM5-2B met een kleiner aantal parameters, wat het sterkste technische argument in zijn voordeel is. De prijs is een niet-standaardmodel dat externe code nodig heeft, een smaller aanbod kant-en-klare builds op het basischeckpoint, en een runtime-integratie die nog wordt uitgerold. Als je workload binnen 131K past, betaal je die prijs voor extra ruimte die je niet zult gebruiken.

Welke moet je kiezen?

Voor de meeste teams die deze twee namen vergelijken, is het antwoord MiniCPM5-2B — niet omdat het een benchmarkwedstrijd wint, maar omdat het een afgerond Apache-2.0-product is met gekwantiseerde builds, vrijgegeven trainingsdata en geen licentieplafond. Het is de manier met minder risico om een capabel 2,5B-model op een apparaat te krijgen.

LFM3-1.7B-Base is de interessantere gok voor een nauwere doelgroep: teams die een checkpoint van 1,73B willen met 256K-context, 16 talen en een niet-standaardarchitectuur waarop ze de training kunnen voortzetten op één GPU, en die kunnen leven met de LFM-licentie en een dunner ecosysteem voor basismodellen. Liquid heeft die doelgroep een echt startpunt en een ongewoon gedetailleerd trainingsrecept gegeven. Het heeft nog niemand een reden gegeven om te geloven dat het basis-checkpoint beter is dan het afgewerkte exemplaar van OpenBMB, en de eigen tabel van de leverancier probeert dat ook niet te beweren.

Het getal om in de gaten te houden is niet de 23–4-verdeling. Het is de eerste onafhankelijke evaluatie van een LFM3-model — het moment waarop het scorebord van Liquid niet langer het enige scorebord is.