LFM3-1.7B-Base vs MiniCPM5 2B: Två leverantörer, två resultattavlor, ett ärligt svar

Liquid AI skapade LFM3-1.7B-Base som ett repository på Hugging Face den 26 oktober 2026 och publicerade LFM3-familjens tillkännagivande dagen därpå – och benchmarktabellen i det tillkännagivandet gör något ovanligt användbart: den ställer den eftertränade LFM3-1.7B direkt mot MiniCPM5-2B, 2,5B-modellen som OpenBMB har kallat det främsta inom öppen källkod i 2B-klassen sedan dess vikter släpptes i september. I Liquids egen 27-testsvit vinner LFM3-1.7B 23 rader och MiniCPM5-2B vinner fyra. Checkpointen i den här artikelns titel är dock inte den som finns i tabellen, och den har inga benchmark-siffror av något slag. Det gapet är historien.

Tre saker blandas samman i varje jämförelse av små modeller, så det är värt att skilja dem åt redan från början: vad Liquid mätte, vad OpenBMB mätte och vad ingen av leverantörerna har publicerat om de bascheckpoints som folk faktiskt finjusterar. Endast den tredje kategorin beskriver en rättvis kamp mellan de två namnen på den här sidan.

Tabellen som Liquid publicerade, och modellen den beskriver

Modellkortet för LFM3-1.7B innehåller 27 rader fördelade över sju kategorier – agenter, verktygsanvändning, agentisk kodning, kodning, instruktionsföljning, kunskap och lång kontext – med kolumner för LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B och Qwen3.5 9B. Liquid:s egen modell vinner alla utom fyra av dem, och marginalerna på de agentiska raderna är inte nära: LiveClaw 45,60 mot 30,37, WebArena-Verified 38,42 mot 9,11, AutomationBench 41,29 mot 4,71, BrowseComp-Plus 37,00 mot 16,83. Samma mönster gäller för verktygsanvändning (BFCL V4 71,39 mot 62,65, ToolSandbox 80,36 mot 68,16) och lång kontext, där RULER 128K visar 65,56 mot MiniCPM5-2B:s 37,96.

MiniCPM5-2B:s fyra vinster gäller alla kunskap eller robusthet över flera turer: τ³-bench på 69,44 mot 68,01, GPQA Diamond på 65,15 mot 63,37, Humanity's Last Exam utan verktyg på 8,20 mot 7,17 och AA-Omniscience-noggrannhet på 9,13 mot 7,07. Det är smala marginaler på benchmarkar där en bråkdel av en poäng ofta är brus. De agentiska gapen är det inte.

Varje siffra i det stycket är rapporterad av leverantören. Liquid körde sina egna testramverk, valde sin egen jämförelseuppsättning och publicerade ingen metodik per test på kortet. Per den 28 oktober 2026 kunde vi inte hitta någon LFM3-post på Artificial Analysis, så det finns ingen oberoende reproduktion att väga mot den. Betrakta uppdelningen 23–4 som Liquids argument, inte som ett branschresultat.

Vad bascheckpointen faktiskt är

Om man tar bort efterträningen får man en textmodell på 1,73 miljarder parametrar med 24 lager: 13 gated short convolution-lager, fem sliding-window-attentionlager med ett fönster på 256 token och sex global-attentionlager. Kontextsiffran på 256K är den verkliga – max_position_embeddings i den publicerade konfigurationen anger 262 144 – inte det 256-tokenfönster som tidig rapportering förväxlade den med. Ordförrådet är 128 000 token, modellkortet listar 16 språk och licensen är LFM Open License v1.0, vars kommersiella tillstånd upphör att gälla för en juridisk person med årliga intäkter på 10 miljoner USD eller mer.

Träningsreceptet dokumenteras i mer detalj än de flesta basutgåvor: totalt 22 biljoner tokens, varav de sista 3,5 biljonerna läggs på kurerad mid-training-data som inkluderar agentiska spår och verktygsanrop, plus kontextförlängningar på 128K och 256K. Vid 4-bitars precision beskrivs checkpointen ta cirka 1 GB, vilket är siffran som spelar roll om målet är en telefon eller en laptop snarare än en server.

Det som kortet inte ger dig är någon utvärdering av basmodellen i sig. Liquids publicerade resultat tillhör LFM3-1.7B efter SFT, blandad RL, multidomän on-policy-distillation och agentisk RL. Det finns inget sätt, utifrån offentligt material, att separera hur mycket av det genomsnittet på 49.37 som kom från de 22 biljonerna förträningstoken och hur mycket som kom från efterträningsstacken. Det är inte en kritik som är specifik för Liquid – nästan ingen publicerar utvärderingar av basmodeller – men det innebär att namnet i artikelns titel inte har någon egen resultattavla.

OpenBMB:s räknarresultattavla

MiniCPM5-2B:s kort gör ett annat påstående på en annan uppsättning axlar. Dess kapacitetsradar poängsätter nio dimensioner och rapporterar ett genomsnitt på 53,9, mot 51,1 för Qwen3.5-4B, 42,7 för granite-4.2-3B och 33,2 för LFM2.5-2.6B. På den tavlan är modellen state of the art i 2B-klassen och konkurrenskraftig med modeller i 4B-klassen. Den inkluderar inte LFM3-1.7B, som inte fanns när kortet skrevs.

De två resultattavlorna kan inte subtraheras från varandra. De använder olika tester, olika normalisering och olika jämförelseuppsättningar – och det enda överlappande riktmärket, τ³-bench, är precis där OpenBMB:s modell ligger före i Liquids tabell. Om du ställer 53.9 bredvid 49.37 och drar slutsatsen att MiniCPM5-2B är den starkare modellen, har du jämfört ett leverantörsgenomsnitt med nio axlar med ett leverantörsgenomsnitt med 27 tester och inte lärt dig något.

Fakta om hårdvaran är mindre tvetydiga. MiniCPM5-2B är en standard-LlamaForCausalLM med 2 516 756 480 parametrar totalt, varav 1 981 982 720 är icke-inbäddningsparametrar, 42 lager, grouped-query-attention med 16 query-huvuden och 2 KV-huvuden, samt en kontext på 131 072 tokens i den levererade konfigurationen. Den är Apache 2.0, den levereras som GGUF-, MLX-, GPTQ- och LiteRT-byggen tillsammans med en draft-modell för spekulativ avkodning, och OpenBMB släppte träningskorpusarna tillsammans med den. Det är en färdig produkt med fabriken på köpet.

Bas mot bas är den enda rena jämförelsen.

Båda familjerna levererar en förtränad checkpoint, vilket gör en jämförelse på lika villkor möjlig för första gången. MiniCPM5-2B-Base skapades den 27 augusti 2026, är Apache 2.0 och finns av samma anledning som LFM3-1.7B-Base: för att eftertränas till något annat. Inget av basmodellkorten publicerar en utvärderingstabell. Så beslutet måste fattas utifrån specifikation, licens och ekosystem snarare än utifrån en poäng.

Detta omformulerande spelar roll eftersom det vanligaste misstaget med det här paret är att ladda ner Liquid-basen, prompta den som en chattmodell och dra slutsatsen att den är sämre än MiniCPM5-2B. Det kommer den att vara. LFM3-1.7B-Base är en mid-training-utdata med en chattmall och ett tänkläge, inte en assistent; Liquids eget kort säger att man ska använda LFM3-1.7B för chatt, verktygsanrop och agenter. OpenBMB:s färdiga checkpoint är det rätta att jämföra med LFM3-1.7B, och den jämförelsen finns redan i Liquids tabell. Jämförelsen bas mot bas är för dem som tänker göra träningen själva.

Specifikationsbladet, dimension för dimension

• Parametrar — LFM3-1.7B-Base: 1,73B fördelade över 24 lager. MiniCPM5-2B: 2,52B totalt, 1,98B icke-inbäddade, fördelade över 42 lager.

• Kontext — LFM3-1.7B-Base: 256K token, indata plus utdata. MiniCPM5-2B: 131 072 token i den levererade konfigurationen.

• Arkitektur — LFM3-1.7B-Base: trihybrid med gated korta faltningar samt sliding-window- och global attention, laddad med trust_remote_code. MiniCPM5-2B: en standard Llama-decoder som körs med oförändrade verktyg.

• Licens — LFM3-1.7B-Base: LFM Open License v1.0, kommersiell användning förutsätter att man ligger under 10 miljoner USD i årlig omsättning. MiniCPM5-2B: Apache 2.0, inget omsättningsvillkor.

• Levererade format – LFM3-1.7B-Base: endast BF16-vikter på baskortet; den eftertränade syskonmodellen har GGUF-, MLX-, ONNX-, FP8- och NVFP4-versioner. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ och LiteRT, samt SFT- och mellantränings-checkpoints och en DSpark-utkastmodell.

• Fotavtryck — LFM3-1.7B-Base: cirka 1 GB vid 4-bit, enligt Liquid. MiniCPM5-2B: en 2,5B tät modell utan publicerat 4-bit-fotavtryck på modellkortet; förvänta dig den vanliga minneskostnaden för 2,5B-klassen, inte 1 GB.

• Språk — LFM3-1.7B-Base: 16 namngivna språk, inklusive arabiska, hindi, thai och vietnamesiska. MiniCPM5-2B: ett engelsk- och kinesiskcentrerat kort, med den släppta datan bakom det.

• Träningsdata – LFM3-1.7B-Base: 22T tokens, receptet beskrivs men datan har inte släppts. MiniCPM5-2B: UltraData-korpusar släpps tillsammans med vikterna.

Vad repositorierna berättar för dig om driftsättning

MiniCPM5-2B är den enklare modellen att få in på en enhet idag. Arkitekturen är standard, så stöd för llama.cpp, Ollama och LM Studio handlar om att använda den publicerade GGUF-filen i stället för att vänta på en kernel. Apple Silicon har MLX-byggen, Android har en LiteRT-väg, och DSpark-utkastmodellen finns specifikt för att göra avkodningen snabbare på begränsad hårdvara.

LFM3-1.7B-Base ställer högre krav på körtiden. Det kräver anpassad modelleringskod, och bascheckpointen publiceras endast i BF16. Den omgivande familjen har bättre stöd: Liquid listar stöd i vLLM, SGLang och Transformers för BF16, SGLang för FP8 och NVFP4, llama.cpp och Ollama för GGUF, MLX för Apple Silicon och ONNX Runtime för plattformsoberoende arbete. Haken är att dessa byggen tillhör LFM3-1.7B, inte bascheckpointen. SGLang-pullförfrågan som lägger till LFM3-stöd, #46858, var fortfarande öppen vid skrivandet; den medföljande cookbook-pullförfrågan har slagits samman.

Om frågan är vilken modell som ska läggas bakom en endpoint den här veckan, notera att varken MiniCPM5-2B eller LFM3-1.7B-Base finns i OrcaRouters katalog i dag. Båda är för närvarande alternativ som bygger på nedladdning och egen drift. Det är precis den situation där ett routningslager lönar sig senare snarare än tidigare: en OpenAI-kompatibel nyckel för 200+ modeller, 0 % påslag där leverantörens listpris förs vidare oförändrat, och automatisk failover när en egenhostad maskin eller en enskild upstream går ner. Du behöver inte något av det för att köra en 1 GB-modell på en laptop; du behöver det när den lilla modellen blir en arm i en produktionsväg och något måste fånga upp felet.

Det som ännu inte går att veta

Den ärliga listan är kort och specifik. Vi kunde inte hitta någon oberoende benchmark för någon LFM3-modell, så varje påstående om familjens förmåga är Liquids eget. Det finns ingen publicerad utvärdering av LFM3-1.7B-Base, så ingen kan säga hur bra den råa checkpointen är före efterträning. Det finns inget per-token-pris för LFM3 på ett hostat API, vilket gör kostnadsjämförelser med MiniCPM5-2B – som också är självhostad i de flesta driftsättningar – till en övning i hårdvara och el snarare än i prislistor. Och det finns ännu inga belägg, oberoende eller ej, för huruvida det glidande fönstret på 256 token kostar modellen något i retrieval-tungt långkontextarbete; Liquids egen RULER 128K-poäng på 65,56 ligger väl under de 87,11 som rapporteras för Qwen3.5 9B, vilket är en signal värd att bevaka snarare än en dom.

Tre frågor värda att besvara innan du laddar ner någon av dem

Vill du ha en modell, eller en utgångspunkt?

Om du vill ha något som svarar på frågor, anropar verktyg och klarar en demo på måndag är MiniCPM5-2B den färdiga produkten, medan LFM3-1.7B-Base inte är det. Om du har ett domänspecifikt korpus, en efterträningspipeline och en anledning till att standardmodellen inte duger, är bascheckpointen det korrekta köpet – och Liquids TRL-notebooks för SFT, DPO, GRPO och fortsatt förträning ger mer vägledning än de flesta leverantörer erbjuder.

Kommer din organisation någonsin att passera 10 miljoner dollar i årlig omsättning?

LFM Open License v1.0 beviljar kommersiella rättigheter endast under den tröskeln. Ovanför den är verket inte licensierat enligt avtalet överhuvudtaget, och du behöver en separat överenskommelse med Liquid. Apache 2.0 har ingen sådan brant tröskel. För ett hobbyprojekt eller en tidig startup är skillnaden teoretisk; för ett etablerat företag avgör den vilka som kommer med på kortlistan innan något benchmark körs.

Är 256K kontext värt en anpassad arkitektur?

LFM3-1.7B-Base erbjuder dubbelt så mycket kontext som MiniCPM5-2B med färre parametrar, vilket är det starkaste tekniska argumentet till dess fördel. Priset är en icke-standardmodell som kräver fjärrkod, en snävare uppsättning färdiga byggen på bascheckpointen och en runtime-integration som fortfarande håller på att landa. Om din arbetsbelastning ryms inom 131K betalar du det priset för utrymme du inte kommer att använda.

Vilken ska man välja?

För de flesta team som jämför dessa två namn är svaret MiniCPM5-2B – inte för att det vinner någon benchmarktävling, utan för att det är en färdig Apache-2.0-produkt med kvantiserade versioner, publicerad träningsdata och inget licenstak. Det är det lägre-risk-alternativet för att få en kapabel 2,5B-modell till en enhet.

LFM3-1.7B-Base är den mer intressanta satsningen för en snävare publik: team som vill ha en checkpoint på 1,73B med 256K kontext, 16 språk och en icke-standardarkitektur som de kan fortsätta träna på en enda GPU, och som kan leva med LFM-licensen och ett tunnare ekosystem för basmodeller. Liquid har gett den publiken en verklig startpunkt och ett ovanligt detaljerat träningsrecept. Det har ännu inte gett någon en anledning att tro att bascheckpointen är bättre än OpenBMB:s färdiga, och leverantörens egen tabell försöker inte hävda att den är det.

Siffran att hålla ögonen på är inte 23–4-delningen. Det är den första oberoende utvärderingen av någon LFM3-modell – den punkt där Liquids resultattavla slutar vara den enda resultattavlan.