LFM3-1.7B vs MiniCPM5-2B: Testar Liquids 23-till-4-resultattavla

Den 27 oktober 2026 publicerade Liquid AI en resultattabell med 27 rader som ställer LFM3-1.7B mot MiniCPM5-2B. Liquids modell vinner 23 av raderna. MiniCPM5 vinner fyra. Antalet spreds snabbt, vilket är ett problem, eftersom ett antal vinster är det minst informativa man kan få ut av en tabell där en leverantör valde benchmarkarna, skrev testramverket och körde båda modellerna. Det här är ett test av vad 23–4 faktiskt säger dig – och det börjar med en bekännelse: jämförelsen som Liquid tyst besvarar publicerades på den här bloggen en dag tidigare, och den avstod från att lägga fram exakt detta argument. Det inlägget jämförde de två bascheckpunkterna och drog slutsatsen att ingen av dem hade användbara utvärderingar. Här är versionen med de eftertränade vikterna på båda sidor.

MiniCPM5-2B är OpenBMB:s täta resonemangsmodell på 2,52B parametrar, släppt i början av september 2026 under Apache 2.0. LFM3-1.7B är Liquid AIs text- och agentmodell på 1,73B parametrar, utgiven den 27 oktober 2026 under LFM Open License v1.0. De tillhör samma viktklass, konkurrerar om samma plats för körning på enheten och byggdes för tydligt olika uppgifter.

Två leverantörer, två selar, en tabell

Siffran 23–4 finns bara eftersom Liquid körde om sin konkurrent. Det är en legitim och ovanligt rigorös sak att göra vid en lansering – de flesta leverantörer jämför mot en siffra från en offentlig resultattavla och låter själva upplägget vara osagt. Men att köra om en konkurrent i sin egen testmiljö ger inte ett neutralt resultat, och det avslöjande ligger i raderna där samma benchmark förekommer på båda leverantörernas kort.

Ta BFCL V4. Liquid mäter MiniCPM5-2B till 62,65. OpenBMB:s eget modellkort rapporterar 66,6. Ta Humanity's Last Exam: Liquid får 8,20 för MiniCPM5, OpenBMB hävdar 8,9. Dessa skillnader är små – inom fyra punkter på en skala från 0 till 100 – och de antyder att skillnaden mellan testramverken är blygsam på standardiserade benchmarkar. Ta nu SWE-bench Verified, där OpenBMB rapporterar 46,4 för MiniCPM5-2B och Liquid rapporterar 43,40 för LFM3-1.7B. Ställ dessa två siffror sida vid sida och MiniCPM5 vinner. Ställ Liquids egen MiniCPM5-rad bredvid Liquids egen LFM3-rad och LFM3 vinner. Samma benchmark, samma två modeller, motsatt svar, eftersom siffrorna kom från olika testramverk.

Det här är hela problemet i ett exempel. Ingen av leverantörerna har publicerat harness-konfiguration, återförsökspolicy eller prompt-scaffolding. Tills någon kör båda modellerna genom ett och samma harness som de inte kontrollerar, är varje rad mellan leverantörer i den här jämförelsen ett myntkast utklätt till en mätning.

Där gapet är för stort för att kunna vara brus från testramverket

Vissa rader kan inte förklaras bort. Agentbaserad webbnavigering är det tydligaste exemplet:

• WebArena-Verified — LFM3-1.7B 38,42 vs MiniCPM5-2B 9,11 i Liquid:s testrigg.

• AutomationBench — 41,29 mot 4,71.

• RULER 128K — 65,56 mot 37,96.

• BFCL V4 — 71,39 mot 62,65.

Ett spann på fyra punkter är byggnadsställning. Ett spann på tjugonio punkter på WebArena-Verified, eller ett spann på trettiosju punkter på AutomationBench, är det inte. Det är skillnader i huruvida modellen överhuvudtaget kan hålla ihop en plan i flera steg, och de stämmer överens med vad varje leverantör säger om sig själv: Liquid byggde LFM3 kring agentisk mellanträning med spår av verktygsanrop, och OpenBMB:s egen dokumentation flaggar MiniCPM5 som svag på långa uppgifter i flera steg och benägen att upprepa sig. Två oberoende beskrivningar av samma svaghet, som kommer från motsatta håll, är det starkaste beviset i hela den här jämförelsen.

Raden för lång kontext förtjänar särskild uppmärksamhet eftersom det är den som folk kommer att misstolka. RULER 128K på 37,96 för MiniCPM5 är en retrieval-poäng vid 128K, inte ett påstående att modellen har en gräns på 128K – MiniCPM5-2B stöder officiellt 131 072 tokens. Det betyder att MiniCPM5 vid den längden hittar mindre av det du ber den hitta. LFM3 får 65,56 vid samma längd. Om din arbetsbelastning är "sök i ett långt dokument och svara" är den skillnaden hela beslutet.

De fyra raderna där MiniCPM5 vinner – och varför de spelar roll

Liquids tabell ger MiniCPM5-2B fyra segrar: τ³-bench på 69,44 mot 68,01, GPQA Diamond på 65,15 mot 63,37, HLE på 8,20 mot 7,17 och AA-Omniscience på 9,13 mot 7,07. Tre av de fyra är kunskapsbenchmarks. Marginalerna är en till två poäng, vilket ligger inom brusgolvet för de flesta utvärderingssviter.

Men mönstret är förenligt med MiniCPM5:s design. OpenBMB tränade den som en resonemangsmodell med ett explicit tänkandeläge, på en kedja som körde djup-tänkande SFT över 400 miljarder tokens och därefter förstärkningsinlärning med specialistlärare innan on-policy-destillation till en enda dense checkpoint. Det är ett recept som syftar till att få ut mer av lagrad kunskap per parameter. LFM3:s träning är inriktad på verktygsanrop och instruktionsefterlevnad. Att GPQA Diamond går till MiniCPM5 med 1,8 poäng är ingen överraskning; det är de två träningsfilosofierna som visar sig där man skulle förvänta sig det.

Den långt mer intressanta jämförelsen är den som Liquids tabell inte kan göra. MiniCPM5-2B har ett Artificial Analysis Intelligence Index på 12. LFM3-1.7B har per den 28 oktober 2026 ingen Artificial Analysis-post alls – inget index, ingen oberoende uppmätt hastighet, ingen neutral latenssiffra. Så modellen som förlorar 23 av 27 rader är den som har en oberoende datapunkt, och modellen som vinner dem är den som vill bli betrodd. Den asymmetrin bör väga tyngre än antalet vinster gör.

Specifikationerna som faktiskt går att jämföra utan problem

När ingen av leverantörerna kör den andras benchmark är siffrorna tråkiga och tillförlitliga:

• Parametrar — LFM3-1.7B 1,73B dense jämfört med MiniCPM5-2B 2,52B totalt, 1,98B icke-inbäddning.

• Lager — 24 hybrid (13 faltning, 5 glidande fönster, 6 globala) mot 42 standardtransformerlager med grouped-query-attention vid 16 query- och 2 KV-huvuden.

• Kontext — 256K vs 131 072.

• KV-cache vid 128K – 1,6 GB vs 5,6 GB, enligt Liquids mätning av båda.

• Minnesavtryck vid 4-bit — ungefär 1 GB jämfört med ungefär 1,1 GB i rapporter från praktisk användning.

• Ordförråd — 128K vs 130 560.

• Licens — LFM Open License v1.0, gratis under 10 miljoner USD i intäkter jämfört med Apache 2.0, ingen tröskel.

KV-cache-raden är den som avgör hårdvaran. En skillnad på 3,5× vid samma kontextlängd är skillnaden mellan en långkontextagent som får plats på en telefon och en som inte gör det. Det förklarar också varför LFM3 kan erbjuda 256K där MiniCPM5 erbjuder 131K: tri-hybrid-lagerblandningen är billigare per kontexttoken, vilket är hela poängen med att bygga den.

Licensskillnaden spelar större roll än minnesskillnaden för vissa team. Apache 2.0 har ingen intäktsgräns, inget kommersiellt avtal att förhandla och ingen oklarhet kring vidaredistribution. LFM Open License är gratis under 10 miljoner dollar i årliga intäkter och kräver ett samtal om man ligger över det. En startup under den gränsen får båda gratis. Ett företag över den gränsen får det ena gratis och det andra efter ett telefonsamtal, och det är en verklig upphandlingskostnad oavsett vilken modell som får högre poäng.

Ekosystemstöd är där MiniCPM5 fortfarande leder

Båda familjerna levererade brett runtime-stöd från dag ett, så det här glappet är mindre än det var för ett år sedan. LFM3 listar vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama och LM Studio, med BF16-, FP8-, NVFP4-, GGUF-, MLX- och ONNX-byggen. MiniCPM5-2B listar samma runtimes plus GPTQ och DSpark, en draftmodell för spekulativ avkodning som paras ihop med huvudcheckpointen.

Den praktiska skillnaden är mognad snarare än tillgänglighet. MiniCPM5-2B har varit nedladdningsbar sedan början av september, vilket är sju veckor av buggrapporter från communityn, kvantiseringsexperiment och ramverkspatchar som LFM3 inte har haft. En modell som släpptes igår kommer att ha en del skavanker i sin GGUF-konvertering och sitt Ollama-paketering. Det är inte en kritik av Liquid; det är så dag ett ser ut. Om du behöver modellen i produktion den här veckan är sju veckor av att andra har stött på problemen först värt något.

Hur man beslutar, och var en router förtjänar sin plats

Ingen av modellerna finns i OrcaRouter-katalogen – båda är öppna vikter som du kör själv, och vi säger hellre det rakt ut än antyder något annat. Routern spelar roll vid gränsen. Det ärliga sättet att genomföra den här utvärderingen är att sätta båda modellerna bakom en och samma endpoint och skicka riktig trafik till dem, och det ärliga sättet att köra endera i produktion är att inte låta en 2B-modell vara det enda som kan svara.

Det är vad automatic failover är till för. Skicka en begäran till LFM3-1.7B, låt den hantera verktygsanropet eller extraheringen den tränades för, och falla tillbaka till en hostad modell när uppgiften visar sig kräva fler steg än en 2B-modell kan hålla. Eftersom OrcaRouter för vidare leverantörens listpris med 0 % påslag kostar den dyra vägen bara vad leverantören tar när den faktiskt används – besparingen från att routa till en liten lokal modell äts inte upp av routern. Routnings-DSL:en låter dig uttrycka det som en regel i stället för en omskrivning: specialist först, generalist vid fel eller vid en konfidenströskel.

Modellfusion är den underutnyttjade möjligheten här. När två 2B-modeller är oense om en klassificering är det ofta billigare att låta båda svara och sedan jämka än att eskalera till en 27B-modell, och oenighetsfrekvensen är i sig en användbar signal om vilka indata som är svåra. Med en overifierad modell på ena sidan av din pipeline är den typen av korskontroll billigare än att lita på en leverantörstabell.

Vad skulle avgöra det?

Om trettio dagar bör någon publicera LFM3-1.7B och MiniCPM5-2B via en och samma harness, med konfigurationen incheckad tillsammans med resultaten. Om LFM3 håller sig någonstans i närheten av 38 på WebArena-Verified och 65 på RULER 128K, kommer 23–4-siffran att ha varit ungefär rätt av fel skäl, och det agentiska gapet är verkligt. Om den sjunker mot MiniCPM5:s siffror, då mätte lanseringstabellen byggnadsställningar.

Fram till dess är den försvarbara positionen snävare än någon av de båda leverantörernas marknadsföring. Om din arbetsbelastning är flerstegs, verktygsanropande eller långdokument är LFM3-1.7B det bättre valet, och minnesfördelen gör den till den enda av de två som får plats på begränsad hårdvara med marginal. Om din arbetsbelastning är kunskapsåtervinning, enstegsresonemang eller behöver en entydig licens och en modell med ett oberoende poängvärde kopplat till sig, är MiniCPM5-2B det säkrare valet, och de fyra raderna den vinner pekar i exakt den riktningen. Räkningen 23–4 är inte så mycket felaktig som oförtjänt – och antalet modeller i en lanseringstabell är inte samma sak som ett resultat.