LFM3-1.7B vs Gemma 4 12B: När den sju gånger mindre modellen vinner ett kodningsbenchmark

LFM3-1.7B är en textmodell med 1,73 miljarder parametrar som Liquid AI publicerade på Hugging Face den 26 oktober 2026 och tillkännagav dagen därpå som en del av lanseringen av LFM3-familjen. Gemma 4 12B är en tät modell med 11,95 miljarder parametrar som Google DeepMind släppte den 3 juni 2026, och den läser bilder och ljud liksom text. På det enda kodningsbenchmark som båda leverantörerna publicerar – LiveCodeBench v6 – får den mindre modellen 73,46 och den större 72,0. Läs det två gånger, för det är hela anledningen till att den här sidan finns och även det tal på internet som är lättast att läsa fel. Routing lägger inte till någon marginal på en leverantörs listpris. 0 % påslag Se vidaredebiteringspriserna på vår prissida.

Båda siffrorna är leverantörsrapporterade. Ingen av dem har återskapats av en oberoende utvärderare. De togs fram av olika team, i olika testramverk, med månaders mellanrum, och Liquid har inte publicerat någon metodbeskrivning som förklarar hur deras LiveCodeBench-körning konfigurerades. Så den ärliga versionen av meningen ovan är inte "en 1,7B-modell slår en 12B-modell på kod." Det är: två leverantörer rapporterar nästan identiska poäng på ett benchmark vars namn de delar, och gapet på nio poäng på GPQA Diamond i den andra riktningen tyder på att de två modellerna inte alls är nära likvärdiga.

Vad är genuint jämförbart, och vad är inte det

Sidor med "X vs Y" sätter oftast två leverantörstabeller sida vid sida och kallar det en jämförelse. Det fungerar bara om tabellerna överlappar. Mellan Liquids lanseringsinlägg för LFM3 och Googles modellkort för Gemma 4 förekommer exakt två benchmarknamn på båda sidor med kompatibla definitioner: LiveCodeBench v6 och GPQA Diamond. Allt annat rapporteras av den ena leverantören och inte av den andra, och en tom cell är inte en nolla.

På dessa två gemensamma axlar är resultatet en tydlig uppdelning. LFM3-1.7B tar LiveCodeBench v6 med 73,46 mot 72,0. Gemma 4 12B tar GPQA Diamond med 78,8 mot 63,37 – en marginal på 15,4 poäng, vilket inte är brus i en utvärdering med några hundra frågor.

Det mönstret är värt att sätta ord på i stället för att jämna ut det i ett genomsnitt. LiveCodeBench mäter hur en modell löser tävlingsprogrammeringsproblem, vilket är en smal, mönstertung färdighet som en liten modell tränad på rätt data kan bli bra på. GPQA Diamond mäter vetenskapligt resonemang på avancerad nivå som beror på kunskapsbredd – precis det som parametrantalet ger dig. En 1,7B-modell kan vara konkurrenskraftig på det första och kommer att förlora på det andra, och det är ett sammanhängande resultat snarare än en motsägelse.

Leverantören understiger sitt eget bästa nummer

Här är delen som borde förändra hur du läser 73.46. Scrolla till botten av model card för LFM3-1.7B och Liquid skriver, i klartext, att modellen är utformad för lokala agenter, verktygsanrop och strukturerade utdata, och att den inte rekommenderas för agentisk kodning eller komplex flerstegsresonemang på grund av sin lilla storlek.

Det är leverantören, inte en konkurrent, som talar om för dig taket. Det passar illa ihop med en LiveCodeBench-poäng som snävt överträffar en 11,95B-generalist, och förklaringen är att dessa mäter olika saker. Att lösa ett isolerat tävlingsprogrammeringsproblem är inte samma uppgift som att hålla ett kodförråd i kontext och göra tjugo samordnade ändringar. En modell kan vara stark på det första och uttryckligen olämplig för det andra, och Liquid säger det i stället för att låta benchmarken antyda något annat.

Ta leverantören på orden. Om din arbetsbelastning är agentisk kodning bör den här jämförelsen inte sluta med LFM3-1.7B. Om din arbetsbelastning är verktygsanrop, strukturerad extraktion, klassificering eller en lokal assistent på en enhet du äger, gäller inte kortets varning dig och avtrycket på 1 GB blir hela argumentet.

Där 12B helt enkelt är en annan typ av sak

{{1}}Gemma 4 12B{{/1}} är multimodalt på ett sätt som inte kan läggas till {{2}}LFM3-1.7B{{/2}} genom finjustering. Googles modellkort beskriver bild- och ljudindata som projiceras direkt in i samma utrymme som texttoken, utan separata kodare – med ljud inbyggt i 12B och dess mindre syskon. {{3}}LFM3-1.7B{{/3}} är text in, text ut. Liquids bildkapacitet finns i {{4}}LFM3-VL-2B{{/4}}, en separat checkpoint med en separat kodare, och en textmodell får inte en sådan genom att finjusteras.

• Parametrar — 1,73B densa för LFM3-1.7B; 11,95B densa för Gemma 4 12B. Förhållandet är 6,9 till 1.

• Modalitet — endast text mot text-, bild- och ljudinmatning.

• Kontext — 262 144 token på båda. Detta är den enda raden där den lilla modellen inte ger upp något, och det är en verklig bedrift av tri-hybridarkitekturen snarare än en slump.

• Fotavtryck — cirka 1 GB vid 4-bit mot ungefär 7 GB. På en telefon är den skillnaden skillnaden mellan att släppas och inte släppas.

• Språk — 16 namngivna språk jämfört med 140+ förtränade med starkt stöd direkt vid användning. För en produkt med latinskt skriftsystem märks gapet sällan; för en regional driftsättning är det avgörande.

• Licens — LFM Open License v1.0 är gratis för kommersiellt bruk under 10 miljoner USD i årliga intäkter och kräver en betald licens över den nivån. Gemma 4 12B är Apache 2.0 utan intäktsgräns.

De två räkningarna är inte denominerade i samma valuta

Gemma 4 12B har ett marknadspris eftersom tredje parter tillhandahåller den. Artificial Analysis rapporterar ett sammanvägt medianvärde på 0,10 USD per miljon indatatokens och 0,30 USD per miljon utdatatokens över plattformar som tillhandahåller de öppna vikterna – ett medianvärde över leverantörer, inte ett listpris, och ett som rör sig när utbudet förändras. Till den kostnaden funderar de flesta team aldrig på att köra en 12B själva.

LFM3-1.7B har inget sådant pris. Hugging Face-kortet anger tydligt att modellen inte driftsätts av någon inferensleverantör, och det stämmer överens med vad vi ser på vår sida: OrcaRouter dirigerar för närvarande inte LFM3-1.7B. Om du vill anropa den laddar du ner 3,46 GB BF16-vikter eller en ungefär 1 GB stor 4-bitarsversion och kör vLLM, SGLang, llama.cpp, MLX eller ONNX själv. Liquids eget API kommer att tillhandahålla den, och flera tredjepartsplattformar kommer också att göra det.

Kostnadsjämförelsen är alltså inte tokens mot tokens. Det är en faktura för fine-tuning och serving mot en faktura per anrop. Vid låg volym vinner API:et utan konkurrens; vid varaktig volym på hårdvara du redan äger är en 1 GB-modell som lämnar resten av GPU:n fri en helt annan ekonomisk form. Det är den asymmetrin – inte fyrapoängsgapet i LiveCodeBench – som är det verkliga skälet att överväga den lilla modellen.

Vad var och en egentligen är till för

Välj LFM3-1.7B när distributionsmålet är den begränsande faktorn: en telefon, en bärbar dator, en enda liten GPU som också måste göra annat arbete. 256K-kontexten är verkligen ovanlig i den här storleken, ordförrådet för 16 språk täcker de flesta regionala produkter, och stödet för sex olika inferenssätt innebär att du inte satsar allt på en enda runtime. Acceptera att du köper en modell för verktygsanrop och extrahering, inte en resonemangsmodell, och planera hämtningen kring det kunskapsgap som leverantören själv flaggar.

Välj Gemma 4 12B när uppgiften kräver bredd, när indata är en skärmbild eller en inspelning, eller när Apache 2.0 spelar roll för en upphandlingsprocess. Det får 15 poäng högre på vetenskapligt resonemang på avancerad nivå, det läser bilder inbyggt och det finns till ett publicerat medianpris från dag ett. Kostnaden är minne: 7 GB vid 4 bitar är en bärbar dator eller ett blygsamt grafikkort, inte en telefon.

Välj båda när du har en smal väg med hög volym och en bred väg med låg volym. Dirigera den breda vägen till en hostad generalist och behåll den lilla modellen på enheten för de smala, latenskänsliga anropen. OrcaRouter är byggt för den första halvan av den uppdelningen – en nyckel för fler än 200 modeller, leverantörernas listpriser vidarebefordras med 0 % påslag så att en prisändring slår igenom samma dag, och automatisk failover om en leverantör försämras. Det hjälper dig inte att hosta LFM3-1.7B, eftersom vi inte tillhandahåller den modellen, och det vore oärligt att antyda något annat.

Vad skulle avgöra det?

En oberoende utvärdering av LFM3-1.7B i ett testramverk som det inte själv valt skulle göra mer än hela den här sidan. Liquids lanseringstabell är detaljerad och internt konsekvent, och den här bloggen behandlar den som leverantörsrapporterad snarare än verifierad, vilket är vad den är. De specifika sakerna att hålla utkik efter är en tredjepartskörning av LiveCodeBench eller SWE-bench som reproducerar 73.46, en Artificial Analysis-profil som skulle sätta båda modellerna på en och samma skala, och varje rapport om att modellen hanterar en verklig repository-uppgift — exakt den användning som kortet varnar för.

Fram till dess är den försvarbara tolkningen snävare än rubriken. En 1,73B-modell med 256K kontext, 1 GB minnesavtryck och en stark profil för verktygsanrop har kommit ikapp en 12B-generalist på ett isolerat kodningsbenchmark och ligger långt efter i kunskap. Det är ingen skräll. Det är två modeller byggda för olika jobb, och den användbara frågan är vilket jobb du har.