LFM3-1.7B vs Gemma 4 12B: wanneer het zeven keer zo kleine model een codeerbenchmark wint

LFM3-1.7B is een tekstmodel met 1,73 miljard parameters dat Liquid AI op 26 oktober 2026 op Hugging Face publiceerde en de dag erna aankondigde als onderdeel van de lancering van de LFM3-familie. Gemma 4 12B is een dense model met 11,95 miljard parameters dat Google DeepMind op 3 juni 2026 uitbracht, en het leest naast tekst ook afbeeldingen en audio. Op de enige codebenchmark die beide leveranciers publiceren — LiveCodeBench v6 — scoort het kleinere model 73,46 en het grotere 72,0. Lees dat twee keer, want het is de hele reden dat deze pagina bestaat en ook het makkelijkst verkeerd te lezen getal op internet. Routing voegt geen marge toe aan de lijstprijs van een provider. 0% opslag Bekijk de pass-through-prijzen op onze prijzenpagina.

Beide cijfers zijn door leveranciers gerapporteerd. Geen van beide is gereproduceerd door een onafhankelijke evaluator. Ze zijn door verschillende teams geproduceerd, op verschillende testharnassen, maanden na elkaar, en Liquid heeft geen methodologienota gepubliceerd waarin wordt uitgelegd hoe zijn LiveCodeBench-run was geconfigureerd. De eerlijke versie van de bovenstaande zin is dus niet "een 1,7B-model verslaat een 12B-model in code." Het is: twee leveranciers rapporteren bijna identieke scores op een benchmark waarvan ze de naam delen, en het negenpuntsverschil op GPQA Diamond in tegengestelde richting suggereert dat de twee modellen allesbehalve gelijkwaardig zijn.

Wat is werkelijk vergelijkbaar, en wat niet?

De meeste pagina's met "X vs Y" zetten twee leverancierstabellen naast elkaar en noemen dat een vergelijking. Dat werkt alleen als de tabellen elkaar overlappen. Tussen Liquid's LFM3-lanceringspost en Google's Gemma 4-modelkaart staan precies twee benchmarknamen aan beide kanten met compatibele definities: LiveCodeBench v6 en GPQA Diamond. Al het andere wordt door één leverancier gerapporteerd en niet door de andere, en een lege cel is geen nul.

Op die twee gedeelde assen is het resultaat een duidelijke tweedeling. LFM3-1.7B wint LiveCodeBench v6 met 73,46 tegen 72,0. Gemma 4 12B wint GPQA Diamond met 78,8 tegen 63,37 — een marge van 15,4 punten, en dat is geen ruis bij een evaluatie met een paar honderd vragen.

Dat patroon is het benoemen waard in plaats van het weg te middelen. LiveCodeBench meet hoe een model competitieve programmeeropgaven voltooit, een smalle, patroonrijke vaardigheid waarin een klein model dat op de juiste data is getraind goed kan worden. GPQA Diamond meet wetenschappelijk redeneren op masterniveau dat afhangt van kennisbreedte — precies wat een groter aantal parameters je oplevert. Een model van 1,7B kan op het eerste concurrerend zijn en zal op het tweede verliezen, en dat is een coherent resultaat in plaats van een tegenstrijdigheid.

De leverancier onderbiedt zijn eigen beste prijs.

Hier is het deel dat zou moeten veranderen hoe je de 73.46 leest. Scroll naar de onderkant van de modelkaart van LFM3-1.7B en Liquid schrijft in duidelijke taal dat het model is ontworpen voor lokale agents, het aanroepen van tools en gestructureerde outputs, en dat het niet wordt aanbevolen voor agentisch programmeren of complexe meerstapsredeneringen vanwege de kleine omvang.

Dat is de leverancier, niet een concurrent, die je de bovengrens voorhoudt. Het staat ongemakkelijk naast een LiveCodeBench-score die een 11,95B-generalist net voorblijft, en de verzoening is dat deze verschillende dingen meten. Een geïsoleerd wedstrijdprogrammeerprobleem oplossen is niet dezelfde taak als een repository in context houden en twintig gecoördineerde bewerkingen maken. Een model kan sterk zijn in het eerste en expliciet ongeschikt voor het tweede, en Liquid zegt dat ook in plaats van de benchmark iets anders te laten suggereren.

Neem de leverancier op zijn woord. Als je workload agentisch coderen is, zou deze vergelijking niet bij LFM3-1.7B moeten eindigen. Als je workload het aanroepen van tools, gestructureerde extractie, classificatie of een lokale assistent op een apparaat dat je bezit is, geldt de waarschuwing op de kaart niet voor jou en wordt de voetafdruk van 1 GB het hele argument.

Waar de 12B simpelweg een andere categorie ding is

Gemma 4 12B is multimodaal op een manier die niet via fine-tuning aan LFM3-1.7B kan worden toegevoegd. De modelkaart van Google beschrijft beeld- en audio-invoer die rechtstreeks in dezelfde ruimte als teksttokens wordt geprojecteerd, zonder afzonderlijke encoders — audio native op de 12B en zijn kleinere broertjes. LFM3-1.7B is tekst in, tekst uit. De visiemogelijkheid van Liquid zit in LFM3-VL-2B, een afzonderlijk checkpoint met een afzonderlijke encoder, en een tekstmodel verwerft er geen door fine-tuning.

• Parameters — 1,73B dense voor LFM3-1.7B; 11,95B dense voor Gemma 4 12B. De verhouding is 6,9 tegen 1.

• Modaliteit — alleen tekst versus tekst-, beeld- en audio-invoer.

• Context — 262.144 tokens bij beide. Dit is de enige rij waarop het kleine model niets toegeeft, en het is een echte prestatie van de tri-hybride architectuur in plaats van toeval.

• Geheugengebruik — ongeveer 1 GB bij 4-bit tegenover ruwweg 7 GB. Op een telefoon is dat verschil het verschil tussen wel of niet uitbrengen.

• Talen — 16 benoemde talen tegenover 140+ voorgetrainde talen met sterke out-of-the-box ondersteuning. Voor een product in Latijns schrift is die kloof zelden een probleem; voor een regionale uitrol is die doorslaggevend.

• Licentie — de LFM Open License v1.0 is gratis voor commercieel gebruik onder $10 miljoen aan jaarlijkse omzet en vereist daarboven een betaalde licentie. Gemma 4 12B valt onder Apache 2.0 zonder omzetdrempel.

De twee wissels luiden niet in dezelfde valuta.

Gemma 4 12B heeft een marktprijs omdat derde partijen het aanbieden. Artificial Analysis rapporteert een gemengde mediaan van $0,10 per miljoen inputtokens en $0,30 per miljoen outputtokens across platforms die de open gewichten hosten — een mediaan over providers, geen lijstprijs, en een die beweegt naarmate het aanbod verandert. Tegen dat tarief denken de meeste teams er nooit over na om een 12B zelf te draaien.

LFM3-1.7B heeft geen dergelijke prijs. Op de Hugging Face-kaart staat duidelijk dat het model niet door enige inferentieprovider wordt geïmplementeerd, en dat komt overeen met wat wij aan onze kant zien: OrcaRouter routeert LFM3-1.7B momenteel niet. Als je het wilt aanroepen, download je 3,46 GB aan BF16-gewichten of een 4-bit-build van ongeveer 1 GB en draai je zelf vLLM, SGLang, llama.cpp, MLX of ONNX. Liquid's eigen API zal het aanbieden, en verschillende platforms van derden zullen dat ook doen.

De kostenvergelijking is dus niet tokens tegen tokens. Het is een rekening voor fine-tuning en serving tegen een rekening per aanroep. Bij laag volume wint de API zonder twijfel; bij aanhoudend volume op hardware die je al bezit, is een model van 1 GB dat de rest van de GPU vrijlaat een heel ander economisch profiel. Die asymmetrie — niet de vierpuntskloof op LiveCodeBench — is de echte reden om het kleine model te overwegen.

Waar elk exemplaar eigenlijk voor is

Kies LFM3-1.7B wanneer het deploymentdoel de beperking is: een telefoon, een laptop, één kleine GPU die ook ander werk moet doen. De context van 256K is echt ongewoon voor deze omvang, de woordenschat van 16 talen dekt de meeste regionale producten, en de ondersteuning voor inferentie via zes wegen betekent dat je niet op één runtime gokt. Accepteer dat je een model voor tool-calling en extractie koopt, geen redeneermodel, en plan retrieval rond de kennislacune die de leverancier zelf aangeeft.

Kies Gemma 4 12B wanneer de taak breedte vereist, wanneer de invoer een schermafbeelding of een opname is, of wanneer Apache 2.0 van belang is voor een inkoopproces. Het scoort 15 punten hoger op graduate-niveau wetenschappelijk redeneren, het leest afbeeldingen native en het is op dag één beschikbaar tegen een gepubliceerde mediane prijs. De kosten zitten in het geheugen: 7 GB bij 4-bit is een laptop of een bescheiden GPU, geen telefoon.

Kies beide wanneer je een smal pad met een hoog volume hebt en een breed pad met een laag volume. Leid het brede pad naar een gehoste generalist en houd het kleine model on-device voor de smalle, latentiegevoelige aanroepen. OrcaRouter is gebouwd voor de eerste helft van die splitsing — één sleutel voor meer dan 200 modellen, lijstprijzen van providers doorgegeven tegen 0% opslag, zodat een prijswijziging dezelfde dag ingaat, en automatische failover als een provider verslechtert. Het helpt je niet bij het hosten van LFM3-1.7B, omdat we dat model niet aanbieden, en het zou oneerlijk zijn om anders te suggereren.

Wat zou het beslechten?

Een onafhankelijke evaluatie van LFM3-1.7B op een harness die het model niet zelf heeft gekozen, zou meer zeggen dan deze hele pagina. De lanceringstabel van Liquid is gedetailleerd en intern consistent, en deze blog behandelt die als door de leverancier gerapporteerd in plaats van geverifieerd, wat ook zo is. De specifieke zaken om op te letten zijn een LiveCodeBench- of SWE-bench-run door een derde partij die de 73.46 reproduceert, een Artificial Analysis-profiel dat beide modellen op één schaal zou plaatsen, en elk rapport waarin het model een echte repositorytaak uitvoert — precies het gebruik waartegen de modelkaart waarschuwt.

Tot die tijd is de verdedigbare interpretatie beperkter dan de kop suggereert. Een model van 1,73B met een context van 256K, een voetafdruk van 1 GB en een sterk tool-calling-profiel heeft een 12B-generalist ingehaald op één geïsoleerde codeerbenchmark en blijft op kennis ver achter. Dat is geen verrassende overwinning. Het zijn twee modellen die voor verschillende taken zijn gebouwd, en de nuttige vraag is welke taak jij hebt.