
Karpo Decision 31B vs Laya: een 31B-koploper tegenover een 421M-encoder die je op een laptop kunt draaien
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 184 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 223 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 87 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 96 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
Zet Karpo Decision 31B naast Laya en de eerlijke eerste reactie is dat iemand een eenhedenfout heeft gemaakt. Karpo is een Gemma 4-finetune met 31,3 miljard parameters die 62,5 GB aan gewichten en een datacenter-GPU nodig heeft. Laya is een ModernBERT-encoder met 421 miljoen parameters van Convai Innovations, Apache-2.0, 808 MB op schijf, die op een laptop draait en in ongeveer 33 milliseconden een resultaat teruggeeft. Op de Decision Index, het communityboard waarop beide voorkomen, is het verschil in Full score 73,9 tegen 9,2 — de grootste spreiding in deze hele reeks vergelijkingen.
Toch is Laya het model dat een onderhouden pip-pakket, een MCP-server, ONNX- en Core ML-builds en een fine-tuningtraject levert, met een gedocumenteerde nauwkeurigheidssprong van 0,362 naar 0,766 op een reële workflowset. Karpo levert een README en een repository. De interessante vraag is niet welk model beter is. Het is waar elk van hen eigenlijk voor dient, omdat de scorekloof en de bruikbaarheidskloof in tegenovergestelde richtingen wijzen en er telkens slechts één van beide toe doet.
Wat de twee getallen betekenen, en waarom de vergelijking bewust onevenwichtig is
Laya's 9.21 Full score op de tracker is een voor kans gecorrigeerde vaardigheidsscore, en de ruwe nauwkeurigheid over dezelfde suite is 37,7% met een dekking van 0,76 — wat betekent dat ongeveer een kwart van de verzoeken in de suite helemaal nooit werd beantwoord. De tracker legt vast waarom: 320 verzoeken gemarkeerd als niet-ondersteund, overweldigend omdat een instructie langer was dan Laya's eigen budget en het model weigert in plaats van af te kappen. Op een suite die is gebouwd voor modellen die een status van 32k tokens accepteren, doet een encoder van 512 tokens niet mee; die valt terug op standaardgedrag.
Karpo beantwoordt dezelfde suite met 99,87% dekking en 83,2% ruwe nauwkeurigheid. Negen verzoeken werden geweigerd, allemaal omdat een vraag plus de bijbehorende toestand de 32.768 tokens overschreed.
Een directe vergelijking van scores vertelt je dus dat een model dat is ontworpen voor korte classificatie over een venster van 512 tokens het slecht doet op een benchmark die is ontworpen voor beslissingsmodellen voor lange documenten. Dat is geen kritiek op Laya; het is een uitspraak over de suite. De nuttige vergelijking is per taak, en de kaart van Laya heeft er een: op MASSIVE-intentieclassificatie scoort het 0,783 Engels en op XNLI 0,860, op invoer die binnen het venster past. Karpo heeft geen equivalent gepubliceerd cijfer voor een korte taak met één classificatie, omdat de kaart ervan helemaal geen resultaten op taakniveau publiceert.
De specificaties, en wat elk ervan impliceert

• Parameters — Karpo 31,3B plus een readout van 255 × 5.376, 62,5 GB in bf16; Laya 421M, ongeveer 808 MB gedownload.
Architectuur — een backbone van een causaal taalmodel die alleen in prefill-modus draait met een lineaire readout, tegenover een bidirectionele encoder die elke optie scoort op zijn eigen [MASK]-token.
• Context — Karpo 32.768 tokens per sequentie, opgesplitst per vraag met de state herhaald; Laya 512 tokens in totaal in de geleverde configuratie, waarvan 192 zijn gereserveerd voor de optieprompt, waardoor er ongeveer 320 overblijven voor de state.
• Multimodaliteit — Karpo leest afbeeldingen en tekst; Laya leest alleen tekst. Er is geen visiepad in het Engelse checkpoint.
• Latentie — Karpo 94 ms mediaan op een referentie-GPU; Laya 39,5 ms gemeten op zijn eigen kaart, en de tracker registreert een mediaan van 5,8 ms op zijn hardware.
• Licentie — Apache-2.0 op beide, gewichten en code, geen gebruiksbeperkingen.
• Hosting — geen van beide draait op een gehost eindpunt van de uitgever. Laya heeft niets nodig behalve pip install laya.
De contextrij is de gehele beslissing. 320 bruikbare tokens voor de state is een supportticket, een e-mail, een chatbericht, een producttitel, een logregel. Het is geen factuur met regelitems of een beleidsdocument van veertig pagina's. Als je state langer is dan een alinea, kan Laya de vraag niet worden gesteld — niet slecht, niet langzaam, maar helemaal niet.
Waar het kleine model echt het juiste antwoord is
Er is een categorie beslissingen waarvoor Karpo absurd is, en Laya's ontwerp richt zich precies daarop. Denk aan een agent die bij elke stap een ja/nee nodig heeft over de vraag of een resultaat van een tool al dan niet aan de intentie lijkt te voldoen, of naar welke van zes retrievalbronnen een query moet gaan, of een gebruikersbericht een churnsignaal bevat. Dit zijn vragen op microsecondeschaal over één zin context, en er kunnen er vijftig in één gesprek zitten.
Bij 94 ms en een model van 62,5 GB in het geheugen kosten vijftig aanroepen bijna vijf seconden GPU-tijd per gesprek, op hardware die meer kost dan het verkeer rechtvaardigt. Bij een mediaan van 5,8 ms met een model van 800 MB dat op dezelfde machine draait als je applicatie, kosten dezelfde vijftig aanroepen een derde van een seconde en geen datacenterpost. Dat is geen marginaal verschil in een lus per stap; het is het verschil tussen een functie die het haalt en een die het niet haalt.
De kaart van Laya documenteert ook de faalmodi eerlijk, wat meer waard is dan een net specificatieblad. Het Engelse checkpoint bezwijkt bij niet-Latijnse schriften — Khmer op 0,000 nauwkeurigheid terwijl het 0,952 vertrouwen aangeeft — en dat is precies de zelfverzekerd foute faalwijze die een beslissingslaag niet mag hebben. De meegeleverde Router detecteert het schrift in minder dan een halve milliseconde in pure Python en routeert naar het meertalige checkpoint vóór de forward pass. Vragen met hoge cardinaliteit worden ook slechter: 77 opties in een budget van 256 tokens geven elk label drie of vier tokens, en de nauwkeurigheid van Banking77 zakt naar 0,425 tegenover Jev's 0,870. De kaart zegt dat je het head-budget moet verhogen in plaats van te doen alsof de standaardinstelling werkt.

Die combinatie — een klein model met gepubliceerde faalmodi en een gedocumenteerde oplossing voor elk daarvan — is operationeel nuttiger dan een betere score zonder uitsplitsing op taakniveau.
Waar het 31B-model zijn 62 GB verdient
De voordelen van Karpo zijn de voordelen die voortkomen uit het feit dat er een echt taalmodel in zit. Het leest een screenshot. Het houdt een beleidsdocument en een klantrecord in dezelfde status van 32.768 tokens en beantwoordt in één keer honderd vragen over beide, omdat de status één keer wordt berekend en elke vraag aftakt van het gedeelde blok zonder de opties van de andere te zien. Het verwerkt keuzes met 255 opties zonder tokenuitputting, omdat de readout codes scoort in plaats van optietekst in een vast budget te embedden.
Het categorieprofiel ondersteunt dit op een manier die nauw aansluit bij wat een groot model je oplevert. Karpo's kennis- en redeneervaardigheid is 65,5 tegenover Laya's 2,9 — een cijfer dat vooral de kennisvragen over lange context van de suite weerspiegelt, die Laya niet gesteld kunnen worden. Zijn vaardigheid op het gebied van tools en automatisering is 88,4 tegenover 5,8. Dat zijn geen fijne onderscheidingen tussen twee vergelijkbare modellen; het zijn twee verschillende klassen instrument.
Wat Karpo niet heeft, is enige operationele scaffolding. Geen ONNX-export, geen Core ML-build, geen MCP-server, geen pip-installeerbare agent die je op een workflowbeschrijving kunt richten en in een middag kunt fine-tunen. De community is al begonnen het te kwantiseren — een IQ3_M GGUF- en een NVFP4-build verschenen binnen twee weken — maar op het moment van schrijven is er geen officieel lichtgewicht traject en geen prijs.
De fine-tuningkloof, die meer deployments bepaalt dan het leaderboard doet.
Het allerbelangrijkste getal op Laya's kaart is geen benchmarkscore. Het is 0,766 tegen 0,362: de nauwkeurigheid van een fijnafgestemd checkpoint tegenover het basis-Engels model op 2.000 beslissingen verdeeld over vier workflows. Fijnafstemming zorgde voor meer dan een verdubbeling van de nauwkeurigheid op de workloads die ertoe deden.
Dat is in één zin het argument voor een 421M-model. Een klein model dat je binnen een uur kunt hertrainen op je eigen gelabelde beslissingen, verslaat een 31B-model dat je helemaal niet kunt hertrainen, op jouw verkeer, met jouw schema. Karpo's 73,9 is een gemiddelde over een privésuite; jouw distributie is die suite niet. Laya's 0,362 basisscore is ook een gemiddelde over de beslissingen van iemand anders, en beide modellen zullen verschuiven zodra de data van jou zijn — maar slechts één van hen komt met een gedocumenteerd traject om die verschuiving te realiseren.
Karpo is een volledige fine-tune van een 31B-checkpoint zonder gepubliceerd trainingsrecept en zonder adapter. Fine-tunen is in principe mogelijk en is niet iets wat de kaart ondersteunt, documenteert of verwacht.
Beide draaien is vaker het antwoord dan een van beide.
De twee modellen zijn eerder complementen dan substituten, en de opsplitsing is mechanisch. Stuur korte toestanden naar de encoder en lange naar de 31B. Het Router-patroon is aan de Laya-kant al de standaard die wordt geleverd; aan de Karpo-kant is het equivalent een groottecontrole op de toestand voordat je verzendt.
Waar een routeringslaag zijn waarde bewijst, is het derde geval: de laag daartussen. Als je states tussen 512 tokens en 32.768 liggen, past geen van beide goed — Laya weigert en Karpo is overkill en duur. Die middelste band is waar een als dienst aangeboden beslissingsmodel zinvol is, en Jev 1.14 staat in onze catalogus daarvoor, aanroepbaar met dezelfde sleutel als al het andere. Een drempelbeleid vóór één routeringseindpunt zetten — korte state naar de encoder die je zelf host, lange state naar een als dienst aangeboden model, onzekere output naar een beoordelingswachtrij — is een kleinere engineeringklus dan het draaien van een checkpoint van 62,5 GB, en het houdt de modelwissel buiten je applicatiecode. De catalogus met 200+ modellen, gefactureerd tegen de lijstprijs van de provider zonder opslag, bevat ook Gemma 4 31B, de basis waarvan Karpo is fine-tuned, wat een goedkope manier is om te controleren wat de fine-tune daadwerkelijk heeft opgeleverd voordat je er een GPU aan besteedt.
Als u tot één aanbeveling gedwongen wordt: begin met Laya. Het kost niets, het is binnen een minuut geïnstalleerd, en voor de korte, hoogfrequente beslissingen die een agent bij elke stap neemt, is het het juiste instrument — geen compromis. Stap over naar Karpo Decision 31B wanneer een toestand niet meer in één alinea past, en accepteer dat u dan een GPU, een download van 62 GB en een model koopt zonder prijs, zonder aankondiging en zonder onafhankelijke score. Het verschil van 64 punten op het leaderboard is reëel, en het meet iets dat pas van belang is zodra uw invoer lang genoeg is om het nodig te hebben.

