Ett genererat titelkort med rubriken ”Karpo Decision 31B vs Laya” och underrubriken ”En 31B-ledare mot en 421M-encoder som du kan köra på en laptop”, tre chips med texten ”Karpo: 31,3B, 62,5 GB, 32 768 tokens”, ”Laya: 421M, 808 MB, 512 tokens” och ”Totalpoäng 73,9 vs 9,2”, samt ett par platta ikoner – ett GPU-rack för datacenter märkt ”kräver en GPU” och en laptop märkt ”körs på en laptop”.
Guides & Insights

Karpo Decision 31B vs Laya: En 31B-ledare mot en 421M-encoder som du kan köra på en laptop

Författare

Gideon Frost

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Ställ Karpo Decision 31B bredvid Laya, och den ärliga första reaktionen är att någon har gjort ett enhetsfel. Karpo är en Gemma 4-finjustering med 31,3 miljarder parametrar som behöver 62,5 GB vikter och en datacenter-GPU. Laya är en ModernBERT-encoder med 421 miljoner parametrar från Convai Innovations, Apache-2.0, 808 MB på disk, som körs på en laptop och svarar på ungefär 33 millisekunder. På Decision Index, det community-board som båda finns med på, är gapet i Full score 73,9 mot 9,2 — den största spridningen i hela den här omgången jämförelser.

Och ändå är Laya modellen som levererar ett underhållet pip-paket, en MCP-server, ONNX- och Core ML-byggen samt en finjusteringsväg med ett dokumenterat noggrannhetslyft från 0.362 till 0.766 på en verklig uppsättning arbetsflöden. Karpo levererar en README och ett repository. Den intressanta frågan är inte vilken modell som är bättre. Det är vad var och en av dem faktiskt är till för, eftersom poänggapet och användbarhetsgapet pekar i motsatta riktningar och bara ett av dem spelar roll i taget.

Vad de två talen betyder, och varför jämförelsen är ojämn med flit

Layas 9,21 Full-poäng på trackern är ett chanskorrigerat skicklighetstal, och dess råa noggrannhet över samma svit är 37,7 % med en täckning på 0,76 – vilket innebär att ungefär en fjärdedel av svitens förfrågningar aldrig besvarades alls. Trackern registrerar varför: 320 förfrågningar markerades som icke-stödda, övervägande eftersom en instruktion var längre än Layas inbyggda budget och modellen vägrar i stället för att trunkera. I en svit byggd för modeller som accepterar ett tillstånd på 32k token konkurrerar en encoder på 512 token inte, den faller tillbaka på standardbeteende.

Karpo besvarar samma svit med 99,87 % täckning och 83,2 % rå noggrannhet. Nio förfrågningar avvisades, alla på grund av att en fråga plus dess tillstånd överskred 32 768 token.

En direkt poängjämförelse säger dig att en modell som är designad för kort klassificering över ett fönster på 512 token presterar dåligt på ett benchmark som är designat för beslutsmodeller för långa dokument. Det är inte en kritik av Laya; det är ett uttalande om sviten. Den användbara jämförelsen är per uppgift, och Layas modellkort har en sådan: på MASSIVE-avsiktsklassificering får den 0,783 för engelska och på XNLI 0,860, på indata som ryms inom dess fönster. Karpo har inget motsvarande publicerat tal för en kort, enskild klassificeringsuppgift, eftersom dess modellkort inte publicerar resultat på uppgiftsnivå överhuvudtaget.

Specifikationerna, och vad var och en innebär

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Parametrar – Karpo 31,3B plus en utläsning på 255 × 5 376, 62,5 GB i bf16; Laya 421M, cirka 808 MB nedladdat.

• Arkitektur — en kausal språkmodellsryggrad som körs endast i prefill-läge med en linjär utläsning, mot en bidirektionell encoder som poängsätter varje alternativ vid sin egen [MASK]-token.

• Kontext — Karpo 32 768 token per sekvens, uppdelade per fråga med tillståndet upprepat; Laya 512 token totalt i den levererade konfigurationen, varav 192 är reserverade för alternativprompten, vilket lämnar ungefär 320 för tillståndet.

• Multimodalitet – Karpo läser bilder och text; Laya läser endast text. Det finns ingen synväg i den engelska checkpointen.

• Latens — Karpo 94 ms i median på ett referens-GPU; Laya 39,5 ms uppmätt på sitt eget kort, och spåraren registrerar en median på 5,8 ms på sin hårdvara.

• Licens — Apache-2.0 för både vikter och kod, inga användningsrestriktioner.

• Hosting — ingen av dem finns på en hostad slutpunkt från sin utgivare. Laya behöver inget annat än pip install laya.

Kontextraden är hela beslutet. 320 användbara tokens för tillståndet motsvarar ett supportärende, ett e-postmeddelande, ett chattmeddelande, en produkttitel, en logglinje. Det är inte en faktura med radposter eller en fyrtiosidig policy. Om ditt tillstånd är längre än ett stycke kan frågan inte ställas till Laya — inte dåligt, inte långsamt, utan inte alls.

Där den lilla modellen verkligen är rätt svar

Det finns en typ av beslut som det är absurt att använda Karpo för, och Layas design är direkt inriktad på den. Tänk dig en agent som vid varje steg behöver ett ja/nej på om ett verktygsresultat verkar uppfylla avsikten, eller vilken av sex retrievalkällor en fråga bör gå till, eller om ett användarmeddelande innehåller en churn-signal. Det är frågor på mikrosekundsnivå om en mening kontext, och det kan finnas femtio av dem i en enda konversation.

Med 94 ms och en resident modell på 62,5 GB är femtio anrop nästan fem sekunder GPU-tid per konversation, på hårdvara som kostar mer än trafiken motiverar. Med 5,8 ms i median och en modell på 800 MB som körs på samma maskin som din applikation kostar samma femtio anrop en tredjedel av en sekund och ingen rad på datacenterfakturan. Det är ingen marginell skillnad i en stegvis loop; det är skillnaden mellan en funktion som lanseras och en som inte gör det.

Layas kort dokumenterar också fellägena ärligt, vilket är värt mer än ett prydligt datablad. Den engelska checkpointen kollapsar på icke-latinska skript – khmeriska vid 0,000 noggrannhet samtidigt som den anger 0,952 konfidens – vilket är precis det självsäkert felaktiga fel som ett beslutsfattarlager inte får ha. Den levererade Router identifierar skriptet på under en halv millisekund i ren Python och dirigerar till den flerspråkiga checkpointen före forward-passet. Frågor med hög kardinalitet försämras också: 77 alternativ inom en budget på 256 tokens ger varje etikett tre eller fyra tokens, och Banking77-noggrannheten faller till 0,425 mot Jevs 0,870. Kortet säger att du ska höja head-budgeten i stället för att låtsas att standardinställningen fungerar.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Den kombinationen – en liten modell med publicerade felsätt och en dokumenterad åtgärd för vart och ett – är mer operativt användbar än en bättre poäng utan uppdelning på uppgiftsnivå.

Där 31B-modellen förtjänar sina 62 GB

Karp os fördelar är de som kommer av att det har en riktig språkmodell inuti sig. Det läser en skärmbild. Det håller ett policydokument och en kundpost i samma 32 768-tokenstillstånd och besvarar hundra frågor om båda i en enda genomkörning, eftersom tillståndet beräknas en gång och varje fråga förgrenar sig från det delade blocket utan att se de övrigas alternativ. Det hanterar val med 255 alternativ utan tokenbrist, eftersom utläsningen poängsätter koder i stället för att bädda in alternativtext i en fast budget.

Kategoriprofilen bekräftar detta på ett sätt som tydligt motsvarar vad en stor modell ger dig. Karpos kunskaps- och resonemangsförmåga är 65,5 mot Layas 2,9 – en siffra som mest återspeglar testsvitens långkontextfrågor om kunskap, som man inte kan ställa till Laya. Dess förmåga inom verktyg och automatisering är 88,4 mot 5,8. Det här är inte hårfina skillnader mellan två jämförbara modeller; det är två olika klasser av instrument.

Det Karpo saknar är de operativa stödstrukturerna. Ingen ONNX-export, inget Core ML-bygge, ingen MCP-server, ingen pip-installerbar agent som du kan peka på en arbetsflödesbeskrivning och finjustera på en eftermiddag. Communityt har redan börjat kvantisera det – en IQ3_M GGUF och ett NVFP4-bygge dök upp inom två veckor – men i skrivande stund finns ingen officiell lösning för små resursbehov och inget pris.

Finjusteringsgapet, som avgör fler driftsättningar än resultattavlan gör

Det enskilt viktigaste numret på Layas kort är inte en benchmarkpoäng. Det är 0,766 mot 0,362: träffsäkerheten för en finjusterad checkpoint mot den engelska basmodellen på 2 000 beslut över fyra arbetsflöden. Finjusteringen mer än fördubblade träffsäkerheten på de arbetsbelastningar som spelade roll.

Det är argumentet för en 421M-modell på en rad. En liten modell som du kan träna om på dina egna märkta beslut på en timme kommer att slå en 31B-modell som du inte kan träna om alls, på din trafik, med ditt schema. Karpos 73,9 är ett genomsnitt över en privat svit; din fördelning är inte den sviten. Layas baspoäng på 0,362 är också ett genomsnitt över någon annans beslut, och båda modellerna kommer att förändras när data är din — men bara en av dem levereras med en dokumenterad väg för att göra den förändringen.

Karpo är en fullständig finjustering av en 31B-checkpoint utan publicerat träningsrecept och utan adapter. Att finjustera den är i princip möjligt och är inte något som kortet stöder, dokumenterar eller förväntar sig.

Att köra båda, vilket oftare är svaret än någon av dem.

De två modellerna är mer komplement än substitut, och uppdelningen är mekanisk. Skicka korta tillstånd till encodern och långa till 31B.Router-mönstret är redan standard i leveransen på Laya-sidan; på Karpo-sidan är motsvarigheten en storlekskontroll av tillståndet innan du skickar det.

Det är i det tredje fallet som ett routningslager verkligen är värt besväret: skiktet mellan dem. Om dina tillstånd ligger mellan 512 tokens och 32 768 passar ingen av dem särskilt bra — Laya vägrar och Karpo är överdrivet och dyrt. Det är i det mellanliggande bandet som en serverad beslutsmodell är meningsfull, och Jev 1.14 finns i vår katalog för det, anropbar med samma nyckel som allt annat. Att lägga en tröskelpolicy framför en enda routningsslutpunkt — kort tillstånd till encodern du kör, långt tillstånd till en serverad modell, osäkert utdata till en granskningskö — är ett mindre ingenjörsarbete än att driva en kontrollpunkt på 62,5 GB, och det håller modellbytet utanför din applikationskod. Katalogens 200+ modeller, fakturerade till leverantörens listpris utan påslag, omfattar även Gemma 4 31B, basen som Karpo finjusterades från, vilket är ett billigt sätt att kontrollera vad finjusteringen faktiskt gav innan du satsar en GPU på den.

Om jag måste ge en enda rekommendation: börja med Laya. Det kostar ingenting, installeras på en minut, och för de korta, högvolymbeslut som en agent fattar vid varje steg är det rätt instrument – inte en kompromiss. Byt till Karpo Decision 31B när ett tillstånd inte längre får plats i ett stycke, och acceptera att du då köper ett grafikkort, en nedladdning på 62 GB och en modell utan pris, utan tillkännagivande och utan oberoende poäng. Spridningen på 64 poäng i topplistan är verklig, och den mäter något som bara spelar roll när din indata är tillräckligt lång för att behöva det.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.