Ett genererat titelkort med rubriken "Karpo Decision 31B" och underrubriken "En 31B Gemma 4-fintrimning i toppen av en resultattavla med 307 modeller, utan något lanseringsinlägg i sitt namn", tre chips med texten "vikter: 5 november 2026", "Full poäng: 73,9" och "tillkännagivande: inget", en vågrät tidslinje med fyra punkter och texten "5 nov. kodförråd", "6 nov. poängsättningskörning", "12 nov. familj med sex modeller" och "16 nov. README-redigeringar", samt ett kort med ram och texten "inget pris", "ingen slutpunkt" och "ingen rad i Artificial Analysis".
Guides & Insights

Karpo Decision 31B toppar en 307-modellstabell – utan ett lanseringsinlägg i sitt namn

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Den 12 november 2026 placerade Decision Index – gemenskapens topplista som följer öppna reproduktioner av TypeSafe's Je​v – Karpo Decision 31B högst upp i sitt Full score, 73,9, det högsta av 307 poster. Samma vecka började påståendet cirkulera att den här modellen, en finjustering av Goog​les öppna Gemma 4 31B, slår Goog​les egen Gem​ini Decision 1. Endast ett av dessa två påståenden är något som en läsare kan kontrollera i dag, och skillnaden mellan dem är hela historien. Topplistan som placerar Karpo först är offentlig, daterad och reproducerbar från en resultatfil på 45 MB som labbet publicerade. Direktmatchen mot Gem​ini Decision 1 har aldrig genomförts: de två modellerna delar inte en enda topplista, och de instrument som de bedömdes med är inte samma instrument.

Det som gör den första halvan märklig är inte poängen. Det är tystnaden runt den. MachinePulse Pte. Ltd., Singaporeföretaget bakom Karpo, skapade Hugging Face-repositoriet den 5 november 2026, publicerade ett inferensrepo på GitHub samma dag och släppte fem mindre syskonmodeller – 12B, 9B, 4B, 2B och 0.8B – den 12 november. Vid tidpunkten för denna text finns det ingen produktsida, inget blogginlägg, ingen prissättning, inget modellmeddelande och inget API. Företagets egen webbplats returnerar 404 på varje sökväg som skulle kunna innehålla någon. Karpo existerar som vikter, en README, ett Python-paket och en rad i en resultattabell. Den här artikeln handlar om vad dessa fyra saker kan och inte kan berätta för dig.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Datumen, och varför de betyder mer än vanligt

Tidsstämpeln för repositoryts skapande är 5 november 2026 kl. 15:33 UTC. GitHub-inferenskoden skapades tjugotvå minuter senare. Datasetet för Decision Index-körningen – det som gör 73.9 granskningsbart – laddades upp den 6 november kl. 05:18 UTC. README-filen redigerades fortfarande den 16 november; de två senaste commitarna ändrade ingenting annat än en copyrightrad och ett licensmeddelande.

Det är en två veckor gammal modell med ett aktivt repo och ingen lansering. Det är inte en läcka, och det är inte en omdöpning av något äldre: vikterna är nya, licensfilen är ny och familjen med sex modeller pushades ut under en enda eftermiddag. Vad det är, är ett labb som bestämde sig för att publicera artefakten före marknadsföringen.

Vad 73,9 mäter, närmare bestämt

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

Decision Index är i sin nuvarande form utgåva 0.4.1. Dess Full-poäng beräknas av indexets ansvariga med hjälp av privata tester: ungefär 60 % uppgifter hämtade från samma färdigheter som den offentliga testsviten och 40 % från domäner som den offentliga testsviten inte täcker. Karpos rad visar 73,9 Full, med 70,7 på delen för samma färdigheter och 78,6 på delen för nya domäner. De två sista siffrorna ligger i en ovanlig ordning – en modell brukar prestera sämre på obekant terräng än på de färdigheter den finjusterats mot – och kortet rapporterar det utan kommentar.

Listan anger en och samma placering för modeller inom 0,9 poäng från ledaren, så Karpo har inte förstaplatsen ensam. GLiDE 27B, på 73,4, delar förstaplatsen. Bakom dem ligger REAX 1.3 på 72,6, Logits Sigma-1 Duo på 72,3, Copernicus-31B på 72,1 och KnowLine 31B Gen1.5 på 71,9. Det här är en tät topp, inte en ohotad ledning.

Det andra numret på kortet, 75,05, har ett annat ursprung och förtjänar att läsas annorlunda. Det är det offentliga indexet, och det kommer från MachinePulse egen körning av det officiella poängsättningskitet — 140 178 poängsatta förfrågningar, nio av dem avvisades eftersom en enda fråga plus dess tillstånd överskred fönstret på 32 768 token. Styrelsen antog den körningen. Anledningen till att lita på det mer än på en typisk leverantörssiffra är att körningskatalogen är offentlig: results.jsonl.gz, en poängfil per förfrågan, ett miljömanifest. Vem som helst kan köra kitet igen och jämföra. Att styrelsen själv antog den är granskningssteget. Det är en starkare standard än vad de flesta lanseringspåståenden uppfyller, och det är fortfarande inte samma sak som att ett oberoende labb poängsätter modellen på sin egen hårdvara.

Två etiketter alltså, och de bör inte slås samman: Full score beräknas av tredje part utifrån privata tester; det offentliga indexet beräknas av förstapart utifrån en offentlig testsvit och har antagits. Ingen av dem är ett leverantörsbenchmark i vanlig bemärkelse. Ingen av dem är Artificial Analysis.

Varför "beats Gemini Decision 1" ännu inte är ett uppmätt påstående

{{1}}Gem​ini Decision 1 har en siffra. Artificial Analysis poängsatte den till 65,98 på Decision Index v2.1, en sammansättning av sex utvärderingar viktade över dokumentbeslut, verktygsanrop, kunskap, resonemang och invarians. På den listan ligger den på elfte plats bland de beslutsmodeller som AA rangordnar, under d1.2-ultra på 74,85, Drex Max v1.1 på 72,62 och SubQ Snap 1.2 på 72,58, samt över Microsoft-Decision-1 på 62,07. Poängsättningen är AA:s, på AA:s hårdvara, och det kostar $345 per miljon uppgifter att köra.{{/1}}

Karpo förekommer inte alls på den tavlan. Artificial Analysis har ingen sida för det och ingen rad för det. Inte heller Gem​ini Decision 1 förekommer i Decision Index-trackern som listar Karpo – den tavlan är ett register över öppna reproduktioner, och Goog​les modell är en stängd produkt som endast finns via API och som inte har några vikter att reproducera.

Så jämförelsen som alla gör är en slutsats som dragits från två tal som tagits fram av två organisationer på två testsviter med olika uppgiftsblandningar, olika andelar privata tester och olika poängsättningsformler. 73,9 är inte större än 65,98 i någon mening som står sig när metoden granskas. Om de två imorgon kördes genom samma testpaket skulle Karpo mycket väl kunna vinna – dess profil per kategori är stark – men ingen har gjort det, och huvudrubriken är just nu en hypotes klädd i ett resultats kläder.

Det finns ytterligare en hake värd att känna till, eftersom den talar emot påståendet snarare än för det. I trackerns fem kategoriuppdelningar är Karpos svagaste område kunskap och resonemang, med 65,5 i chanskorrigerad förmåga. Dess starkaste är verktyg och automatisering, med 88,4. På AA:s resultattavla är den enda komponent där Gemini Decision 1 slår nästan allt kunskapskomponenten: 66,3 på AA-Omniscience, det högsta av de fyra modeller som granskats här. Det område där Googles modell är bäst är det område där Gemma-finetunen är jämförelsevis svagast. En direkt jämförelse skulle vara en verklig kamp där, inte en promenadseger, och det är just därför den icke genomförda jämförelsen inte bör rapporteras som en vinst.

Den del av kortet som är mer intressant än rankningen

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo är inte en chattmodell med ett JSON-läge. Det är en avläsning. Varje alternativ i en fråga får en alternativkod, och ett linjärt huvud poängsätter 255 koder i en fast position och kör sedan softmax över de alternativ som frågan faktiskt erbjöd. Inget genereras, så svaret är alltid ett av de val du angav och utdatakostnaden är strukturellt noll.

Arkitekturen är värd ett stycke eftersom den förklarar latensen. En förfrågan är ett tillstånd plus valfritt antal frågor, kodade som en enda sekvens: frågorna först, sedan tillståndet, sedan en gren per fråga. Grenattention låter en gren läsa det delade blocket och sig själv, aldrig en annan gren. Tillståndet beräknas en gång. Hundra frågor om en faktura kostar därför ungefär en genomgång av fakturan, inte hundra.

• Parametrar — 31,3B i bf16, plus en 255 × 5 376-utläsning i fp32; cirka 62,5 GB på disk.

• Kontext — 32 768 token per sekvens; en längre begäran delas upp per fråga, där varje del bär hela tillståndet, och en fråga som fortfarande inte får plats avvisas i stället för att trunkeras.

• Indata – text, JSON och bilder; en skärmbild kan skickas som state.viewport_screenshot eller som en data-URL.

• Frågetyper — val med upp till 255 alternativ, noul för sant/falskt, score för en ordnad nivå.

• Gränssnitt — ett Python-API och en HTTP-server i System One-form, POST /v1/systemone.

• Licens — Apache-2.0 för vikterna och koden, med Gem​ma 4:s egen licens som medföljer i repositoriet.

Den uppmätta latensen på trackerns referenshårdvara, med en GPU och en förfrågan i taget, är 94 ms i median. Det är inte tillräckligt snabbt för att vara osynligt i en stegvis agentloop som gör tjugo små anrop per tur, och det är tillräckligt snabbt för att ligga bakom en grind för verktygsanrop som utlöses ett fåtal gånger per konversation. Kortet rapporterar också ett kalibreringsfel på 4,8 punkter, vilket är siffran som en driftsättning faktiskt hänger på: träffsäkerhet säger hur ofta toppsvaret är rätt, kalibrering säger om sannolikheten som är kopplad till det kan användas med ett tröskelvärde.

Det som inte är bekräftat, sagt rakt ut.

Det finns inget pris. Inte "ej offentliggjort i väntan på lansering" – ingen prislista, ingen hostad endpoint, ingen konsol, ingen testversion. Om du vill ha Karpo Decision 31B idag laddar du ner 62,5 GB och kör den på din egen GPU med repositoriets egen loader. Att ladda checkpointen som en vanlig chattmodell kommer inte att återge dess svar; både branch attention och readout krävs.

Det finns ingen oberoende poäng. Decision Index är inofficiellt och underhålls av communityn. Det är noggrant, väl dokumenterat och ovanligt transparent vad gäller metod, och det är inte Artificial Analysis, och det har inte ombetts att poängsätta den här modellen på sin egen hårdvara. Det starkaste tredjepartselementet är att dess underhållare beräknade Full score på tester som leverantören aldrig såg.

Det finns inget leverantörsuttalande om vad modellen byggdes för utöver README:s egen beskrivning: de små anrop en agent gör vid varje steg – om den ska anropa ett verktyg eller fråga först, vilket element på en sida som ska klickas, om en retur är berättigad enligt en policy. Den beskrivningen är labbets inramning, inte en oberoende validerad omfattning.

Och det finns inget tillkännagivande. Inte ett tyst sådant, inte en ändringsloggspost. Två veckor efter att vikterna lades upp är företagets offentliga yta en rekryteringssida och en annan produktlinje.

Var detta lämnar ett team som vill prova det

Den ärliga sammanfattningen är att Karpo Decision 31B är den mest intressanta öppna beslutsmodellen de senaste två veckorna och den minst underbyggda. Dess försprång är verkligt men delat, dess offentliga index är reproducerbart, dess resultat på privata tester är verkligen från tredje part, och dess centrala marknadsföringspåstående — att en finjusterad Gem​ma nu slår Goog​le på deras egen beslutsmodell — är omätt.

För team som redan kör ett beslutslager är den praktiska vägen en skuggdriftsättning i stället för en migrering. Behåll modellen som hanterar produktionstrafiken, kör Karpo på samma förfrågningar offline och jämför sannolikheterna i stället för etiketterna: ett kalibreringsfel på 4,8 punkter innebär att ungefär vart tjugonde svar är fel med större säkerhet än vad dess angivna sannolikhet antyder, och det är din tröskelpolicy som förvandlar det till antingen en kö för mänsklig granskning eller en incident. Om ni standardiserar på en endpunkt för resten av stacken är de modeller ni faktiskt kan nå den här veckan de som finns i katalogen — Gemma 4 31B själv, som är Karpos bas och som tillhandahålls via one API för 200+ modeller till leverantörens listpris utan påslag, och TypeSafe:s Jev 1.14, modellen som hela den här öppna reproduktionstavlan byggdes för att jaga. Karpo måste förtjäna sin plats på samma sätt som de andra gjorde: genom att vara anropbar.

Det man ska hålla ögonen på är inte 73,9. Det är huruvida MachinePulse lanserar en produktsida, ett pris och en AA-inlämning under den kommande månaden. Ett labb som publicerar vikter före en webbplats har vanligtvis en anledning, och anledningen brukar visa sig antingen som en hostad endpoint eller en pivot. Hur som helst kommer det första oberoende numret på AA-tavlan att avgöra på en vecka det som två veckors resultattavlearitmetik inte har gjort.