Ett genererat titelkort med rubriken 'Karpo Decision 31B vs Nimble v3' och underrubriken 'Licensen svarar innan resultattavlan gör det.' Nedanför finns två kort: 'Nimble v3' som listar '9B LoRA-adapter', 'CC BY-NC 4.0 — ingen kommersiell användning' och '51.06 Full poäng' bredvid ett stängt hänglås; och 'Karpo Decision 31B' som listar '31.3B fullständig checkpoint', 'Apache-2.0-vikter' och '73.86 Full poäng' bredvid ett öppet hänglås.
Guides & Insights

Karpo Decision 31B vs Nimble v3: Licensen svarar innan resultattavlan gör

Författare

Elias Hawthorne

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Två beslutsmodeller släpptes samma höst nästan helt utan tillkännagivande, och de hamnar på motsatta sidor om den fråga som vanligtvis avgör ett köp. Nimble v3 – registrerad som Bespoke-Nimble-9B-v3, uppladdad till Hugging Face den 30 september 2026 – är en 9B LoRA-adapter under CC BY-NC 4.0, vilket modellkortet förklarar som "den får inte användas för kommersiella ändamål." Karpo Decision 31B, skapad den 5 november 2026 av MachinePulse, är en 31,3B Gem​ma 4-fintrimning under Apache-2.0 med Gem​ma 4:s egna villkor medföljande. Allt annat i den här jämförelsen – ett 22-poängsgap i leaderboarden, en trefaldig skillnad i viktstorlek, ett kalibreringsfel som skiljer sig med en faktor på 2,5 – är en följd av den delningen, och de flesta team upptäcker det först efter att de redan har valt en vinnare utifrån benchmarks.

{{1}}Ta licensen först, eftersom det är den enda delen av den här jämförelsen som både är avgjord och avgörande.{{/1}} Titta sedan {{2}}på vad siffrorna kan och inte kan säga dig, för på den sidan är nästan ingenting avgjort alls.{{/2}}

Vad varje repository faktiskt innehåller

Nimble v3 består av fem filer: en README, adapter_config.json, adapter_model.safetensors, en schema_config.json och .gitattributes. Det är en PEFT-adapter, inte en fristående modell, och den förväntar sig Qwen/Qwen3.5-9B som bas, vilket repositoryt inte duplicerar. Kortet beskriver en kontext och typade frågor – ett val bland alternativ, eller ja eller nej – och returnerar en sannolikhet för varje alternativ. Bespoke Labs har inte publicerat någon kontextlängd, något tak för antalet alternativ, ingen temperatur och ingen ändringsnotis för v3; familjens tidigare checkpoints dokumenterade en del av detta, men den här gör det inte.

Karpo Decision 31B är en fullständig checkpoint, 62,5 GB vikter vid 31,3B parametrar i bf16, plus ett 255 × 5 376 fp32-readout-huvud. Den läser text, JSON och bilder, tar upp till 255 alternativ per fråga, begränsar en sekvens till 32 768 token, delar längre förfrågningar per fråga och avvisar allt som fortfarande inte får plats i stället för att trunkera det. Den levereras med ett Python-paket och en HTTP-server i System One-formen, POST /v1/systemone, eftersom en generisk chat-completions-stack inte kan köra den: både branch-attentionen och readouten är bärande, och att läsa in checkpointen som en vanlig chattmodell kommer inte att återskapa dess svar.

Skillnaden mellan repona har en praktisk udd. Nimble v3:s README berättar inte hur man serverar det korrekt; Karpo-kortet gör det. Den ena är en checkpoint med en ägarmanual, den andra är en checkpoint med en licensrad.

Gapet, och de instrument du skulle behöva lita på för att tro på det

På Decision Index — communitytavlan som följer öppna reproduktioner av TypeSafe's Je​v, nu i utgåva 0.4.1 — är de två siffrorna 73,86 och 51,06 på Full-poängen. Det är en skillnad på 22,8 poäng. Full-siffran är den som är mest värd att lita på, eftersom underhållarna körde den själva: ungefär 60 % av den kommer från tester av samma färdigheter som den publika sviten och 40 % från domäner som ingen hade publicerat för, och ingen av leverantörerna hade sett någon av halvorna i förväg. Karpos fördelning är 70,94 för samma färdigheter mot 61,5 för nya domäner. Nimble v3:s är 52,34 mot 38,2.

De offentliga siffrorna på varje kort är leverantörernas egna körningar av det officiella kitet och bör läsas separat: 75,05 för Karpo över 140 178 poängsatta förfrågningar, och 56,88 för Nimble v3 – den siffra som dess kort anger för den äldre 0.2.1-sviten, vilken nämndens omkörning anger till 57,19 på den aktuella skalan. Båda antogs av nämnden, vilket är ett faktiskt granskningssteg och inte samma sak som att ett oberoende labb kör modellen på sin egen hårdvara. Ingen av modellerna finns med på Artificial Analysis. Ingen utanför dessa två repositorier har poängsatt någon av dem.

Vad det innebär i praktiken är att de 22,8 poängen är mer tillförlitliga än de flesta leverantörsjämförelser och mindre tillförlitliga än en enda instrumentmätning av båda modellerna. De togs fram av en enda organisation med en enda testsvit och en enda formel, vilket verkligen är det bästa möjliga fallet för öppna beslutsmodeller – och testsviten är inofficiell, oavgjortbandet är 0,9 poäng och den privata hälften kan inte granskas av dig. Behandla riktningen som verklig och storleken som ungefärlig.

Där 9B-modellen ligger närmare än vad storleksgapet antyder

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

Dela upp resultattavlans fem kategoripoäng och berättelsen slutar vara en walkover. Inom verktyg och automatisering får Nimble v3 84,24 mot Karpos 88,39 – fyra poäng, från en modell som är en tredjedel så stor, i kategorin som omfattar verktygsval och agentgating. Det är det användningsfall som Bespoke Labs byggde familjen för, och det klarar storleksskillnaden mer eller mindre intakt. Om ditt beslutslager finns för att svara på ”bör den här agenten anropa verktyget, och vilket”, är 9B-adaptern i samma samtal som 31B-checkpointen.

På alla andra områden är gapet det man skulle förvänta sig. Språkförståelse ligger på 60,68 mot 76,78, informationssökning på 55,48 mot 76,42, kunskap på 40,96 mot 65,46, konst och öppna bedömningar på 44,05 mot 68,21. Karpos fördel är koncentrerad till precis de områden där en 31B-modells extra kapacitet borde löna sig: längre kontext, mer världskunskap, bättre läsning av ett tätt tillstånd.

Latens följer inte heller storleksgapet. På trackerns referenshårdvara – en GPU, en förfrågan i taget – uppmäter Nimble v3 en median på 73,9 ms mot Karpos 94,3 ms. Tjugo millisekunder är inte ett skäl att välja en modell, men det är en påminnelse om att en sammanslagen 9B-adapter är ett annat objekt att driva: den får plats på en bärbar dator i Q4, den laddas på sekunder och den kan ligga inne i en agentloop per steg utan en diskussion om GPU-budget.

Kalibrering, där den mindre modellen inte bara är svagare utan mindre ärlig

Träffsäkerhet säger hur ofta det bästa svaret är rätt. Kalibrering säger huruvida sannolikheten som är kopplad till det kan bära ett tröskelvärde, och för en beslutsmodell är det den enda siffran som spelar roll operationellt.

Karpos kort rapporterar ett förväntat kalibreringsfel på 4,8 punkter över 34 411 svar: genomsnittlig konfidens 87,96 % mot en faktisk träffsäkerhet på 83,19 %. I den högsta kategorin, som omfattar 68,5 % av alla svar, har den rätt 95,7 % av gångerna samtidigt som den anger 98,7 %. Överdrivet självsäker i toppen, med omkring tre punkter, medan kurvan i övrigt följer med.

Nimble v3 uppvisar en avvikelse på 12,29 poäng över 34 833 svar: konfidens 87,26 % mot träffsäkerhet 74,97 %. Det högsta intervallet innehåller 67 % av svaren, anger 98,6 % och har rätt 89,1 % – en överskattning med 9,5 poäng i det band där ett tröskelvärde faktiskt ligger. Under det är intervallen i mellanskiktet ännu sämre: vid ett påstått 0,85 har modellen rätt ungefär 59 % av gångerna. Det är inte en modell med en liten kalibreringsdrift; det är en modell vars konfidens inte kan användas som spärr utan omskalning, och familjens egen dokumentation lovade aldrig något annat.

Läs de två styckena tillsammans, och den ärliga slutsatsen är snävare än resultattavlan antyder. Karpo är bättre på beslut och bättre på att veta hur bra dess beslut är. Nimble v3 är billigare att köra, och i den enda kategori som betyder mest för agentarbete är den nära — men om du planerar att automatiskt acceptera över 0,9 och eskalera under, kommer du att spendera din första vecka på att anpassa en korrigering för Nimble som Karpo ger dig i sitt kort.

Licensgaffeln, uttryckt utan förbehåll

Nimble v3 är CC BY-NC 4.0. Det är inte tvetydigt: kortet säger att det inte får användas för kommersiella ändamål. Varje tidigare Nimble-checkpoint var Apache-2.0, och basmodellen är Apache-2.0, vilket inte ändrar något – en tillåtande bas gör inte en icke-kommersiell adapter mindre restriktiv, och det är i adaptern som beteendet sitter. GitHub-förrådet som innehåller projektets tränings- och kurateringskod rapporterar ingen licens alls via GitHubs API, vilket är ett separat och möjligen allvarligare problem för alla som planerar att bygga vidare på det.

Karpo Decision 31B är Apache-2.0 för vikter och kod, med Gemma 4:s villkor som medföljer i repositoryt. Det är den tillåtande änden av det öppna, med det vanliga Gemma-förbehållet att vidaredistribution i efterföljande led också måste omfattas av dessa villkor.

För en forskningsanteckningsbok, en intern utvärdering eller en artikel är distinktionen osynlig och Nimble v3 är det billigare alternativet. För allt som rör intäkter – en routinggrind i en kommersiell produkt, en triagemodell i en betald pipeline, till och med ett internt verktyg på ett vinstdrivande företag – avgör licensen matchen innan de 22,8 poängen ens får komma till tals. Bespoke Labs har en väg via hostat API och en platshållare för en 27B-variant som rapporterar 65,33 på den äldre offentliga sviten, och ingen av dem ändrar villkoren för 9B-adaptern.

Att servera endera är ett routingproblem innan det är ett modelleringsproblem.

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

Beslutsmodeller är smala till sin uppbyggnad: de svarar bara på de frågor du ger dem, de kan inte skriva, förklara eller returnera ett alternativ som du inte har tillhandahållit. Det gör dem till den lilla hälften av ett tvåmodellsmönster, och den hälft som är lättast att hålla internt. Den generativa hälften är där ett enda endpoint förtjänar sin plats.

OrcaRouter kör ingen av dessa checkpoints, och ingen av dem skulle vara meningsfull bakom en chat-completions-rutt. De två modeller som den faktiskt betjänar ligger ett lager längre ned: TypeSafes Je​v 1.14, målet som hela resultattavlan är till för att återskapa, och den Gem​ma 4 31B-checkpoint som Karpo finjusterades utifrån. En nyckel täcker båda, prissättningen följer leverantörens lista utan något påslag, så en leverantörsändring når dig samma dag. Det som passar ett beslutshuvud är routningslagret framför det – ett routing-DSL som skickar varje förfrågningsklass till modellen som ska besvara den, med failover bakom det – så att ett nattligt omvärderingsjobb och en live-guardrail delar ett kontrakt medan själva beslutsmodellen ligger kvar där dess licens tillåter.

Tre saker som skulle förändra den här läsningen

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

Den första är en licensändring. En kommersiellt användbar Nimble-adapter på en Qwen3.5-9B-bas, med ett kontextkontrakt och en angiven temperatur, skulle göra 9B-alternativet genuint konkurrenskraftigt för agentstyrning – poängen 84,24 för tools säger att förmågan redan finns. Inget i Bespoke Labs offentliga material tyder på att det är på väg; övergången från Apache-2.0 till CC BY-NC gick i motsatt riktning.

Den andra är en kontext- och promptspecifikation. Nimble v3:s kort dokumenterar varken eller, vilket innebär att den som kör den får gissa sig till ett promptformat som tidigare versioner brukade leverera med. En modell vars indata rekonstrueras av användaren är en modell vars siffror är svåra att reproducera, och kalibreringsfelet på 12,3 punkter är en sådan siffra som blir bättre eller sämre beroende på hur man formulerar frågan.

Det tredje är varje oberoende instrument som läser båda. Decision Index är noggrant, transparent kring sin metod och ärligt kring sina oavgjorda band, och det är fortfarande en communitytavla. Den dag endera modellen dyker upp på Artificial Analysis bredvid en poängsättare från en hyperscaler upphör jämförelsen att vara aritmetik mellan två leverantörskort och blir en mätning. Det har inte hänt för någon av dem, och tills det gör det är den försvarbara hållningen den tråkiga: Apache-2.0 och bättre kalibrerad vid 31B om du kan köra den, icke-kommersiell och billig vid 9B om du inte kan, och ingen anledning att välja enbart utifrån poängraden.