
Karpo Decision 31B vs Nimble v3: Licensen svarar innan resultattavlan gör
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 184 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 215 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 87 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 97 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
Två beslutsmodeller släpptes samma höst nästan helt utan tillkännagivande, och de hamnar på motsatta sidor om den fråga som vanligtvis avgör ett köp. Nimble v3 – registrerad som Bespoke-Nimble-9B-v3, uppladdad till Hugging Face den 30 september 2026 – är en 9B LoRA-adapter under CC BY-NC 4.0, vilket modellkortet förklarar som "den får inte användas för kommersiella ändamål." Karpo Decision 31B, skapad den 5 november 2026 av MachinePulse, är en 31,3B Gemma 4-fintrimning under Apache-2.0 med Gemma 4:s egna villkor medföljande. Allt annat i den här jämförelsen – ett 22-poängsgap i leaderboarden, en trefaldig skillnad i viktstorlek, ett kalibreringsfel som skiljer sig med en faktor på 2,5 – är en följd av den delningen, och de flesta team upptäcker det först efter att de redan har valt en vinnare utifrån benchmarks.
{{1}}Ta licensen först, eftersom det är den enda delen av den här jämförelsen som både är avgjord och avgörande.{{/1}} Titta sedan {{2}}på vad siffrorna kan och inte kan säga dig, för på den sidan är nästan ingenting avgjort alls.{{/2}}
Vad varje repository faktiskt innehåller
Nimble v3 består av fem filer: en README, adapter_config.json, adapter_model.safetensors, en schema_config.json och .gitattributes. Det är en PEFT-adapter, inte en fristående modell, och den förväntar sig Qwen/Qwen3.5-9B som bas, vilket repositoryt inte duplicerar. Kortet beskriver en kontext och typade frågor – ett val bland alternativ, eller ja eller nej – och returnerar en sannolikhet för varje alternativ. Bespoke Labs har inte publicerat någon kontextlängd, något tak för antalet alternativ, ingen temperatur och ingen ändringsnotis för v3; familjens tidigare checkpoints dokumenterade en del av detta, men den här gör det inte.
Karpo Decision 31B är en fullständig checkpoint, 62,5 GB vikter vid 31,3B parametrar i bf16, plus ett 255 × 5 376 fp32-readout-huvud. Den läser text, JSON och bilder, tar upp till 255 alternativ per fråga, begränsar en sekvens till 32 768 token, delar längre förfrågningar per fråga och avvisar allt som fortfarande inte får plats i stället för att trunkera det. Den levereras med ett Python-paket och en HTTP-server i System One-formen, POST /v1/systemone, eftersom en generisk chat-completions-stack inte kan köra den: både branch-attentionen och readouten är bärande, och att läsa in checkpointen som en vanlig chattmodell kommer inte att återskapa dess svar.
Skillnaden mellan repona har en praktisk udd. Nimble v3:s README berättar inte hur man serverar det korrekt; Karpo-kortet gör det. Den ena är en checkpoint med en ägarmanual, den andra är en checkpoint med en licensrad.
Gapet, och de instrument du skulle behöva lita på för att tro på det
På Decision Index — communitytavlan som följer öppna reproduktioner av TypeSafe's Jev, nu i utgåva 0.4.1 — är de två siffrorna 73,86 och 51,06 på Full-poängen. Det är en skillnad på 22,8 poäng. Full-siffran är den som är mest värd att lita på, eftersom underhållarna körde den själva: ungefär 60 % av den kommer från tester av samma färdigheter som den publika sviten och 40 % från domäner som ingen hade publicerat för, och ingen av leverantörerna hade sett någon av halvorna i förväg. Karpos fördelning är 70,94 för samma färdigheter mot 61,5 för nya domäner. Nimble v3:s är 52,34 mot 38,2.
De offentliga siffrorna på varje kort är leverantörernas egna körningar av det officiella kitet och bör läsas separat: 75,05 för Karpo över 140 178 poängsatta förfrågningar, och 56,88 för Nimble v3 – den siffra som dess kort anger för den äldre 0.2.1-sviten, vilken nämndens omkörning anger till 57,19 på den aktuella skalan. Båda antogs av nämnden, vilket är ett faktiskt granskningssteg och inte samma sak som att ett oberoende labb kör modellen på sin egen hårdvara. Ingen av modellerna finns med på Artificial Analysis. Ingen utanför dessa två repositorier har poängsatt någon av dem.
Vad det innebär i praktiken är att de 22,8 poängen är mer tillförlitliga än de flesta leverantörsjämförelser och mindre tillförlitliga än en enda instrumentmätning av båda modellerna. De togs fram av en enda organisation med en enda testsvit och en enda formel, vilket verkligen är det bästa möjliga fallet för öppna beslutsmodeller – och testsviten är inofficiell, oavgjortbandet är 0,9 poäng och den privata hälften kan inte granskas av dig. Behandla riktningen som verklig och storleken som ungefärlig.
Där 9B-modellen ligger närmare än vad storleksgapet antyder

Dela upp resultattavlans fem kategoripoäng och berättelsen slutar vara en walkover. Inom verktyg och automatisering får Nimble v3 84,24 mot Karpos 88,39 – fyra poäng, från en modell som är en tredjedel så stor, i kategorin som omfattar verktygsval och agentgating. Det är det användningsfall som Bespoke Labs byggde familjen för, och det klarar storleksskillnaden mer eller mindre intakt. Om ditt beslutslager finns för att svara på ”bör den här agenten anropa verktyget, och vilket”, är 9B-adaptern i samma samtal som 31B-checkpointen.
På alla andra områden är gapet det man skulle förvänta sig. Språkförståelse ligger på 60,68 mot 76,78, informationssökning på 55,48 mot 76,42, kunskap på 40,96 mot 65,46, konst och öppna bedömningar på 44,05 mot 68,21. Karpos fördel är koncentrerad till precis de områden där en 31B-modells extra kapacitet borde löna sig: längre kontext, mer världskunskap, bättre läsning av ett tätt tillstånd.
Latens följer inte heller storleksgapet. På trackerns referenshårdvara – en GPU, en förfrågan i taget – uppmäter Nimble v3 en median på 73,9 ms mot Karpos 94,3 ms. Tjugo millisekunder är inte ett skäl att välja en modell, men det är en påminnelse om att en sammanslagen 9B-adapter är ett annat objekt att driva: den får plats på en bärbar dator i Q4, den laddas på sekunder och den kan ligga inne i en agentloop per steg utan en diskussion om GPU-budget.
Kalibrering, där den mindre modellen inte bara är svagare utan mindre ärlig
Träffsäkerhet säger hur ofta det bästa svaret är rätt. Kalibrering säger huruvida sannolikheten som är kopplad till det kan bära ett tröskelvärde, och för en beslutsmodell är det den enda siffran som spelar roll operationellt.
Karpos kort rapporterar ett förväntat kalibreringsfel på 4,8 punkter över 34 411 svar: genomsnittlig konfidens 87,96 % mot en faktisk träffsäkerhet på 83,19 %. I den högsta kategorin, som omfattar 68,5 % av alla svar, har den rätt 95,7 % av gångerna samtidigt som den anger 98,7 %. Överdrivet självsäker i toppen, med omkring tre punkter, medan kurvan i övrigt följer med.
Nimble v3 uppvisar en avvikelse på 12,29 poäng över 34 833 svar: konfidens 87,26 % mot träffsäkerhet 74,97 %. Det högsta intervallet innehåller 67 % av svaren, anger 98,6 % och har rätt 89,1 % – en överskattning med 9,5 poäng i det band där ett tröskelvärde faktiskt ligger. Under det är intervallen i mellanskiktet ännu sämre: vid ett påstått 0,85 har modellen rätt ungefär 59 % av gångerna. Det är inte en modell med en liten kalibreringsdrift; det är en modell vars konfidens inte kan användas som spärr utan omskalning, och familjens egen dokumentation lovade aldrig något annat.
Läs de två styckena tillsammans, och den ärliga slutsatsen är snävare än resultattavlan antyder. Karpo är bättre på beslut och bättre på att veta hur bra dess beslut är. Nimble v3 är billigare att köra, och i den enda kategori som betyder mest för agentarbete är den nära — men om du planerar att automatiskt acceptera över 0,9 och eskalera under, kommer du att spendera din första vecka på att anpassa en korrigering för Nimble som Karpo ger dig i sitt kort.
Licensgaffeln, uttryckt utan förbehåll
Nimble v3 är CC BY-NC 4.0. Det är inte tvetydigt: kortet säger att det inte får användas för kommersiella ändamål. Varje tidigare Nimble-checkpoint var Apache-2.0, och basmodellen är Apache-2.0, vilket inte ändrar något – en tillåtande bas gör inte en icke-kommersiell adapter mindre restriktiv, och det är i adaptern som beteendet sitter. GitHub-förrådet som innehåller projektets tränings- och kurateringskod rapporterar ingen licens alls via GitHubs API, vilket är ett separat och möjligen allvarligare problem för alla som planerar att bygga vidare på det.
Karpo Decision 31B är Apache-2.0 för vikter och kod, med Gemma 4:s villkor som medföljer i repositoryt. Det är den tillåtande änden av det öppna, med det vanliga Gemma-förbehållet att vidaredistribution i efterföljande led också måste omfattas av dessa villkor.
För en forskningsanteckningsbok, en intern utvärdering eller en artikel är distinktionen osynlig och Nimble v3 är det billigare alternativet. För allt som rör intäkter – en routinggrind i en kommersiell produkt, en triagemodell i en betald pipeline, till och med ett internt verktyg på ett vinstdrivande företag – avgör licensen matchen innan de 22,8 poängen ens får komma till tals. Bespoke Labs har en väg via hostat API och en platshållare för en 27B-variant som rapporterar 65,33 på den äldre offentliga sviten, och ingen av dem ändrar villkoren för 9B-adaptern.
Att servera endera är ett routingproblem innan det är ett modelleringsproblem.

Beslutsmodeller är smala till sin uppbyggnad: de svarar bara på de frågor du ger dem, de kan inte skriva, förklara eller returnera ett alternativ som du inte har tillhandahållit. Det gör dem till den lilla hälften av ett tvåmodellsmönster, och den hälft som är lättast att hålla internt. Den generativa hälften är där ett enda endpoint förtjänar sin plats.
OrcaRouter kör ingen av dessa checkpoints, och ingen av dem skulle vara meningsfull bakom en chat-completions-rutt. De två modeller som den faktiskt betjänar ligger ett lager längre ned: TypeSafes Jev 1.14, målet som hela resultattavlan är till för att återskapa, och den Gemma 4 31B-checkpoint som Karpo finjusterades utifrån. En nyckel täcker båda, prissättningen följer leverantörens lista utan något påslag, så en leverantörsändring når dig samma dag. Det som passar ett beslutshuvud är routningslagret framför det – ett routing-DSL som skickar varje förfrågningsklass till modellen som ska besvara den, med failover bakom det – så att ett nattligt omvärderingsjobb och en live-guardrail delar ett kontrakt medan själva beslutsmodellen ligger kvar där dess licens tillåter.
Tre saker som skulle förändra den här läsningen

Den första är en licensändring. En kommersiellt användbar Nimble-adapter på en Qwen3.5-9B-bas, med ett kontextkontrakt och en angiven temperatur, skulle göra 9B-alternativet genuint konkurrenskraftigt för agentstyrning – poängen 84,24 för tools säger att förmågan redan finns. Inget i Bespoke Labs offentliga material tyder på att det är på väg; övergången från Apache-2.0 till CC BY-NC gick i motsatt riktning.
Den andra är en kontext- och promptspecifikation. Nimble v3:s kort dokumenterar varken eller, vilket innebär att den som kör den får gissa sig till ett promptformat som tidigare versioner brukade leverera med. En modell vars indata rekonstrueras av användaren är en modell vars siffror är svåra att reproducera, och kalibreringsfelet på 12,3 punkter är en sådan siffra som blir bättre eller sämre beroende på hur man formulerar frågan.
Det tredje är varje oberoende instrument som läser båda. Decision Index är noggrant, transparent kring sin metod och ärligt kring sina oavgjorda band, och det är fortfarande en communitytavla. Den dag endera modellen dyker upp på Artificial Analysis bredvid en poängsättare från en hyperscaler upphör jämförelsen att vara aritmetik mellan två leverantörskort och blir en mätning. Det har inte hänt för någon av dem, och tills det gör det är den försvarbara hållningen den tråkiga: Apache-2.0 och bättre kalibrerad vid 31B om du kan köra den, icke-kommersiell och billig vid 9B om du inte kan, och ingen anledning att välja enbart utifrån poängraden.
