
Karpo Decision 31B vs Nimble v3: De licentie geeft het antwoord voordat de ranglijst dat doet
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 184 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 215 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 87 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 97 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gemma 4 fine-tune under Apache-2.0 with Gemma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.
Neem dus eerst de licentie, want dat is het enige deel van deze vergelijking dat zowel vaststaat als doorslaggevend is. Kijk dan naar wat de cijfers je wel en niet kunnen vertellen, want aan die kant staat vrijwel niets vast.
Wat elke repository daadwerkelijk bevat
Nimble v3 bestaat uit vijf bestanden: een README, adapter_config.json, adapter_model.safetensors, een schema_config.json en .gitattributes. Het is een PEFT-adapter, geen zelfstandig model, en verwacht Qwen/Qwen3.5-9B als basis, die de repository niet dupliceert. De kaart beschrijft een context en getypeerde vragen — een keuze uit opties, of ja of nee — en retourneert een waarschijnlijkheid voor elke optie. Bespoke Labs heeft geen contextlengte, geen optieplafond, geen temperatuur en geen wijzigingsnotitie voor v3 gepubliceerd; eerdere checkpoints van de familie documenteerden een deel daarvan, dit exemplaar niet.
Karpo Decision 31B is een volledig checkpoint, 62,5 GB aan gewichten bij 31,3B parameters in bf16, plus een 255 × 5.376 fp32-readouthead. Het leest tekst, JSON en afbeeldingen, accepteert tot 255 opties per vraag, begrenst een sequentie op 32.768 tokens, splitst langere verzoeken per vraag en weigert alles wat er dan nog steeds niet in past in plaats van het af te kappen. Het wordt geleverd als een Python-pakket en een HTTP-server in de System One-vorm, POST /v1/systemone, omdat een generieke chat-completions-stack het niet kan draaien: zowel de branch-attentie als de readout zijn essentieel, en het checkpoint laden als een gewoon chatmodel zal de antwoorden ervan niet reproduceren.
Het verschil tussen de repositories heeft een praktische kant. De README van Nimble v3 vertelt je niet hoe je het correct moet serveren; de Karpo-kaart wel. Het ene is een checkpoint met een handleiding, het andere een checkpoint met een licentieregel.
De kloof, en de instrumenten die je zou moeten vertrouwen om het te geloven
On the Decision Index — the community board tracking open reproductions of TypeSafe's Jev, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.
De openbare cijfers op elke kaart zijn de eigen runs van de leveranciers met de officiële kit en moeten afzonderlijk worden gelezen: 75,05 voor Karpo over 140.178 gescoorde verzoeken, en 56,88 voor Nimble v3 — het cijfer dat zijn kaart op de oudere 0.2.1-suite vermeldt, dat de herrun van de board op 57,19 op de huidige schaal zet. Beide werden door de board overgenomen, wat een echte beoordelingsstap is en niet hetzelfde als een onafhankelijk lab dat het model op zijn eigen hardware draait. Geen van beide modellen staat op Artificial Analysis. Niemand buiten deze twee repositories heeft een van beide gescoord.
Wat dat in de praktijk betekent, is dat de 22,8 punten betrouwbaarder zijn dan de meeste leveranciersvergelijkingen en minder betrouwbaar dan één instrumentmeting van beide modellen. Ze zijn geproduceerd door één organisatie op één suite met één formule, wat werkelijk het best beschikbare geval is voor open beslissingsmodellen — en de suite is onofficieel, de marge waarbinnen als gelijk wordt beschouwd is 0,9 punten, en de niet-openbare helft kan door jou niet worden geïnspecteerd. Behandel de richting als reëel en de grootte als bij benadering.
Waar het 9B-model dichterbij zit dan het grootteverschil doet vermoeden

Splits je de vijf categorie-scores van het scorebord op, dan is het verhaal niet langer een eenzijdige overwinning. Op het gebied van tools en automatisering scoort Nimble v3 84,24 tegen 88,39 voor Karpo — vier punten, van een model dat een derde zo groot is, in de categorie die toolselectie en agent-gating omvat. Dat is het gebruiksscenario waarvoor Bespoke Labs de familie heeft gebouwd, en dat blijft ondanks het grootteverschil min of meer intact. Als je beslissingslaag bedoeld is om de vraag te beantwoorden "moet deze agent de tool aanroepen, en welke", dan kun je de 9B-adapter gerust in hetzelfde gesprek noemen als het 31B-checkpoint.
Overal elders is de kloof precies zoals je zou verwachten. Taalbegrip scoort 60,68 tegen 76,78, retrieval 55,48 tegen 76,42, kennis 40,96 tegen 65,46, kunst en open-eindige beoordeling 44,05 tegen 68,21. Karpo's voorsprong is precies geconcentreerd op de plekken waar de extra capaciteit van een 31B-model zich zou moeten uitbetalen: langere context, meer wereldkennis, een betere lezing van een dichte toestand.
Latentie volgt ook niet het grootteverschil. Op de referentiehardware van de tracker — één GPU, één verzoek tegelijk — noteert Nimble v3 een mediaan van 73,9 ms tegenover 94,3 ms voor Karpo. Twintig milliseconden is geen reden om een model te kiezen, maar het is een herinnering dat een samengevoegde 9B-adapter een ander object is om te beheren: hij past op een laptop in Q4, laadt in seconden en kan in een agentlus per stap zitten zonder discussie over GPU-budget.
Calibratie, waarbij het kleinere model niet alleen zwakker, maar ook minder eerlijk is
Nauwkeurigheid vertelt je hoe vaak het beste antwoord juist is. Calibratie vertelt je of je op de daaraan gekoppelde waarschijnlijkheid een drempel kunt baseren, en voor een beslissingsmodel is dat operationeel gezien het enige getal dat ertoe doet.
Karpo's kaart meldt een verwachte kalibratiefout van 4,8 punten over 34.411 antwoorden: een gemiddelde zekerheid van 87,96% tegenover een werkelijke nauwkeurigheid van 83,19%. In de bovenste bucket, die 68,5% van alle antwoorden bevat, heeft het 95,7% van de tijd gelijk terwijl het 98,7% claimt. Aan de bovenkant te zelfverzekerd, met ongeveer drie punten, terwijl de curve verder goed volgt.
Nimble v3's is 12,29 punten over 34.833 antwoorden: vertrouwen 87,26% tegenover nauwkeurigheid 74,97%. De bovenste bucket bevat 67% van de antwoorden, claimt 98,6% en heeft in 89,1% van de gevallen gelijk — een overschatting van 9,5 punten in de band waar een drempel daadwerkelijk ligt. Daaronder zijn de midden-buckets nog slechter: bij een geclaimde 0,85 heeft het model ongeveer 59% van de tijd gelijk. Dat is geen model met een kleine kalibratiedrift; het is een model waarvan het vertrouwen niet als poort kan worden gebruikt zonder herschaling, en de eigen documentatie van de familie heeft nooit anders beloofd.
Lees die twee alinea's samen en de eerlijke conclusie is narrower dan de ranglijst suggereert. Karpo neemt betere beslissingen en weet beter hoe goed die beslissingen zijn. Nimble v3 is goedkoper in gebruik, en op de enige categorie die het meest van belang is voor agentwerk zit het dichtbij — maar als je van plan bent om boven 0,9 automatisch te accepteren en eronder te escaleren, zul je je eerste week besteden aan het afstellen van een correctie voor Nimble die Karpo je in zijn kaart geeft.
De licentie-fork, ronduit gesteld
Nimble v3 is CC BY-NC 4.0. Dat is niet dubbelzinnig: de kaart zegt dat het niet voor commerciële doeleinden mag worden gebruikt. Elk eerder Nimble-checkpoint was Apache-2.0, en het basismodel is Apache-2.0, wat niets verandert — een permissieve basis versoepelt geen niet-commerciële adapter, en de adapter is waar het gedrag zit. De GitHub-repository met de trainings- en curatiecode van het project meldt via de GitHub-API helemaal geen licentie, wat een apart en mogelijk nog ernstiger probleem is voor iedereen die erop wil voortbouwen.
Karpo Decision 31B is Apache-2.0 for weights and code, with Gemma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.
Voor een onderzoeksnotitieboek, een interne evaluatie of een paper is het onderscheid onzichtbaar en is Nimble v3 de goedkopere instap. Voor alles wat omzet raakt — een routeringspoort in een commercieel product, een triagemodel in een betaalde pijplijn, zelfs een interne tool bij een winstgericht bedrijf — beslist de licentie de vergelijking voordat de 22,8 punten überhaupt aan bod komen. Bespoke Labs heeft een gehoste API-route en een placeholder voor een 27B-variant die 65,33 rapporteert op de oudere publieke suite, en geen van beide verandert de voorwaarden voor de 9B-adapter.
Het serveren van een van beide is eerder een routeringsprobleem dan een modelleerprobleem.

Beslissingsmodellen zijn per definitie nauw: ze beantwoorden alleen de vragen die je ze voorlegt, ze kunnen niet schrijven, uitleggen of een optie teruggeven die je niet hebt aangeleverd. Daarmee vormen ze de kleine helft van een patroon met twee modellen, en de helft die het gemakkelijkst intern te houden is. De generatieve helft is waar één endpoint zich terugverdient.
OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Jev 1.14, the target the whole board exists to reproduce, and the Gemma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.
Drie dingen die deze lezing zouden veranderen

Het eerste is een licentiewijziging. Een commercieel bruikbare Nimble-adapter op een Qwen3.5-9B-basis, met een contextcontract en een opgegeven temperatuur, zou de 9B-optie echt concurrerend maken voor agent-gating — de tools-score van 84,24 geeft aan dat de capaciteit er al is. Niets in het openbare materiaal van Bespoke Labs wijst erop dat dat eraan komt; de overstap van Apache-2.0 naar CC BY-NC ging de andere kant op.
Het tweede is een specificatie van context en prompt. De modelkaart van Nimble v3 documenteert geen van beide, wat betekent dat iedereen die het uitvoert, moet raden naar een promptformaat dat eerdere releases meeleverden. Een model waarvan de invoer door de gebruiker wordt gereconstrueerd, is een model waarvan de cijfers moeilijk te reproduceren zijn, en de kalibratiefout van 12,3 punten is het soort cijfer dat beter of slechter wordt afhankelijk van hoe je de vraag formuleert.
De derde is elk onafhankelijk instrument dat beide meet. De Decision Index is zorgvuldig, transparant over zijn methode en eerlijk over zijn tie-bands, en het is nog steeds één communityboard. Op de dag dat een van beide modellen op Artificial Analysis naast een hyperscaler-scorer verschijnt, is de vergelijking geen rekenwerk meer over twee leverancierskaarten, maar een meting. Dat is voor geen van beide gebeurd, en totdat dat wel gebeurt, is de verdedigbare positie de saaie: Apache-2.0 en beter gekalibreerd op 31B als je het kunt draaien, niet-commercieel en goedkoop op 9B als je dat niet kunt, en geen reden om alleen op de scorelijn af te gaan.
