
Karpo Decision 31B vs Nimble v3: 라이선스가 리더보드보다 먼저 답한다
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 215 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gemma 4 fine-tune under Apache-2.0 with Gemma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.
그러니 먼저 라이선스부터 보자. 그것이 이 비교에서 확정되어 있으면서 동시에 결정적인 유일한 부분이기 때문이다. 그다음에는 숫자가 무엇을 알려 줄 수 있고 무엇을 알려 줄 수 없는지 살펴보자. 그쪽은 확정된 것이 거의 전혀 없기 때문이다.
각 저장소에 실제로 포함된 내용
Nimble v3는 다섯 개의 파일로 구성됩니다: README, adapter_config.json, adapter_model.safetensors, schema_config.json 및 .gitattributes. 이는 독립 실행형 모델이 아닌 PEFT 어댑터이며, 기본 모델로 Qwen/Qwen3.5-9B를 기대하는데 저장소는 이를 중복 포함하지 않습니다. 이 카드는 컨텍스트와 유형화된 질문(선택지 중 하나를 고르는 질문 또는 예/아니오 질문)을 설명하고 각 옵션에 대한 확률을 반환합니다. Bespoke Labs는 v3에 대해 컨텍스트 길이, 옵션 상한, 온도 및 변경 노트를 공개하지 않았습니다. 패밀리의 이전 체크포인트들은 그중 일부를 문서화했지만, 이 체크포인트는 그렇지 않습니다.
Karpo Decision 31B는 전체 체크포인트로, bf16 기준 31.3B 파라미터의 62.5GB 가중치와 255 × 5,376 fp32 리드아웃 헤드를 갖추고 있습니다. 텍스트, JSON, 이미지를 읽고, 질문당 최대 255개의 선택지를 받으며, 시퀀스를 최대 32,768 토큰으로 제한하고, 더 긴 요청은 질문별로 분할하며, 그래도 들어가지 않는 것은 잘라내지 않고 거부합니다. System One 형태의 Python 패키지와 HTTP 서버를 제공합니다, POST /v1/systemone, 일반적인 chat-completions 스택으로는 실행할 수 없기 때문입니다. 브랜치 어텐션과 리드아웃 모두 핵심을 담당하며, 체크포인트를 일반 채팅 모델로 로드하면 그 답변을 재현할 수 없습니다.
저장소 차이는 실용적인 측면이 있습니다. Nimble v3의 README는 올바르게 서빙하는 방법을 알려주지 않지만, Karpo 카드는 알려줍니다. 하나는 사용 설명서가 딸린 체크포인트이고, 다른 하나는 라이선스 문구 한 줄이 딸린 체크포인트입니다.
그 격차, 그리고 그것을 믿으려면 신뢰해야 하는 도구들
On the Decision Index — the community board tracking open reproductions of TypeSafe's Jev, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.
각 카드의 공개 수치는 벤더가 공식 키트로 자체 실행한 결과이므로 별도로 읽어야 합니다. Karpo는 140,178개의 채점된 요청 전반에서 75.05이고, Nimble v3는 56.88입니다. 이는 해당 카드가 구버전 0.2.1 스위트에서 표기하는 수치이며, 보드의 재실행에서는 현재 척도로 57.19로 나옵니다. 두 수치 모두 보드에서 채택되었는데, 이는 실제 검토 단계이긴 하지만 독립 연구소가 자체 하드웨어에 모델을 올려 평가하는 것과는 다릅니다. 두 모델 모두 Artificial Analysis에는 나오지 않습니다. 이 두 저장소 밖의 누구도 둘 중 어느 것도 채점하지 않았습니다.
실제로 이것이 의미하는 바는 22.8점이 대부분의 벤더 비교보다 더 신뢰할 만하고, 두 모델을 모두 측정한 단일 기기 판독값보다는 덜 신뢰할 만하다는 것입니다. 이 점수는 한 조직이 하나의 스위트에 하나의 공식을 적용해 산출한 것으로, 공개 의사결정 모델에 이용 가능한 진정한 최선의 사례입니다. 다만 그 스위트는 비공식이고, 동점 구간은 0.9점이며, 비공개 절반은 당신이 검사할 수 없습니다. 방향은 실제로 받아들이고 크기는 대략적인 것으로 보십시오.
9B 모델이 크기 격차가 시사하는 것보다 더 가까운 부분

보드의 다섯 가지 카테고리 점수를 쪼개 보면, 이야기는 더 이상 일방적인 승리가 아니다. 도구 및 자동화에서 Nimble v3는 Karpo의 88.39에 맞서 84.24점을 기록한다 — 3분의 1 크기 모델에서 나온 4점 차이며, 도구 선택과 에이전트 게이팅을 다루는 카테고리에서다. 그것이 Bespoke Labs가 이 패밀리를 만든 사용 사례이고, 크기 차이에도 불구하고 거의 온전하게 살아남는다. 당신의 결정 계층이 "이 에이전트가 도구를 호출해야 하는가, 그리고 어느 도구인가"에 답하기 위해 존재한다면, 9B 어댑터는 31B 체크포인트와 같은 논의 안에 있다.
그 밖의 모든 영역에서 격차는 예상할 수 있는 그대로입니다. 언어 이해는 60.68 대 76.78, 검색은 55.48 대 76.42, 지식은 40.96 대 65.46, 예술 및 개방형 판단은 44.05 대 68.21입니다. Karpo의 우위는 31B 모델의 추가 용량이 성과를 내야 할 바로 그 지점, 즉 더 긴 컨텍스트, 더 많은 세계 지식, 밀도 높은 상태를 더 잘 읽어내는 능력에 집중되어 있습니다.
지연 시간도 크기 격차를 따라가지 않습니다. 트래커의 참조 하드웨어에서 — GPU 하나, 한 번에 요청 하나 — Nimble v3는 중앙값 73.9ms를 기록한 반면 Karpo는 94.3ms입니다. 20밀리초는 모델을 선택할 이유는 아니지만, 병합된 9B 어댑터는 운영해야 하는 다른 대상이라는 점을 상기시켜 줍니다: Q4에서 노트북에 들어가고, 몇 초 만에 로드되며, GPU 예산 논의 없이 단계별 에이전트 루프 안에 들어갈 수 있습니다.
캘리브레이션, 더 작은 모델이 단순히 더 약한 것이 아니라 덜 정직한 경우
정확도는 최상위 답변이 얼마나 자주 맞는지를 알려준다. 캘리브레이션은 그 답변에 부여된 확률이 임계값을 감당할 수 있는지를 알려주며, 의사결정 모델에서 운영상 중요한 숫자는 그것뿐이다.
Karpo의 카드는 34,411개의 응답에 걸쳐 4.8포인트의 기대 보정 오차를 보고합니다: 평균 확신도 87.96% 대 실제 정확도 83.19%. 전체 응답의 68.5%를 포함하는 최상위 구간에서는 98.7%라고 주장하면서 95.7%의 확률로 맞습니다. 상단 끝에서 약 3포인트 과신하고 있으며, 그 외 곡선은 대체로 따라갑니다.
Nimble v3의 값은 34,833개 응답에서 12.29포인트입니다. 신뢰도는 87.26%인 반면 정확도는 74.97%입니다. 최상위 버킷은 응답의 67%를 차지하고 98.6%를 주장하며 89.1%가 맞습니다. 즉, 임계값이 실제로 존재하는 구간에서 9.5포인트 과대 주장입니다. 그 아래의 중간 범위 버킷은 더 나쁩니다. 0.85라고 주장할 때 모델은 약 59%의 경우에만 맞습니다. 이는 작은 보정 드리프트가 있는 모델이 아니라, 재조정 없이는 신뢰도를 게이트로 사용할 수 없는 모델이며, 해당 제품군 자체 문서도 그와 다르게 약속한 적이 없습니다.
두 문단을 함께 읽으면 솔직한 결론은 리더보드가 시사하는 것보다 좁습니다. Karpo는 의사결정을 더 잘하고, 자신의 결정이 얼마나 좋은지 아는 것도 더 잘합니다. Nimble v3는 실행 비용이 더 저렴하고, 에이전트 작업에 가장 중요한 한 범주에서는 근접합니다. 하지만 0.9 이상은 자동 수락하고 그 아래는 에스컬레이션할 계획이라면, Karpo가 카드에서 바로 제공하는 보정을 Nimble에 맞춰 첫 주를 보내게 될 것입니다.
에두르지 않고 말한 라이선스 포크
Nimble v3는 CC BY-NC 4.0입니다. 이는 모호하지 않습니다. 모델 카드에는 상업적 목적으로 사용할 수 없다고 명시되어 있습니다. 이전의 모든 Nimble 체크포인트는 Apache-2.0이었고 기본 모델도 Apache-2.0이지만, 이는 아무것도 바꾸지 않습니다 — 허용적인 기본 모델이 비상업적 어댑터를 느슨하게 만들지는 않으며, 동작이 존재하는 곳은 어댑터입니다. 프로젝트의 학습 및 큐레이션 코드를 보관하는 GitHub 저장소는 GitHub API를 통해 라이선스를 전혀 보고하지 않는데, 이는 이를 기반으로 구축하려는 사람에게 별개의, 어쩌면 더 심각한 문제입니다.
Karpo Decision 31B is Apache-2.0 for weights and code, with Gemma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.
연구 노트, 내부 평가, 또는 논문의 경우에는 그 차이가 보이지 않으며 Nimble v3가 더 저렴한 진입점이다. 수익과 관련된 모든 것 — 상용 제품 내부의 라우팅 게이트, 유료 파이프라인의 트리아지 모델, 심지어 영리 기업의 내부 도구까지 — 에서는 22.8점이 심사를 받기도 전에 라이선스가 그 승부를 결정한다. Bespoke Labs에는 호스팅 API 경로와, 이전 공개 스위트에서 65.33을 보고하는 27B 변형에 대한 플레이스홀더가 있으며, 둘 다 9B 어댑터의 조건을 바꾸지 않는다.
둘 중 하나를 서빙하는 것은 모델링 문제이기 전에 라우팅 문제입니다.

의사결정 모델은 구조적으로 범위가 좁습니다. 주어진 질문에만 답할 뿐, 글을 쓰거나 설명하거나 제공되지 않은 선택지를 내놓을 수 없습니다. 그래서 이들은 두 모델 패턴의 작은 절반이며, 사내에 두기 가장 쉬운 절반입니다. 생성형 절반이야말로 단일 엔드포인트가 제값을 하는 부분입니다.
OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Jev 1.14, the target the whole board exists to reproduce, and the Gemma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.
이 해석을 바꿀 세 가지

첫 번째는 라이선스 변경입니다. Qwen3.5-9B 기반의 상업적으로 사용 가능한 Nimble 어댑터가 컨텍스트 계약과 명시된 temperature를 갖춘다면, 9B 옵션은 에이전트 게이팅에서 진정으로 경쟁력을 갖추게 될 것입니다 — 84.24 tools 점수는 그 능력이 이미 갖춰져 있음을 말해줍니다. Bespoke Labs의 공개 자료 어디에도 그것이 다가오고 있음을 시사하는 내용은 없습니다. Apache-2.0에서 CC BY-NC로의 전환은 오히려 반대 방향으로 갔습니다.
두 번째는 컨텍스트 및 프롬프트 명세입니다. Nimble v3의 카드에는 둘 다 문서화되어 있지 않기 때문에, 이를 실행하는 사람은 이전 릴리스에서 제공하던 프롬프트 형식을 추측하게 됩니다. 입력이 사용자에 의해 재구성되는 모델은 수치를 재현하기 어려운 모델이며, 12.3포인트 보정 오류는 질문을 어떻게 구성하느냐에 따라 좋아지거나 나빠지는 유형의 수치입니다.
세 번째는 두 모델을 모두 평가하는 독립적인 도구다. Decision Index는 신중하고 방법에 대해 투명하며 동점 구간에 대해 정직하지만, 여전히 하나의 커뮤니티 게시판이다. 어느 모델이든 Artificial Analysis에서 하이퍼스케일러 평가자 옆에 등장하는 날, 비교는 두 벤더 카드에 걸친 산수가 아니라 측정이 되기 시작한다. 그런 일은 둘 중 어느 쪽에도 일어나지 않았고, 그때까지 방어 가능한 입장은 지루한 것이다: 실행할 수 있다면 Apache-2.0이며 31B에서 더 잘 보정된 쪽, 실행할 수 없다면 비상업적이고 9B에서 저렴한 쪽, 그리고 점수만 보고 고를 이유는 없다.
