
Karpo Decision 31B vs Kev 27B: 문서화가 더 잘 된 모델이 14점 차로 패배
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 96 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
Karpo Decision 31B와 Kev 27B는 둘 다 TypeSafe의 Jev를 공개적으로 재현한 모델을 채점하는 커뮤니티 보드인 Decision Index에 올라 있으며, 두 모델 간 격차는 작지 않습니다. MachinePulse 모델은 73.9 Full이고 Jared Palmer의 Kev 27B는 59.6으로, 동일한 비공개 테스트에서 14점 차이입니다. Karpo가 보드 선두입니다. Kev는 307개 중 74위입니다.
그 결과는 어색하다. Kev 27B가 훨씬 더 엄격하게 문서화된 모델이고, 의사결정 모델이 실제로 기용되는 바로 그 속성인 확률의 정직성에서 Kev 27B는 자신을 앞서는 모델보다 측정 가능할 정도로 더 우수하기 때문이다. 이 두 주장은 동일한 두 출처에서 나오며, 이들이 왜 서로 모순되지 않는지 이해하는 것이 이 비교에서 가장 유용한 점이다.
점수 전에 각 모델이 무엇인지
Kev 27B는 Qwen3.8-27B의 전체 가중치 파인튜닝으로, Jared Palmer가 Apache-2.0에 따라 공개했습니다. 2026년 9월 30일에 공개된 두 번째 버전은 가중 평균입니다. 모든 백본 텐서는 파인튜닝된 가중치의 0.85배에 이전 버전 가중치의 0.15배를 더한 값이며, 포인터 헤드는 새 실행의 것을 유지합니다. 서빙되는 체크포인트는 백본 25.6B에 2.6M 파라미터 헤드를 더한 것으로, bf16 기준 51.3 GB이며, 헤드 파일에 단일 보정 온도 1.32가 내장되어 있습니다. 상태는 질문당 최소 8,192개 토큰으로 최대 65,536개 토큰까지 이어지며, 이 수치는 명목상이 아니라 검증된 것입니다 — 모델 카드에는 8k 기준선 대비 8k부터 64k까지 모든 구간에서의 쌍별 정확도 차이가 신뢰구간과 함께 공개되어 있습니다.
Karpo Decision 31B는 파인튜닝 모델입니다. 기반은 Gemma 4 31B 인스트럭션 튜닝 버전이며, MachinePulse가 2026년 11월 5일에 공개했고 Apache-2.0입니다. 이 모델은 bf16 상태의 31.3B 매개변수에 255 × 5,376 fp32 리드아웃을 더해 유지하며(디스크 기준 62.5GB), 토큰에 대한 포인터 헤드가 아니라 옵션 코드에 대한 선형 헤드를 통해 답합니다. 컨텍스트는 시퀀스당 32,768토큰이며, 요청이 넘치면 질문별로 분할되고, 단일 질문이 들어가지 않을 때는 잘라내지 않고 아예 거부합니다.
같은 작업, 다른 엔지니어링. Kev는 긴 문서를 읽고 분포를 만들어낸다. Karpo는 다소 더 짧은 문서를 읽고 분포를 만들어내는데, 더 빠르게.
14개 조항, 그리고 그것을 만들어낸 것

두 행 모두 같은 보드에서 나오므로, 이 섹션은 직접 빼기가 정당한 몇 안 되는 곳 중 하나입니다.
• 총점 — Karpo 73.9, Kev 59.6.
• 공개 지수 — Karpo 75.05, Kev 56.69.
• 전체 점수 기준 순위 — Karpo 1위(GLiDE 27B와 73.4점으로 공동 1위), Kev는 307명 중 74위.
• 지식과 추론 — Karpo 65.5 우연 보정 점수, Kev 45.7.
• 도구 및 자동화 — Karpo 88.4, Kev 72.7.
• 예술과 인간의 취향 — Karpo 68.2, Kev 42.7.
• 중앙값 지연 시간, GPU 1개, 한 번에 요청 1개 기준 — Karpo 94ms, Kev 135ms.
손실의 양상은 모든 범주에서 일관되며, 가장 큰 절대 격차는 지식 부문으로 거의 20점에 달한다. 이는 Kev를 문서 의사결정에 사용하려는 누구나 우려해야 할 부분이다. 이 모델은 문서 및 개발자 도구 작업에 집중적으로 훈련되었고 — 훈련 기록 145,840개 중 24,000개는 라이선스된 작업군에서 나왔으며, 또 다른 7,617개는 모아서 만든 긴 문서다 — 그럼에도 Karpo의 지식 역량의 3분의 2 수준에 머문다.
Kev 자체 카드는 나아가는 방향에 대해 솔직하다. 자체 범위 스위트에서 TypeSafe의 Jev와 비교해 측정했을 때, 이 카드는 지수 52.3, 신뢰구간 [49.2, 55.4]를 보고하는 반면 Jev는 54.0 [51.2, 57.0]이다 — 이는 패배라고 분명히 밝히며 미화하지 않는다. 자신의 패배 구간을 공개하는 팀이라면 다른 수치들에도 의심보다 신뢰를 줄 만하다. 바로 그 점이 59.6을 부끄러운 수치가 아니라 믿을 만한 수치로 만든다.
반대 방향으로 움직이는 숫자
반전은 이렇다. 보정 오차—제시된 확률이 관측된 적중률에서 얼마나 벗어나는가—는 Kev에게 유리하고, 그 차이도 근소하지 않다.
트래커는 Kev 27B의 기대 보정 오차를 2.18포인트로, Karpo Decision 31B는 4.77로 기록한다. 쉽게 말해 Kev가 0.8이라고 하면 약 80%의 경우 맞으며 평균 오차는 2포인트다. Karpo가 0.8이라고 하면 평균 오차는 5포인트에 더 가깝다. Kev의 카드는 자체적으로 이를 뒷받침하며, 패널별 ECE 수치 0.014에서 0.053 사이와 적합 오차를 4.8%에서 3.8%로 낮추는 5겹 교차 검증을 공개한다.
그래서 답변을 더 못하는 모델이 자신의 답변이 얼마나 좋은지 더 잘 파악한다. 이는 역설이 아니라 정확도와 캘리브레이션의 차이이며, 어떤 모델이 어디에 속하는지를 결정한다:
• 결정이 임계값에서 자동화된다면, 캘리브레이션이 결정적 속성입니다. 0.9로 설정된 게이트가 Karpo의 0.9 답변에서 작동하면 Kev의 동일한 게이트보다 약 두 배 더 자주 틀릴 것입니다. Kev의 낮은 정확도는 처리량을 희생시킵니다 — 더 많은 사례가 임계값 아래로 떨어져 검토로 넘어가기 때문입니다 — 그리고 더 나은 캘리브레이션 덕분에 기준을 통과한 사례들은 더 안전합니다.
• 결정이 검토되거나 점수화되는 경우에는 정확도가 압도적입니다. 사람이나 다운스트림 프로세스는 최상위 답변과 확률을 보게 되며, 14포인트의 정확도는 곧 올바르게 수행된 14포인트의 작업입니다. 아무도 임계값을 적용하지 않으면 Kev의 보정 우위는 아무 소용이 없습니다.

두 모델 모두 동일한 세 가지 질문 유형—최대 255개 선택지의 choice, 참/거짓용 noul, 순서형 루브릭용 score—을 제공하며, 둘 다 System One 형태의 HTTP 엔드포인트를 노출하므로 코드에서 선택을 되돌릴 수 있습니다. 이는 좋은 소식입니다. 그것에 대해 논쟁하는 대신 오후 한나절이면 자체 데이터로 측정할 수 있습니다.
사양이 실제로 갈리는 지점은 문서 길이입니다.
Karpo의 32,768토큰 상한은 시퀀스당이며, 분할 규칙은 "질문 단위이고 각 부분이 전체 상태를 그대로 지닌다"입니다. 20k토큰 계약에 걸친 100개의 질문이라면 한 번의 패스로 끝나고 별문제가 없습니다. 40k토큰 계약에 걸친 질문 하나라면 요청이 거부됩니다 — MachinePulse 자체 실행에서 140,178개 요청 중 9개가 바로 이렇게 실패했습니다.
Kev는 65,536토큰 상태를 버킷 단위로 검증하며, 장문 문서 패널은 실제 계약서를 다루는 사람에게 카드에서 가장 유용한 항목입니다. CUAD 상업 계약에서 Kev는 2,194개 질문 전반에 걸쳐 정확도 0.874를 보고하며, 버킷별 수치는 8k 미만부터 32k–64k 토큰까지 0.867에서 0.880 사이를 유지합니다. 정확도는 길이에 따라 무너지지 않습니다. 변하는 것은 보정입니다. 해당 장문 문서 패널의 오차는 0.053으로, 단문 문서 수치의 약 세 배입니다. 긴 상태에서 Kev의 확신은 느슨해집니다.
그래서 길이에 관한 솔직한 트레이드오프는 이렇습니다. Kev는 Karpo가 거부하는 문서를 받아들이고, 짧은 문서에 답할 때보다는 약간 덜 안정적으로 답할 것입니다. 두 모델 모두 조용히 잘라내지는 않는데, 이 점이 두 수치 어느 쪽보다 더 중요합니다. 물어본 조항을 슬그머니 빠뜨리는 결정 모델은 차라리 안 된다고 말하는 모델보다 나쁩니다.
배포, 가중치, 라이선스는 모두 공유합니다
두 모델 모두 가중치와 헤드가 Apache-2.0이며, 각자 자체 로더가 필요하고, 채팅 모델로 취급하면 둘 다 크게 실패한다. Kev는 80GB급 GPU가 필요하다 — 64k 토큰 상태는 H200에서 87.1GB까지 치솟았다 — 또는 약 96GB를 갖춘 Mac이 필요하다. Karpo는 62.5GB의 bf16 가중치를 담을 수 있는 GPU가 필요하다. 두 모델 모두 게시자가 제공하는 호스팅 엔드포인트가 없다. Kev는 자체 저장소의 서버에서, Karpo는 자체 패키지에서 제공된다. 둘 다 커뮤니티 양자화가 나왔는데, 이는 사람들이 이들을 읽기만 하는 게 아니라 실제로 실행하고 있다는 흔한 신호다.
135ms 대 94ms 차이는 동일하지 않은 하드웨어에서 요청당 측정된 것이므로 방향성 정도로만 해석하세요. 방향성이 아닌 것은 운영 형태입니다. Kev의 전체 시퀀스에 대한 비인과적 어텐션은 상태가 길어질수록 토큰당 비용이 더 커지는 반면, Karpo는 요청당 하나의 공유 상태를 계산하고 그로부터 질문들을 분기합니다. 워크로드가 짧은 상태에 대한 많은 질문이라면 Karpo가 바로 그런 용도로 만들어졌습니다. 긴 문서에 대한 하나의 질문이라면 Kev입니다.
어느 것을 실행할까요
64k 토큰 계약서를 모델에 맡겨야 하고, 확률에 임계값을 적용하며 그 임계값이 말한 그대로의 의미를 갖길 중시하고, 자신의 손실에 대한 신뢰구간을 공개하는 공급업체를 중시한다면 Kev 27B를 선택하십시오. 두 모델이 모두 참가한 평가에서 약 14포인트의 정확도를 감수하는 대신, 그 정확도가 무엇을 포괄하고 무엇을 포괄하지 않는지에 대한 이 분야 최고의 증거를 얻는 것입니다.
상태가 스크린샷, 티켓 또는 페이지이고 — 짧고, 질문이 많고, 지연에 민감하며 — 보드의 Full score를 중요하게 여기는 증거로 삼는다면 Karpo Decision 31B를 선택하세요. 이는 5포인트 캘리브레이션 오류와 32k 상한을 감수하는 대신, 94 ms의 현재 선두를 얻는 것입니다.
둘 모두 제공하지 않는 것은 프로덕션 엔드포인트입니다. 의사결정 레이어가 모든 도구 호출 전에 실행되는 게이트 뒤에 있어야 한다면, 이 중 하나를 직접 운영하거나 호스팅된 무언가를 호출하게 될 것입니다.TypeSafe의 Jev 1.14는 저희 카탈로그에 올라와 있으며 바로 그 역할을 맡고 있습니다. 두 체크포인트가 추격하도록 만들어진 모델이며 — 섀도 테스트의 대조군으로 유용한데, 서드파티 리더보드에서 목표를 앞서는 오픈 재현 모델이라면 여러분의 트래픽에서도 그것을 앞서야 하기 때문입니다. 카탈로그에는 두 기본 모델인 Gemma 4 31B와 Qwen3.8-27B도 있습니다. 이용 경로는200개 이상의 모델을 제공자 정가로 마크업 없이 이용할 수 있는 단일 API이며, 이는 GPU를 구매하기 전에 의사결정 레이어를 소유할 가치가 있는지 판단하는 가장 저렴한 방법입니다.
이 맞대결이 남기는 미해결 질문은 보드가 답할 수 없는 것이다. 카르포의 14점 우위가 실제 워크로드와 접촉한 뒤에도 살아남는지, 아니면 경쟁사의 분포보다 비공개 테스트 세트에 더 가까운 분포로 튜닝해서 생긴 종류의 우위인지다. 케브의 카드는 레코드 수까지 훈련 구성이 문서화되어 있지만, 카르포의 카드는 그렇지 않다. 그 비대칭은 어떤 것의 증거도 아니며, 어느 쪽 숫자든 믿기보다 측정해야 하는 이유다.

