
Karpo Decision 31B, 출시 게시글 하나 없이 307개 모델 리더보드에서 1위
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 96 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
2026년 11월 12일, TypeSafe의 Jev에 대한 공개 재현을 추적하는 커뮤니티 리더보드인 Decision Index는 Karpo Decision 31B를 전체 점수(Full score) 73.9로 1위에 올렸는데, 이는 307개 항목 중 최고 점수였습니다. 같은 주에 이 모델이 Google의 공개 Gemma 4 31B를 파인튜닝한 모델이며 Google 자체의 Gemini Decision 1을 능가한다는 주장이 돌기 시작했습니다. 이 두 진술 중 오늘날 독자가 확인할 수 있는 것은 하나뿐이며, 그 둘 사이의 차이가 바로 이 이야기의 전부입니다. Karpo를 1위로 올린 그 리더보드는 공개되어 있고 날짜가 명시되어 있으며, 연구소가 공개한 45MB 결과 파일로 재현할 수 있습니다. Gemini Decision 1과의 직접 비교는 한 번도 실행된 적이 없습니다. 두 모델은 단일 리더보드를 공유하지 않으며, 점수를 매긴 도구도 같은 도구가 아닙니다.
전반부를 이상하게 만드는 것은 점수가 아니다. 그것은 그 주변의 침묵이다. Karpo를 만든 싱가포르 회사 MachinePulse Pte. Ltd.는 2026년 11월 5일에 Hugging Face 저장소를 만들었고, 같은 날 GitHub에 추론 저장소를 공개했으며, 11월 12일에는 더 작은 형제 모델 다섯 개—12B, 9B, 4B, 2B, 0.8B—를 공개했다. 이 글을 쓰는 현재 제품 페이지도, 블로그 글도, 가격 책정도, 모델 발표도, API도 없다. 회사 자체 사이트는 그러한 항목이 있어야 할 모든 경로에서 404를 반환한다. Karpo는 가중치, README, Python 패키지, 그리고 리더보드 한 줄로 존재한다. 이 글은 그 네 가지가 무엇을 말해 줄 수 있고 무엇을 말해 줄 수 없는지에 관한 것이다.

날짜들, 그리고 그것이 평소보다 더 중요한 이유
저장소 생성 타임스탬프는 2026년 11월 5일 15:33 UTC입니다. GitHub 추론 코드는 22분 후에 생성되었습니다. Decision Index 실행 데이터셋, 즉 73.9를 감사 가능하게 만드는 항목은 11월 6일 05:18 UTC에 업로드되었습니다. README는 11월 16일에도 여전히 편집되고 있었으며, 마지막 두 커밋은 저작권 문구와 라이선스 문구 외에는 아무것도 바꾸지 않았습니다.
그것은 활성 저장소와 출시 발표가 없는, 2주 된 모델이다. 유출도 아니고, 더 오래된 무언가의 이름 변경도 아니다: 가중치는 새롭고, 라이선스 파일도 새로우며, 6개 모델 제품군은 단 한 번의 오후에 푸시되었다. 그것은 마케팅보다 먼저 아티팩트를 공개하기로 한 연구소다.
73.9가 정확히 무엇을 측정하는지

현재 Decision Index는 에디션 0.4.1입니다. Full 점수는 위원회의 유지관리자들이 비공개 테스트로 계산합니다. 대략 60%의 과제는 공개 스위트와 동일한 기술에서, 40%는 공개 스위트가 다루지 않는 영역에서 나옵니다. Karpo의 행은 Full 73.9로 표시되며, 동일 기술 부분에서 70.7, 새 영역 부분에서 78.6입니다. 마지막 두 숫자는 이례적인 순서를 보입니다. 모델은 보통 자신이 튜닝된 기술보다 낯선 영역에서 더 나쁜 성적을 냅니다. 그리고 카드는 이에 대해 아무 논평 없이 보고합니다.
리더보드는 선두와 0.9점 이내에 있는 모델들에게 동일한 순위를 부여하므로, Karpo가 단독 1위를 차지하지는 않습니다. 73.4점의 GLiDE 27B가 #1 자리를 공유합니다. 그 뒤에는 72.6점의 REAX 1.3, 72.3점의 Logits Sigma-1 Duo, 72.1점의 Copernicus-31B, 71.9점의 KnowLine 31B Gen1.5가 있습니다. 이는 압도적인 1위가 아니라 치열한 상위권입니다.
카드의 두 번째 숫자인 75.05는 출처가 다르며 다르게 읽어야 합니다. 이는 공개 지수이며, MachinePulse가 공식 채점 키트를 자체 실행한 결과에서 나온 것입니다 — 채점된 요청은 140,178건이고, 그중 9건은 단일 질문과 그 상태가 32,768토큰 창을 초과해 거부되었습니다. 위원회는 그 실행 결과를 채택했습니다. 일반적인 공급업체 수치보다 이를 더 신뢰할 수 있는 이유는 실행 디렉터리가 공개되어 있기 때문입니다: results.jsonl.gz, 요청별 점수 파일, 환경 매니페스트. 누구나 키트를 다시 실행해 비교할 수 있습니다. 위원회의 채택 자체가 검토 단계입니다. 이는 대부분의 출시 주장이 충족하는 기준보다 더 강한 기준이며, 여전히 독립 연구소가 자체 하드웨어에서 모델을 채점하는 것과 같지는 않습니다.
그렇다면 {{1}}두 개의 레이블{{/1}}이며, 이 둘은 합쳐져서는 안 됩니다: {{2}}전체 점수{{/2}}는 비공개 테스트를 바탕으로 제3자가 계산한 것이고; {{3}}공개 지수{{/3}}는 공개 스위트를 바탕으로 제1자가 계산하여 채택한 것입니다. 어느 쪽도 일반적인 의미의 벤더 벤치마크가 아닙니다. 어느 쪽도 Artificial Analysis가 아닙니다.
왜 "Gemini Decision 1을 능가한다"는 아직 측정된 진술이 아닌가
Gemini Decision 1에는 숫자가 있습니다. Artificial Analysis는 이를 Decision Index v2.1에서 65.98점으로 평가했습니다. 이 지수는 문서 결정, 도구 호출, 지식, 추론, 불변성 전반에 가중치를 둔 여섯 가지 평가를 종합한 것입니다. 그 순위표에서 이 모델은 AA가 순위를 매기는 의사결정 모델 중 11위로, 74.85점의 d1.2-ultra, 72.62점의 Drex Max v1.1, 72.58점의 SubQ Snap 1.2 아래에 있고 62.07점의 Microsoft-Decision-1 위에 있습니다. 채점은 AA의 기준과 AA의 하드웨어에서 이루어지며, 실행 비용은 100만 작업당 $345입니다.
Karpo는 그 보드에 전혀 나타나지 않습니다. Artificial Analysis에는 그것에 대한 페이지도, 행도 없습니다. Karpo를 싣고 있는 Decision Index 트래커에도 Gemini Decision 1은 나타나지 않습니다 — 그 보드는 공개 재현물의 등록부이며, Google의 모델은 재현할 가중치가 없는 폐쇄형 API 전용 제품입니다.
모두가 하고 있는 이 비교는 서로 다른 작업 구성, 서로 다른 비공개 테스트 비중, 서로 다른 채점 공식을 가진 두 스위트에서 두 조직이 산출한 두 숫자로부터 나온 추론이다. 73.9는 방법론과 맞닿는 어떤 의미에서도 65.98보다 크지 않다. 내일 두 모델을 같은 키트로 돌린다면 Karpo가 이길 가능성이 높다—범주별 프로파일이 강력하기 때문이다—하지만 아무도 아직 돌려보지 않았고, 현재의 헤드라인은 결과의 옷을 걸친 가설일 뿐이다.
알아둘 만한 추가 변수가 하나 더 있는데, 이는 그 주장에 유리하기보다는 불리하게 작용한다. 트래커의 다섯 가지 범주별 분석에서 Karpo의 가장 취약한 영역은 지식 및 추론으로, 우연 보정 점수 65.5다. 가장 강한 영역은 도구 및 자동화로 88.4다. AA의 리더보드에서 Gemini Decision 1이 거의 모든 것을 앞서는 단일 구성요소는 지식 구성요소다. AA-Omniscience에서 66.3으로, 여기서 확인한 네 모델 중 최고다. Google 모델이 가장 뛰어난 영역은 Gemma 파인튜닝이 상대적으로 가장 취약한 영역이다. 직접 맞대결이라면 그 지점에서는 일방적 승리가 아니라 진정한 승부가 될 것이며, 바로 그렇기 때문에 실행되지 않은 비교를 승리로 보고해서는 안 된다.
순위보다 더 흥미로운 카드의 부분

Karpo는 JSON 모드를 갖춘 채팅 모델이 아닙니다. 그것은 리드아웃입니다. 질문의 각 선택지에는 선택지 코드가 부여되고, 선형 헤드가 고정 슬롯에서 255개 코드에 점수를 매긴 다음, 질문이 실제로 제공한 선택지들에 대해 소프트맥스를 적용합니다. 생성되는 것은 없으므로 답은 항상 당신이 제공한 선택지 중 하나이며 출력 비용은 구조적으로 0입니다.
이 아키텍처는 지연 시간을 설명해 주기 때문에 한 단락으로 다룰 가치가 있다. 하나의 요청은 하나의 상태와 임의 개수의 질문으로 이루어지며, 하나의 시퀀스로 인코딩된다. 질문이 먼저, 그다음 상태, 그다음 질문마다 하나의 브랜치가 온다. 브랜치 어텐션을 사용하면 각 브랜치는 공유 블록과 자기 자신만 읽을 수 있고, 다른 브랜치는 절대 읽을 수 없다. 상태는 한 번만 계산된다. 따라서 하나의 청구서에 대한 질문 100개는 청구서를 약 한 번 통과하는 비용이 들 뿐, 100번 드는 것이 아니다.
• 매개변수 — bf16 기준 31.3B, 여기에 fp32의 255 × 5,376 리드아웃 포함; 디스크에서 약 62.5 GB.
• 컨텍스트 — 시퀀스당 32,768 토큰; 더 긴 요청은 질문별로 분할되며, 각 부분은 전체 상태를 그대로 지니고, 그래도 수용되지 않는 질문은 잘리는 대신 거부됩니다.
• 입력 — 텍스트, JSON 및 이미지. 스크린샷은 state.viewport_screenshot 또는 데이터 URL로 전달할 수 있습니다.
• 질문 유형 — choice(최대 255개 선택지), noul(참/거짓), score(정렬된 레벨).
• 인터페이스 — System One 형태의 Python API 및 HTTP 서버, POST /v1/systemone.
• 라이선스 — 가중치와 코드에는 Apache-2.0이 적용되며, Gemma 4 자체 라이선스도 저장소에 함께 포함되어 있습니다.
트래커의 참조 하드웨어에서 GPU 1개, 한 번에 요청 1개로 측정한 지연 시간은 중앙값 94ms입니다. 이는 턴마다 작은 호출을 20번 하는 단계별 에이전트 루프 안에서 눈에 띄지 않을 만큼 빠르지는 않고, 대화당 몇 번만 발생하는 도구 호출 게이트 뒤에 두기에는 충분히 빠릅니다. 이 카드는 보정 오차도 4.8포인트로 보고하는데, 이는 배포에서 실제로 판가름하는 수치입니다. 정확도는 최상위 답이 얼마나 자주 맞는지를 알려주고, 보정은 그 답에 붙은 확률에 임계값을 적용할 수 있는지를 알려줍니다.
확인되지 않은 것은 무엇인지, 분명하게 말하면
가격은 없습니다. "출시 전이라 비공개"가 아니라 — 요금표도, 호스팅 엔드포인트도, 콘솔도, 체험판도 없습니다. 오늘 Karpo Decision 31B를 사용하고 싶다면 62.5 GB를 내려받아 자신의 GPU에서 저장소에 포함된 로더로 실행해야 합니다. 체크포인트를 일반 채팅 모델로 로드해도 같은 답변이 재현되지 않습니다. 브랜치 어텐션과 리드아웃이 모두 필요합니다.
독립적인 점수는 없습니다. Decision Index는 비공식적이며 커뮤니티가 유지 관리합니다. 이는 신중하고 문서화가 잘 되어 있으며 방법론에 대해 이례적으로 투명하고, Artificial Analysis가 아니며, 자체 하드웨어에서 이 모델을 채점하도록 요청받은 적도 없습니다. 가장 강력한 제3자 요소는 유지 관리자들이 공급업체가 본 적 없는 테스트에서 Full score를 계산했다는 점입니다.
README 자체 설명 외에는 이 모델이 무엇을 위해 구축되었는지에 대한 공급업체의 진술이 없습니다. 그 설명은 에이전트가 각 단계에서 내리는 작은 판단, 즉 도구를 호출할지 먼저 물어볼지, 페이지에서 어떤 요소를 클릭할지, 정책상 반품이 가능한지에 관한 것입니다. 이 설명은 연구소의 프레이밍일 뿐, 독립적으로 검증된 범위가 아닙니다.
그리고 아무런 발표가 없다. 조용한 발표도, 체인지로그 항목도 없다. 가중치가 공개된 지 2주가 지났지만, 회사가 대외적으로 내보이는 것은 채용 페이지와 다른 제품 라인뿐이다.
이것이 그것을 시도하려는 팀을 어떤 상황에 놓는가
솔직히 요약하면, Karpo Decision 31B는 지난 2주간 가장 흥미로운 오픈 결정 모델이자 가장 뒷받침이 부족한 모델이다. 그 선두는 실재하지만 동률이며, 공개 지수는 재현 가능하고, 비공개 테스트 점수는 진정한 제3자 평가이며, 핵심 마케팅 주장 — 즉 Gemma 파인튜닝이 이제 Google의 자체 결정 모델을 능가한다는 주장 — 은 측정되지 않았다.
이미 의사결정 계층을 운영 중인 팀이라면 실용적인 경로는 마이그레이션이 아니라 섀도 배포입니다. 프로덕션 트래픽을 처리 중인 모델은 그대로 두고, 같은 요청에 대해 Karpo를 오프라인으로 실행한 뒤 레이블이 아니라 확률을 비교하세요. 4.8포인트 보정 오차는 대략 스무 개 답변 중 하나가 제시된 확률이 암시하는 것보다 더 높은 확신을 갖고 틀렸다는 뜻이며, 이를 사람 검토 큐로 만들지 인시던트로 만들지는 임계값 정책에 달려 있습니다. 나머지 스택 전체를 하나의 엔드포인트로 표준화하려는 경우, 이번 주에 실제로 접근할 수 있는 모델은 카탈로그에 있는 모델입니다 — Karpo의 베이스인 Gemma 4 31B 자체이며 다음을 통해 제공됩니다: 공급자 정가에 마크업 없이 200개 이상 모델을 위한 one API, 그리고 TypeSafe의 Jev 1.14, 즉 이 공개 재현 보드 전체가 쫓기 위해 만들어진 모델입니다. Karpo 역시 다른 모델들이 그랬던 것처럼 자기 자리를 얻어야 합니다: 호출 가능해지는 방식으로요.
주목할 것은 73.9가 아니다. MachinePulse가 다음 달에 제품 페이지와 가격, AA 제출을 내놓는지다. 웹사이트보다 먼저 가중치를 공개하는 연구소에는 보통 이유가 있고, 그 이유는 대개 호스팅 엔드포인트나 피벗으로 드러난다. 어느 쪽이든, AA 보드의 첫 독립 수치는 2주 동안의 리더보드 산수로는 해결되지 않은 것을 일주일 만에 판가름할 것이다.
이 글에서 비교한 모델1
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
