Kimi K3.1 Pro 벤치마크: 모든 점수, 누가 산출했는지, 그리고 표가 아직 비어 있는 곳

Kimi K3.1 Pro 출시에서 가장 유용한 숫자는 Moonshot 자체 차트에 있지 않다. 벤더 표를 인용하지 않고 자체 평가를 수행하는 Artificial Analysis는 Kimi K3.1 Pro를 Intelligence Index에서 55로 측정한다. 이는 동급 215개 모델 중 4위이며, 53인 GPT-6 Astra보다 2점 높고, 58인 Claude Opus 5.5보다 3점 낮다. Moonshot의 출시 자료는 다르고 더 후한 이야기를 한다. Terminal-Bench 4.0에서 65.7%로, Astra에 귀속시키는 58.2%보다 7.5점 앞선다는 것이다. 두 숫자 모두 실제이며 둘 다 정직하게 산출되었지만, 누가 앞서는지에 대해서는 서로 엇갈린다. 그 불일치야말로 이 모델로 워크로드를 옮기기 전에 이해할 가치가 있는 것이다.

다음은 Kimi K3.1 Pro에 대해 공개된 모든 수치이며, 각 행에는 출처와 설정이 함께 붙어 있고, 표가 비어 있는 곳에는 메모가 달려 있습니다. 이는 이 블로그가 Anthropic과 OpenAI의 모델에 적용하는 것과 동일한 방식이며, 같은 이유에서입니다: 벤치마크 표는 모델만큼이나 하네스에 대한 주장이기도 합니다.

독립 번호, 첫 번째

Artificial Analysis는 자사 지수의 버전 4.3.2에서 해당 모델을 평가했으며, 이 지수는 열 가지 평가를 하나의 숫자로 통합합니다. 구매자에게 중요한 네 가지 수치는 다음과 같습니다:

• 지능 지수 — 55, 215개 모델 중 4위. 참고로 동급 모델의 중앙값은 27이며, 같은 버전의 지수에서 GPT-6 Astra (Max)는 53점, Claude Opus 5.5는 58점을 기록합니다.

• 작업당 비용 — Intelligence Index 작업당 $2.11, 비용 기준 113개 중 85위. GPT-6 Astra의 해당 비용은 $3.26입니다. 이 수치는 토큰당 가격을 워크로드 비용으로 환산한 값이며, 이 모델의 낮은 토큰 가격은 일부가 장황함에 다시 지출됩니다.

• 장황함 — 인덱스 실행 중 1억 5천만 개의 출력 토큰이 생성되었으며, 중앙값은 8천 7백만 개였습니다. 평가자는 이 모델을 {{1}}"매우 장황함"{{/1}}이라고 표현하는데, 이는 직접적으로 중요합니다. 출력은 이 모델 자체의 요율표에서 백만 토큰당 10달러로 비용이 큰 항목이기 때문입니다.

• 속도 — 평가자의 제공자에서 초당 출력 토큰 73.5개로, 평균 82개보다 느립니다. 자체 경로에서는 첫 토큰까지의 중앙값 시간이 7.15초이며, 이 수치가 대화형 코딩 세션에서 모델이 어떻게 느껴지는지를 결정합니다.

그 페이지에서 한 가지 표기는 짚고 넘어갈 만합니다. Artificial Analysis는 Kimi K3.1 Pro를 독점 모델로 분류하는데, 10월 24일 기준으로 가중치는 약속되었을 뿐 아직 공개되지 않았기 때문입니다. Moonshot이 예정된 날짜를 지킨다면 그 분류는 11월 4일까지는 바뀌어야 합니다.

설정이 첨부된 공급업체 표, 행별로

Moonshot은 출시와 함께 자체 평가 결과를 담은 방대한 표를 공개했으며, 여러 부분에서 같은 행에 Kimi K3.1 Pro와 Claude Opus 5.5, GPT-6 Astra를 나란히 비교합니다. 아래의 모든 수치는 해당 행에 별도로 명시되지 않는 한 벤더가 보고한 값입니다.

• Terminal-Bench 4.0 — Kimi K3.1 Pro는 65.7%, Claude Opus 5.5는 66.4%, GPT-6 Astra는 58.2%였습니다. 이것이 헤드라인입니다. 동시에 가장 많은 유의 사항이 붙는 항목이기도 합니다: Anthropic의 66.4%는 기본값보다 한 단계 높은 xhigh effort에서 산출되었고, Kimi 자체 실행은 모델 기본값인 max에서 이루어졌습니다. 두 수치는 서로 다른 하네스에서 나왔습니다.

• Kimi Code Bench 3.0, 장기 작업 — Kimi K3의 55.95% 대비 61.2%. 이번 출시에서 가장 깔끔한 전작 비교이자 가장 벤더 통제 하에 있는 비교입니다: 벤치마크와 하네스 모두 Moonshot 소유입니다.

• 도구를 사용한 BenchCAD — Kimi K3.1 Pro는 92.7%로, Claude Opus 5.5의 96.2%, GPT-6 Astra의 95.9%와 비교됩니다. 도구 없이에서는 72.8%로 Opus의 73.0%와 비교되며, Astra는 도구 미사용 수치를 보고하지 않았습니다. 이 항목은 도전자가 눈에 띄게 뒤처지는 행이며, 이번 출시 자체의 3D 제작 피치 한가운데에 위치합니다.

• Kimi Hallu Bench Hard — 도구 사용 시 주장 단위 환각률 8.3%, 도구 미사용 시 5.4%를 기록했다. 같은 벤치마크에서 GPT-6 Astra는 도구 사용 시 더 낮고(5.5 대 8.3), 도구 미사용 시에도 더 낮다(4.2 대 5.4). Claude Opus 5.5는 두 경우 모두 더 높다(15.0 및 6.8). Moonshot은 또한 이 비율이 Kimi K3의 23.4%에서 하락했다고 보고하며, 하나 이상의 사실 오류를 포함한 응답은 이제 이전 모델 해당 비율의 42.4%다.

• 재무 및 비즈니스 평가, 내부 — Financial Modeling 57.6 대 K3 50.4, Financial Research 70.4 대 58.8, Business Operation 37 대 8.9. 마지막 항목은 기존 모델이 거의 작동하지 못했던 작업에서 네 배 개선된 것입니다. 수치의 크기는 방향성으로만 해석하세요. 이는 Moonshot 자체 스위트입니다.

• OfficeQA Pro v2 — 64.4로, Moonshot은 이를 최첨단이라고 설명합니다. 해당 행에는 다른 공급업체의 수치가 나타나지 않습니다.

• xdev-bench-hard, pass@3 — 출시된 모델은 81.0%, 회사의 사이버 위험 감소 조치 없이 훈련된 체크포인트는 90.5%, Kimi K3는 33.3%입니다. 그 9.5포인트 격차는 Moonshot이 공격적 사이버 역량을 임계값 아래로 유지하기 위해 치렀다고 말하는 대가입니다.

표가 아직 비어 있는 곳

이번 출시에 관한 보도가 이 세 가지 공백을 대체로 건너뛰었기 때문에, 이들을 짚고 넘어갈 필요가 있다.

첫 번째는 Moonshot 자체 API 문서에 있습니다. 출시 당일 Kimi K3.1 Pro 퀵스타트 페이지에는 Terminal-Bench 4.0, Terminal-Bench-Science 0.1 및 내부 코딩 점수가 들어가야 할 자리에 여전히 문자 그대로의 플레이스홀더 문자열인 "[xx.x%]"가 남아 있었던 반면, 마케팅 게시물에는 최종 수치가 실려 있었습니다. 그것은 조작이 아니라 카피보다 먼저 배포된 문서 파이프라인이지만, 문서보다 블로그 페이지에서 수치를 읽어야 하는 이유입니다.

두 번째는 Terminal-Bench-Science 0.1로, Anthropic은 Claude Opus 5.5에 대해 58.7%를 공개했고 Moonshot의 자료에는 Kimi K3.1 Pro가 "K3 이상"이라고만 적혀 있을 뿐 수치는 없다. 비교의 어느 쪽에도 수치가 없는 행은 행이 아니다.

세 번째는 SWE-bench입니다. 코딩 에이전트를 이야기할 때 대부분의 팀이 여전히 인용하는 벤치마크이며, 출시 글은 점수를 공개하지 않은 채 각주에서 DeepSWE v1.1과 SWE-Marathon v1.1을 언급합니다. 이유가 무엇이든, 가장 많이 요청된 숫자는 빠져 있습니다.

65.7은 어떻게 읽나요?

Terminal-Bench 점수를 모델 자체보다 더 크게 좌우하는 두 가지가 있습니다. 바로 모델을 둘러싼 스캐폴딩과 추론 노력 설정입니다. Anthropic 자체의 Opus 5.5 표는 한 모델 안에서 두 효과를 모두 보여줍니다. CursorBench 4.0은 xhigh 노력에서 57.8%이던 것이 medium에서 52.5%로 움직이고, FrontierCode는 같은 두 설정 사이에서 0.2포인트 움직입니다. Kimi K3.1 Pro는 세 가지 설정이 있고 가장 비싼 설정을 기본값으로 사용하므로, 노력 수준을 명시하지 않은 벤더 실행은 그렇게 밝히든 밝히지 않든 최대 실행일 가능성이 높습니다.

그래서 독립 지수와 벤더 표가 이 세 모델의 순위를 다르게 매기는 것입니다. Moonshot의 Terminal-Bench 행에서 Kimi는 Astra를 7.5점 앞섭니다. Artificial Analysis의 10개 평가 지수에서는 Kimi가 Astra를 2점 앞서고 Opus에는 3점 뒤집니다. 어느 순서도 틀리지 않습니다. 서로 다른 하네스로 서로 다른 질문에 답하는 것이며, 유일하게 방어 가능한 요약은 세 모델 모두 일반 능력에서 서로 몇 점 차이 안에 있고 가장 저렴한 모델과 가장 비싼 모델의 가격은 다섯 배 차이가 난다는 것입니다.

숫자를 어떻게 처리할까

출력량이 지배적인 워크로드, 즉 긴 코드 생성, 문서 작성, 읽는 양보다 훨씬 많이 쓰는 에이전트 루프에서는 장황함(verbosity) 수치를 기준으로 계획을 세워야 합니다. 인덱스 실행당 1억 5천만 토큰 대 Astra의 6천만 토큰으로, Kimi K3.1 Pro는 한 작업에 대해 약 2.5배의 출력을 생성하며, 출력 가격이 5분의 1이라 하더라도 이는 비용 우위를 상당히 좁힙니다. 작업당 $2.11이라는 수치는 이미 이를 반영하고 있으며, 이것이 요금표보다 계획 수치로 더 적합한 이유입니다.

정확도 1포인트가 결과를 좌우하는 워크로드라면, 독립 지수에서 Claude Opus 5.5와의 3포인트 격차가 바로 핵심 수치이며, 어떤 벤더의 표도 이 판단을 흔들어서는 안 됩니다.

Kimi K3.1 Pro는 OrcaRouter를 통해 호출할 수 있으며, 입력 토큰 100만 개당 $2.00, 출력 토큰 100만 개당 $10.00이고, 컨텍스트는 1,048,576토큰, 최대 출력 토큰은 943,718개입니다. 또한 Chat Completions, Responses, Messages의 세 가지 엔드포인트 형식을 나머지 스택과 동일한 키로 사용할 수 있습니다. 공급업체의 정가가 그대로 청구되며 마크업이 추가되지 않으므로, 위 계산이 곧 실제 계산입니다. 이 페이지가 제공할 수 없는 단 한 가지는 바로 여러분 자신의 벤치마크입니다. 기본값을 선택하기 전에 실제 트래픽 샘플을 low, high, max effort에서 실행해 보세요. 모델 선택보다 이 설정이 비용을 더 크게 좌우하기 때문입니다.