Step 5 Preview 대 Kimi K3.1 Pro: 두 모델 모두 지난주에 재채점되었습니다. 살아남은 것은 다음과 같습니다

일주일 전에 Step 5 Preview와 Kimi K3.1 Pro를 찾아봤다면 두 개의 숫자, 44와 55를 얻었을 것입니다. 둘 다 이제 사라졌습니다. 2026년 10월 27일과 28일, Artificial Analysis는 자사의 Intelligence Index를 버전 5로 교체했는데, 이 버전은 점수의 60%를 비공개 또는 보류된 테스트 세트에서 가져오며, 동일한 모델이 옛 기준과 새 기준으로 채점된 것은 같은 측정이 아닙니다. Step 5 Preview는 v5 기준으로 29를 기록합니다. Kimi K3.1 Pro는 46을 기록합니다. 두 모델 사이의 9점 격차는 이제 정직하게 할 수 있는 비교이며, 출시 보도가 중심으로 삼아 작성되었던 격차와는 다른 격차입니다.

이어지는 내용은 그 비교이며, 여기에 어느 비교 표에도 담기지 않는 부분이 더해집니다. 두 모델은 11월 4일에 결론이 나는 가중치 문제에서 서로 반대편에 서 있고, 오늘 OrcaRouter를 통해 호출할 수 있는 것은 둘 중 하나뿐입니다.

이제 사람들이 인용하는 두 숫자는 모두 틀렸다

Kimi K3.1 Pro는 2026년 10월 23일 출시되어 Intelligence Index 점수 55를 기록하며 4위로 데뷔했고, 이는 Kimi K3보다 11점 높은 수치였다. 4일 뒤 그 점수는 46으로 나타났다. 모델 자체는 달라진 것이 없었다. 달라진 것은 척도였다. Artificial Analysis는 복합 지표를 지식 노동, 코딩, 과학, 일반이라는 네 범주에 걸친 아홉 개 평가로 재구성하고, GDPval-AA v2.1, SciCode, AA-LCR v1.1을 포함한 기존 평가 세 개를 제외했다. 또한 패치가 병합할 가치가 있는지를 기준으로 채점하는 132개의 비공개 코딩 과제 세트인 FrontierCode 2.0과 Terminal-Bench-Science를 추가했다.

Step 5 Preview는 같은 타격을 더 크게 받았다. v5.0에서는 29를 기록했고, 이전 지수에서는 44였다. 또한 Kimi보다 더 많은 뒷받침 근거를 잃는데, StepFun의 출시 자료가 바로 제거된 평가들에 의존하고 있었기 때문이다. 이 모델을 다룬 대부분의 보도에 등장하는 AA-LCR의 88.3과 SciCode의 58.9는 이제 헤드라인 지수에 기여하지 않는 벤치마크의 점수다. 그 점수들은 여전히 무언가에 대한 진실한 측정값이다. 그러나 이제는 지수가 측정하는 대상이 아니다.

순위상의 결과는 분명히 짚고 넘어갈 가치가 있다. v5에서는 46점인 오픈 웨이트 모델 또는 오픈 웨이트 공개를 약속한 모델이 58점인 선두보다 12점 뒤처지지만, v4에서는 그 격차가 3점이었다. 이는 평가 기준에 관한 진술이지 역량이 갑자기 붕괴했다는 진술이 아니며, 이를 후자로 제시하는 어떤 기사든 자신의 출처를 잘못 읽고 있는 것이다.

사양 라인, 한 번에 한 차원씩

• 총 파라미터 및 활성 파라미터 — Step 5 Preview: 총 600B, 토큰당 활성 27B, 352개 중 8개 전문가 + 공유 1개. Kimi K3.1 Pro: 총 2.8T, 활성 104B.

• 어떤 종류의 릴리스였는지 — Step 5 Preview: 새로운 플래그십이 프리뷰 형태로 출시되었으며 가중치는 뒤이어 공개됩니다. Kimi K3.1 Pro: 더 큰 포스트트레이닝 연산량으로 학습된 Kimi K3의 포스트트레이닝 버전이며, 수백 개 도메인에 걸친 공동 강화 학습을 포함합니다 — 새로운 아키텍처는 아닙니다.

• 컨텍스트 윈도우 — 5단계 미리보기: 1M 토큰. Kimi K3.1 Pro: 1,048,576 토큰.

• 입력 형식 — Step 5 Preview: 텍스트, 이미지, 영상. Kimi K3.1 Pro: 텍스트 및 이미지.

• 100만 토큰당 입력 가격 — Step 5 Preview: $1.00. Kimi K3.1 Pro: $2.00, 전체 컨텍스트 윈도우에서 장문 컨텍스트 할증 없이 동일하게 적용됩니다.

• 백만 토큰당 출력 가격 — Step 5 Preview: $2.70. Kimi K3.1 Pro: $10.00.

• 캐시된 입력 — 5단계 미리보기: 입력 요금에서 90% 할인. Kimi K3.1 Pro: 읽기 100만 개당 $0.20, 캐시 쓰기는 5분 TTL에서 $2.00, 1시간 TTL에서 $4.00.

• 가중치 — Step 5 Preview: 2026년 10월 15일 공개, BF16 및 FP8, StepFun Model License 1.0 적용. Kimi K3.1 Pro: 미공개, Moonshot은 2026년 11월 4일까지 가중치가 공개될 것으로 예상한다고 밝혔다.

• Intelligence Index v5.0 기준 독립 점수 — Step 5 미리보기: 29. Kimi K3.1 Pro: 46.

완료된 작업당 비용, 단서가 첨부된 상태로

Artificial Analysis는 Step 5 Preview의 Intelligence Index 태스크당 비용을 2.35달러, Kimi K3.1 Pro를 1.98달러로 보고한다. 이는 Kimi에 약간의 우위가 있어 보이지만, 그것이 분명한 우위라고 보기 어려운 이유를 이해해 볼 가치가 있다.

두 수치는 동일한 과업 집합에서 산출되지 않았다. 두 측정 사이에 과업 집합이 재구성되었기 때문이다. 두 수치 모두 해당 숫자가 측정될 당시 활성화되어 있었던 복합 지표 기준의 “인덱스 과업당 비용”이므로, 비교는 기껏해야 방향성 정도에 그친다. 분명한 것은 메커니즘이다. Kimi K3.1 Pro는 장황해서 과업당 약 55,000개의 출력 토큰을 쓰고 전체 실행에서는 1억 5,000만 개를 쓰며, 이는 중앙값 8,700만 개와 대비된다. 그리고 출력 100만 개당 $10에서는 그 장황함이 비싼 비용이 된다. $1.98이라는 수치는 토큰 단가가 더 싸서가 아니라 청구 가능한 단계를 더 적게 거쳐 완료한 결과다.

Step 5 Preview는 출력에서 3.7배, 입력에서 2배 더 저렴한 토큰이며, 제공된 측정 기준으로 큰 차이로 더 빠른 모델입니다. StepFun API에서 초당 출력 토큰 179.1개로, 동급 중앙값 74.1개를 크게 앞서며 Kimi K3.1 Pro는 약 73개를 기록합니다. 워크로드가 지연 시간에 민감하고 출력 비중이 높다면 이 순서는 가격 순서와 일치하므로 결정이 쉽습니다. 답변 품질의 17 인덱스 포인트 차이가 첫 토큰까지 걸리는 시간보다 더 중요한 워크로드라면, 같은 수치가 반대 방향을 가리킵니다.

웨이트: 하나는 빠졌고, 하나는 날짜가 정해진 약속이다.

벤치마크 표가 감추는 것은 바로 이 비대칭성이다. Step 5 Preview의 가중치는 10월 15일부터 내려받을 수 있었다. Hugging Face와 ModelScope에 BF16 및 FP8 체크포인트가, 같은 날 vLLM과 SGLang 레시피가, 92층의 좁고 깊은 스택과 희소 GQA 어텐션 패턴을 설명하는 기술 블로그가 공개됐다. FP8 체크포인트는 대략 773 GB의 VRAM과 최소 네 개의 GPU를 요구하며, 기본 타깃은 B300이고 Hopper 경로에서는 H200 여덟 장을 쓴다. 라이선스는 OSI 승인을 받은 것이 아니라 StepFun 자체 라이선스다. 실질적으로 활용된 출력물에 대한 출처 표시, 하드웨어 제조사와의 별도 협상, 연 매출 2,000만 달러를 넘는 모델-애즈-어-서비스 운영자를 위한 상업용 라이선스라는 조건이 붙는다.

Kimi K3.1 Pro의 가중치는 출시 당일에는 존재하지 않았고 — Artificial Analysis는 10월 24일에도 이 모델을 독점 모델로 분류했습니다 — 발표된 날짜는 2026년 11월 4일입니다. 가중치가 공개되면 Moonshot의 모델은 v5 인덱스에서 최고 점수를 받은 다운로드 가능 모델이 되며, 이는 벤더의 개입 없이 최전선에 근접한 성능을 원하는 사람이라면 누구에게나 진정으로 중요한 사건입니다.

11월 4일까지는, 비교는 여러분이 직접 실행할 수 있는 모델과 호출만 할 수 있는 모델 사이에서 이루어집니다. 이것은 Kimi에게 영구적인 불리함은 아니지만 이번 주에는 실질적인 불리함이며, 오늘 내린 결정이 9일 뒤에 내릴 결정과 다를 수 있는 이유이기도 합니다.

각 항목을 지금 바로 호출할 수 있는 위치

이 두 모델 중 하나는 OrcaRouter에 있고 나머지 하나는 없습니다. Kimi K3.1 Pro는 kimi/kimi-k3.1-pro로 라이브 카탈로그에 있으며, 다른 다섯 개의 Kimi 모델과 함께 있습니다. Step 5 Preview는 없습니다: 카탈로그에는 16개 제공업체에 걸쳐 214개의 모델 ID가 있으며, 2026년 10월 29일 기준으로 StepFun 항목은 없습니다. 오늘 Step 5 Preview를 사용하려면 StepFun 자체 API를 호출하거나 체크포인트를 직접 호스팅해야 합니다.

그 비대칭성은 라우팅 결정을 내릴 때 이 조합에서 유용한 부분입니다. 우리는 공급자의 정가를 마크업 없이 그대로 전달하므로, 여기 보이는 Kimi 요율표는 Moonshot의 요율표이며($2.00 및 $10.00), 나중에 Moonshot이 어떤 인하를 하더라도 마찬가지입니다. 또한 장애 조치가 자동이므로, "Kimi는 저렴하고 신중한 선택지다"라는 말의 실용적 의미는 Kimi를 체인에서 맨 앞에 두고 공급자 성능이 저하되면 플랫폼이 대체하도록 하라는 것이지, 클라이언트에 폴백을 내장해 유지 관리하라는 뜻이 아닙니다.

전환하는 경우의 마이그레이션 질문

어느 방향으로 움직이든 세 가지 때문에 시간이 소요됩니다.

첫 번째는 출력량입니다. Kimi K3.1 Pro의 비용 구조는 속도가 아니라 얼마나 많이 생성하는지에 의해 좌우됩니다. Step 5 Preview에서 간결한 답변을 내놓는 프롬프트가 Kimi에서는 세 배의 토큰을 생성할 수 있으며, 청구서는 요금표보다는 토큰 수를 따라갑니다. 두 가격을 비교하기 전에 자체 워크로드에서 작업당 출력 토큰을 측정하세요.

두 번째는 캐시 경제성입니다. Step 5 Preview는 캐시된 입력을 90% 할인합니다. Kimi K3.1 Pro는 캐시를 읽는 데 100만 개당 $0.20을 청구하지만 캐시를 쓰는 데도 비용을 청구합니다 — TTL 5분 기준 $2.00, 1시간 기준 $4.00입니다. 매 단계마다 긴 시스템 프롬프트를 다시 보내는 에이전트 루프는 이 두 가지 방식에서 매우 다른 사안이 되며, 더 싸 보이는 가격표가 항상 더 저렴한 루프라는 뜻은 아닙니다.

세 번째는 하네스 민감도입니다. Moonshot 자체 표에서는 Kimi K3.1 Pro가 Terminal-Bench 4.0에서 65.7%로, Claude Opus 5.5의 66.4%, GPT-6 Astra의 58.2%와 대비됩니다. 독립 평가자는 동일 모델에 대해 67%를 보고합니다. Terminal-Bench 수치는 스캐폴딩에 따라 수십 포인트씩 달라지므로, 두 연구소의 실행 간 1.7포인트 차이는 1.7포인트의 능력 차이를 측정한 것이 아닙니다. 이 비교의 모든 교차 벤더 행은 방향성에 대한 주장으로 취급해야 합니다.

이번 주에 구체적으로 무엇을 해야 하는가: 워크로드가 롱 컨텍스트이고 출력량이 많으며 지연에 민감하다면, $1.00 및 $2.70의 Step 5 Preview가 더 저렴한 실험이며, 가중치 덕분에 이식 가능한 선택지가 된다. 작업이 패치 품질이 곧 제품의 전부인 에이전틱 코딩이라면, v5에서의 Kimi K3.1 Pro의 46과 Terminal-Bench 4.0에서의 67%가 더 강력한 구매 선택지가 되며, 11월 4일은 이를 콜에서 자산으로 바꾸는 날짜다. 어느 쪽이든, 44와 55를 근거로 의사결정을 내리지 마라. 그 수치들은 이제 존재하지 않는 평가 기준에 속한다.