Step 5 Preview vs MiMo V2.6 Pro: 인덱스 1포인트 차이, 청구서는 9배

같은 Artificial Analysis 실행에서 StepFun의 Step 5 Preview와 Xiaomi의 MiMo V2.6 Pro는 지능 점수 1점 차이로 마무리합니다: 29 대 30. 그러나 비용 격차는 1달러 수준이 아닙니다. 같은 실행에서 완료된 인덱스 작업의 가격은 Step 5 Preview가 $2.35, MiMo V2.6 Pro가 $0.26으로, 약 9대 1의 격차입니다. 둘 다 100만 토큰 창을 갖춘 오픈 웨이트 혼합 전문가(MoE) 모델이고, 둘 다 텍스트뿐 아니라 이미지도 받아들이며, 둘 다 2026년 9월 말 하루 간격으로 등장했습니다 — Step 5 Preview는 9월 20일 StepFun의 API에, MiMo V2.6 Pro는 9월 21일에. 이로써 이 비교는 오픈 웨이트 부문에서 가능한 가장 명확한 정면 대결이며, 더 저렴한 모델이 근소하게 더 높은 점수를 받는 단 하나의 비교입니다.

다음 내용은 Artificial Analysis가 현재 제공하는 인덱스 버전에서 수행된 단일 평가 실행을 사용합니다. 웹에 남아 있는 거의 모든 비교 페이지가 여전히 대체된 버전을 사용하기 때문입니다. 아래 수치는 재현 가능하고 동일 실행 기준이며, 누가 산출했는지 표시합니다.

일주일 간격의 두 릴리스 노트, 전혀 다른 두 번의 무게 감소

타임라인은 아키텍처만큼이나 크게 갈린다. Step 5 Preview는 9월 20일 API로 제공되기 시작했고, 그다음 StepFun이 10월 15일 체크포인트를 공개하기 전까지 거의 4주 동안 호스팅 전용 제품으로 운영되었다. MiMo V2.6 Pro는 9월 21일 API와 함께 MIT 라이선스가 적용된 가중치를 출시했으며, Xiaomi는 강화학습 레시피와 약 7,000개의 과제 환경, 그리고 증류된 9B 동반 모델을 동시에 공개했다.

사양서는 측정 항목당 한 줄씩:

• 총 파라미터 및 활성 파라미터 — Step 5 Preview: 총 600B, 토큰당 활성 27B. MiMo V2.6 Pro: 총 1.0T, 활성 42B.

• 아키텍처 — Step 5 프리뷰: 92개 레이어, 8토큰 블록 인덱싱을 사용하는 희소 그룹화 쿼리 어텐션, 그리고 게이트된 슬라이딩 윈도우 어텐션과 희소 전체 어텐션의 3:1 혼합. MiMo V2.6 Pro: 384개의 라우팅된 전문가를 갖춘 희소 MoE, 토큰당 8개 활성.

• 컨텍스트 및 출력 — Step 5 Preview: 1M 토큰. MiMo V2.6 Pro: 1M 토큰, 자체 모델 페이지 기준 131K 출력 상한.

• 입력 — 단계 5 미리보기: 텍스트, 이미지 및 영상. MiMo V2.6 Pro: 텍스트, 이미지, 영상 및 오디오, 그리고 영상 전용이 아닌 네이티브 오디오를 표방합니다.

가중치 및 라이선스 — Step 5 Preview: BF16 및 FP8, StepFun Model License 1.0 적용. MiMo V2.6 Pro: MIT.

• 백만 토큰당 가격 — Step 5 Preview: 입력 $1.00, 출력 $2.70, 캐시 $0.10. MiMo V2.6 Pro: 입력 $0.435, 출력 $0.87, 캐시 $0.0036.

매개변수 격차는 가장 먼저 주목하게 되는 부분이다. Step 5 Preview는 전체 크기 기준으로도, 활성 연산 기준으로도 더 작은 모델이며, 27B 대 42B이다. 이는 패키징상의 우연이 아니다. StepFun의 기술 블로그는 정반대의 트레이드오프를 주장한다 — 장기 지평의 에이전트 작업에서 훨씬 더 큰 모델처럼 동작하도록 훈련된 좁고 깊은 스택, 그래서 92개 레이어가 1조 매개변수 규모가 아니라 600B 범위 안에 들어간다는 것이다.

보드는 다시 채점되었지만, 예전 숫자들은 여전히 곳곳에 남아 있습니다.

오늘 이 비교를 검색하면 대부분의 결과가 MiMo V2.6 Pro는 46점, Step 5 Preview는 44점이라고 알려줄 것입니다. 그것들은 실제 측정값이었습니다. 다만 이전 버전의 Artificial Analysis Intelligence Index에서 측정된 것이며, 그 버전은 이후 교체되었습니다. 현재 순위표 기준으로 같은 두 모델은 30점과 29점으로 기록되며, 예전에 그 근처에 있던 모델들도 비슷한 폭으로 이동했습니다.

이는 현학적인 이유보다 실용적인 이유에서 중요합니다. 예전 점수로 계산한 모든 파생 수치는 이제 잘못된 값입니다. 출시 당시 회자된 “작업당 $0.13 대 $0.72” 비율은 이제 $0.26 대 $2.35가 되었습니다. 순위는 바뀌지 않았습니다 — MiMo가 여전히 한 단계 앞서 있습니다 — 하지만 그 주변 모든 것의 규모는 바뀌었고, 비용 이야기의 방향은 반올림 오차에서 의사결정 사안으로 달라졌습니다.

이 수치들을 어떻게 읽어야 하는지에 대한 주의 사항: 이 지수는 가중 합성 지수이며, 이 쌍에 대해서는 하위 벤치마크들이 크게 엇갈립니다. 합성 지수만 보고하면 Step 5 Preview가 존재할 이유를 부여하는 비교의 유일한 부분을 숨기게 될 것입니다.

9대 1이 무언가를 사는 곳

같은 실행에서 나온 세 가지 하위 결과는 진정으로 Step 5 Preview에 유리하며, 이들은 하나의 주제를 중심으로 모입니다: 모를 때는 말을 아끼는 것.

• Humanity's Last Exam (Diamond) — Step 5 Preview 24% 대 MiMo V2.6 Pro 15%. 이 세트에서 가장 어려운 지식 벤치마크에서 거의 9점 차로 앞서고 있습니다.

• AA-Omniscience — Step 5 Preview 16 vs MiMo V2.6 Pro −4. 이 점수는 정확한 회상뿐 아니라 적절하게 판단한 답변 보류에도 보상을 주며, 음수 값은 모델이 답변을 하지 않는 경우보다 확신을 가지고 잘못 답하는 경우가 더 많다는 뜻입니다.

• 출력 속도 — 동일한 서비스에서 측정했을 때 Step 5 Preview는 초당 179.1토큰, MiMo V2.6 Pro는 58.0토큰입니다. 3배의 처리량은 십여 차례의 순차 호출을 수행하는 에이전트 루프에서 실질적인 지연 차이를 만듭니다.

그 세 가지를 함께 보면 프리미엄에 대한 일관된 옹호 논리가 됩니다. 환각을 더 적게 일으키고 더 빠르게 응답하는 모델은 두 공급업체가 모두 겨냥하는 바로 그 워크로드, 즉 장기 실행 에이전트, 저장소 규모 프롬프트, 연구 합성에서 토큰당 더 높은 가치가 있습니다. 그것이 아홉 배 더 값어치가 있는지는 별개의 질문이며, 그 답은 틀렸지만 확신에 찬 답변이 당신에게 얼마나 큰 비용을 초래하는지에 달려 있습니다.

MiMo가 단서 없이 승리하는 곳

코드와 자동화 테스트는 반대 방향으로 흘러가며, 그 폭도 결코 좁지 않다.

• FrontierCode 2.0 — MiMo V2.6 Pro 24% 대 Step 5 Preview 12%. 코딩 벤치마크에서 점수가 두 배이며, 이는 두 제품 간 단일 최대 격차입니다.

• AutomationBench-AA — 59% 대 51%.

• Terminal-Bench 4.0 — 35% 대 33%, 근소한 우위이지만 중요한 이유는 Step 5 Preview의 에이전트 중심 포지셔닝이 터미널 작업을 기반으로 하기 때문입니다.

• GDPpdf — 19% 대 15%, Terminal-Bench-Science 6% 대 2%, 모두 소폭이지만 일관된 차이입니다.

Step 5 Preview의 HLE와 Omniscience에서의 승리는 지식의 폭과 보정(calibration)으로 읽히고, MiMo의 FrontierCode와 AutomationBench에서의 승리는 행동 능력으로 읽힌다. 코딩 에이전트에게 이 둘은 동등한 화폐가 아니다.

캐시 비용 구조는 지출을 모델링하는 사람이 가장 놀라기 쉬운 부분입니다. MiMo V2.6 Pro의 캐시된 입력 단가는 100만 토큰당 $0.0036으로, Step 5 Preview의 $0.10과 비교해 28배 차이입니다. 이는 긴 에이전트 세션에서 지배적인 토큰 유형으로, 매 턴마다 동일한 저장소나 문서 컨텍스트를 다시 읽는 경우입니다. MiMo는 또한 지연에 민감한 호출을 위해 입력 $4.35, 출력 $8.70의 UltraSpeed 티어를 판매하는데, 이는 모델을 바꾸지 않고 처리량을 사는 방법입니다.

에이전트 턴에 실제로 드는 비용

대표적인 호출 한 건을 보자: 40만 토큰 컨텍스트 입력, 2만 토큰 출력. 정가 기준으로 Step 5 Preview는 $0.454, MiMo V2.6 Pro는 $0.191로 2.4배 차이이며, 9배 차이는 아니다. 이제 같은 컨텍스트를 한 세션에서 열 번 반복 실행해 보자. 캐시가 제 역할을 하면 Step 5 Preview는 그 40만 토큰을 100만 토큰당 $0.10에, MiMo V2.6 Pro는 $0.0036에 다시 읽게 되어 캐시된 부분에서 격차는 대략 28대 1로 확대된다.

그 계산 방식 때문에 작업당 격차와 표시상 격차가 서로 맞지 않는 것입니다. 작업당 수치는 프롬프트 재사용이 많은 전체 평가에 걸친 가중 평균이므로, 헤드라인 비율만큼 캐시 비율도 반영합니다. 워크로드가 호출할 때마다 새로운 컨텍스트를 쓰는 일회성 프롬프트라면, 2.4배 수치에 더 가깝게 예산을 잡으십시오. 같은 파일을 반복해서 읽는 지속형 에이전트라면, 9배 수치가 계획에 더 정직한 숫자입니다.

오늘 전화할 수 있는 것

MiMo V2.6 Pro는 OrcaRouter의 카탈로그에 모델 ID xiaomi/mimo-v2.6-pro로 등재되어 있으며, 100만 토큰당 입력 $0.43, 출력 $0.87의 샤오미 자체 정가로 청구되고 추가 마크업은 붙지 않습니다. 이 점이 여기서 특정한 이유로 중요한데, 이 비교에서 가격은 가장 변동할 가능성이 큰 요소이며, 패스스루 라우터는 샤오미의 가격 변경이 다음 계약 갱신 때가 아니라 같은 날 청구서에 반영된다는 뜻이기 때문입니다.

Step 5 Preview는 우리 카탈로그에 없습니다. 호출 대상은 여전히 StepFun 자체 API 또는 체크포인트를 보유한 타사 호스트입니다. 두 가지를 저울질하는 팀에게 그 비대칭성 자체가 하나의 논거입니다. 이 비교의 한쪽은 단일 라우팅 구성에서 폴백에 대해 테스트할 수 있지만, 다른 쪽은 그럴 수 없습니다. 라우팅 DSL을 사용하면 코딩 트래픽을 MiMo V2.6 Pro로 보내고 자동 장애 조치를 위한 두 번째 모델을 뒤에 두어, 한 제공업체의 지연이 급증해도 에이전트가 다운되지 않습니다. MiMo의 1점 우위가 자체 워크로드에서 유지되지 않는다면, 전환 비용은 계약이 아니라 모델 ID 하나입니다.

이 매치업이 계속 제기하는 질문들

왜 대부분의 비교 페이지에서는 여전히 46 대 44로 표시되나요?

이전 버전의 지수를 기준으로 작성되었고 재계산되지 않았기 때문입니다. 모델만이 아니라 근본적인 평가 자체가 바뀌었기 때문에, 그로부터 도출된 모든 수치—과제별 비용 포함—도 함께 바뀌었습니다. 두 페이지가 이 쌍을 인용하면서 1~2포인트 넘게 차이가 난다면, 각각이 어느 지수 버전에서 산출되었는지 확인하십시오.

Step 5 Preview의 캘리브레이션 이점은 도메인 변화에서도 유지되나요?

부분적으로 그렇습니다. Omniscience 및 HLE 결과는 일반 지식에서 측정되며, 이들이 보상하는 보정 행동은 모델이 훈련 분포 밖의 사항에 대해 질문받을 때 가장 가치 있습니다. 두 모델 모두 집중적으로 훈련된 좁은 영역, 예를 들어 코드에서는 MiMo의 FrontierCode 우위가 기권 이점이 여러분이 비용을 지불하는 작업을 하고 있지 않음을 시사합니다.

두 모델 중 어느 하나가 다른 하나를 별도 수정 없이 바로 대체할 수 있나요?

확인하지 않고는 안 됩니다. 실제로는 OpenAI 호환 인터페이스를 공유하지만 추론 제어 방식이 다르고 출력 상한도 다르며, Step 5 Preview의 27B 활성 풋프린트는 긴 프롬프트를 얼마나 오래 상주시킬 수 있는지를 바꿉니다. 프롬프트를 이식하고 자체 평가 세트를 다시 실행한 뒤, 어느 쪽 벤더의 슬라이드가 아니라 자체 워크로드에서 비교하세요.

결정의 요약은 이렇다. 워크로드가 지식 집약적이고 지연에 민감하며 잘못될 경우 비용이 큰 유형이라면 Step 5 Preview의 9배 프리미엄은 정당화될 수 있고, 초당 179 토큰은 사용을 쾌적하게 만든다. 워크로드가 코드, 자동화, 동일한 컨텍스트에 대한 장시간 세션을 중심으로 한다면 MiMo V2.6 Pro가 가격 차이가 크게 나는 더 나은 모델이며, 둘 중 오늘 라우터 뒤에 배치하고 내일 다른 모델로 전환할 수 있는 쪽은 이 모델이다.