MiMo-V2.6: 샤오미의 RL 논문이 실제로 보여주는 것과 검증하지 않은 채 남긴 것

이번 달 발표된 모델 논문 대부분은 아키텍처 논문이다. 샤오미 MiMo-V2.6-Pro와 샤오미 MiMo-V2.6-Flash의 기술 보고서는 그렇지 않다. 제목이 MiMo-V2.6: 자기 개선을 향한 강화 학습 스케일링이고, 2026년 9월 21일 제출되어 LLM-Core Xiaomi에 귀속된 이 보고서는 희소 전문가 혼합(mixture-of-experts) 백본에는 분량을 거의 쓰지 않고, 거의 전부를 한 가지 질문에 쏟는다. 즉, 전체 후속 학습(post-training) 예산이 단일 혼합 강화 학습 실행에 전부 투입되면 무슨 일이 일어나는가 하는 것이다. 반면 DeepSeek-V4.1-Flash의 보고서는 메모리 문서다 — 그 분량은 압축 희소 어텐션, 계층 간 KV 재사용, FP4 저장에 쓰인다. 둘을 나란히 놓아 보면, 이들은 능력이 어디에서 오는가에 관한 논증이며, 서로 동의하지 않는다.

이 보고서는 그 자체의 기준으로 읽을 가치가 있지만, 주의 깊게 읽을 가치가 있다. 실행을 돌린 연구실이 스스로 낸 보고서이기 때문이다. 이 보고서는 자신의 메커니즘을 이름으로 밝히고, 어블레이션을 보여주며, 실패를 공개한다. 그러면서 동시에 외부에서는 확인할 수 없는 수치를 보고한다. 이 두 가지를 분리하는 일이 작업의 대부분을 차지한다. 이 글은 그 일을 한다. 이 글은 2026년 9월 23일에 작성되었다 — 체크포인트가 올라온 지 이틀 뒤, 논문이 그 체크포인트에 관한 가장 최신이자 가장 교차 검증이 덜 된 자료인 시점에.

종이에 적힌 날짜가 평소보다 더 중요한 이유

Xiaomi의 MiMo-V2.6-Pro와 MiMo-V2.6-Flash 체크포인트는 2026년 9월 21일 모델 허브에 공개되었으며, MIT 라이선스이고 게이트 없이 제공되었다. 보고서는 같은 날짜로 되어 있고, 게시된 프리프린트 사이트의 트렌딩 목록 1위에 올랐다. 그 시점이 바로 이 글이 회고 기사가 아니라 뉴스 기사인 이유다. 이 논문은 모두가 이미 벤치마크해 본 모델에 대한 뒤늦은 설명이 아니다. 그것은 가중치와 함께, Xiaomi 외부의 누구도 독립적인 실행 결과를 발표하기 전에 도착하고 있다.

그 순서는 또한 이 논문이 증거로서 지닌 주요 약점이다. 그 뒤에 이어지는 모든 것 — DeepSWE 곡선, 통과율 향상, 리워드 해킹 방어 — 은 한 연구실 안에서, 한 클러스터에서 단 한 번 일어난 훈련 과정에 관한 주장이며, 다른 누구도 재현하지 못한 것이다. 그 보고서를 지적한 스레드는 바로 그 점을 흥미로운 부분으로 본다. 이것은 아키텍처 논문이 아니라 데이터와 실험에 관한 논문이고, 실험은 재현되거나 재현되지 않는 바로 그런 종류의 결과다.

스케일링의 세 축, 그리고 그중 단 하나만이 하드웨어 문제다

보고서의 프레이밍은 강화학습 컴퓨트가 한 번에 세 가지 축을 따라 확장되었다는 것이며, 그중 세 번째 축이 그 방법을 바라보는 방식을 바꾸는 축이다.

• 배치와 처리량 — 업데이트당 1,568개 샘플이 각각 16개의 롤아웃으로 확장되므로, 스텝당 대략 25,000개의 궤적이 생성되며, 최대 100만 토큰의 컨텍스트 길이에서 스텝당 27억에서 37억 개의 토큰을 소비합니다. 롤아웃 아키텍처는 완전히 비동기식인데, 바로 이것이 그 배치 크기를 애초에 감당할 수 있게 해줍니다.

• 환경 — 코드, 범용 에이전트, 시각 및 사이버 작업 전반에 걸친 단일 혼합 실행으로, 여러 에이전트 하네스 아래에서 동시에 수행되며, 도메인별로 분리된 RL 실행이 아니다. Xiaomi가 이를 위해 사용하는 자체 약칭은 "You Only RL Once."이다. 혼합을 주장하는 근거는 한 능력에서의 향상이 다른 능력들을 강화한다는 것이고, 위험은 느린 작업 유형이 기아 상태에 빠질 수 있다는 점인데, 보고서는 이를 적응형 스케줄링으로 처리한다고 말한다.

• 채점 컴퓨트 — 일반적인 의미의 GPU에 관한 축이 아닌 축. 이진 합격/불합격 판정은 둘 다 합격한 두 해법의 순위를 매길 수 없으므로, 보상 신호 자체가 확장해야 할 대상이 된다. 에이전트형 채점기는 한 작업에 대한 열여섯 개의 시도를 함께 비교하고, 비트 대신 등급화된 신호를 생성한다.

그 세 번째 축은 제목의 ‘self-improvement’라는 표현이 제자리를 얻는 곳이며, 보고서가 가장 취약하게 드러나는 지점이다. 모델이 자체 롤아웃을 스스로 채점하는 것은 하나의 보상 해킹 표면이며, 보고서는 이를 그렇게 취급한다.

실제로 이해할 가치가 있는 두 가지 메커니즘

그룹별 이점 재분배

각 단계 후에, 정책은 과제당 열여섯 개의 시도를 생성하고, 그것들 모두는 평가자 모델이 한 번에 하나씩이 아니라 함께 검토할 수 있도록 공유 작업 공간에 배치된다. 그런 다음 통과한 패치는 다섯 가지 축으로 점수가 매겨진다: 접근 방식이 문제에 맞는지, 구현이 불필요한 폴백 없이 정밀한지, 변경이 최소한인지, 범위를 벗어난 것을 편집하는지, 그리고 주변 코드 스타일과 일치하는지. 순위가 더 낮은 통과 항목에는 더 적은 긍정적 강화가 주어진다. 해킹으로 확인된 패치는 0으로 재설정되고 실패로 처리된다.

그 결과는 단지 올바른 해법이 아니라 더 짧고 더 저렴한 해법 쪽으로 밀어붙이는 학습 신호다 — 보고서는 이를 과제당 더 적은 토큰으로 유도하는 것으로 규정한다. 바로 그 부분을 놓지 말아야 한다. 왜냐하면 논문 뒤쪽의 핵심 결과는 정반대를 가리키기 때문이다.

그룹별 보상 합성

같은 아이디어의 오프라인 절반이다. 실시간 채점기에서 품질을 순전히 도출하기보다, 팀은 과제별 루브릭을 미리 계산하고 이진 테스트 보상에 그 루브릭에서 가져온 품질 및 행동 점수를 곱한다. 보고서는 이를 대조적인 롤아웃, 즉 결과가 달랐던 사례로부터 루브릭을 구축하는 것으로 설명하는데, 정보가 있는 곳이 바로 그곳이다.

채점은 공짜가 아니다. 보고서는 채점자 비용을 MiMo-V2.6-Pro의 전체 강화학습 비용의 약 12.7%로 제시한다. 그 단일 수치는 이 방법을 따라 하려는 사람에게 이 논문에서 가장 유용한 항목인데, “채점자를 확장하라”를 아이디어에서 예산 항목으로 바꿔 주기 때문이다.

고정된 라우터는 대부분의 팀이 가장 먼저 복사하게 될 결과물이다

보고서의 안정성 섹션에는 MiMo-V2.6과 무관하고, 해당 모델의 성능이 얼마나 좋은지와도 무관하게 그 자체로 성립하는 발견이 있습니다.

학습 가능한 전문가 혼합(MoE) 라우터를 사용하자, 전문가 부하가 20스텝에 걸쳐 심하게 불균형해졌다. 전문가 간 변동 계수는 0.78에서 2.0으로 상승했다. 가장 바쁜 전문가의 최대 부하는 평균의 6배에서 16배로 커졌다. 트래픽을 거의 받지 않는 콜드 전문가의 비율은 0.5%에서 22%로 증가했다. 20스텝에서 라우터 가중치를 초기값으로 되돌리자 균형이 즉시 회복되었다.

Xiaomi의 대응은 해당 실행 동안 MoE 라우터를 동결하는 것이었다. 그 근거는 미묘하지 않다. 이 배치 규모에서 라우팅 불안정성은 단순히 감수하지 않겠다고 선택할 수 있는 학습 역학 문제이며, 라우터는 강화학습이 실제로 일을 하는 곳이 아니다. 동결이 최종 품질에 어떤 손해를 끼치는지는 공개된 자료의 ablation으로 답해지지 않았고, 그것을 원하는 것은 타당하다.

이번 발견이 언급하지 않는 것은 서빙에 관한 부분이다. 학습 실행 중의 라우터 로드 밸런싱과 프로덕션 트래픽 환경에서의 전문가 활용도는 서로 다른 문제이며, 보고서는 첫 번째 문제만 다루고 있다.

숫자들, 각각의 레이블이 붙은

보고서의 핵심 결과들은 형태는 깔끔하지만 세부는 지저분하며, 그 지저분함은 스캔들이 아니다 — 그것은 같은 이름을 공유하는 세 가지 서로 다른 대상에 대한 세 가지 서로 다른 측정치다.

• DeepSWE v1.1, 비공개(held-out) — MiMo-V2.6-Pro는 실행 전반에 걸쳐 58.4에서 72.6으로 상승했고, MiMo-V2.6-Flash는 48.7에서 65.7로 상승했습니다. 이 벤치마크는 다섯 개 프로그래밍 언어에 걸친 113개의 장기(long-horizon) 저장소 엔지니어링 과제로 구성되며, 기능 검증기가 판정합니다. 지표는 average@3입니다 — 세 번 샘플링한 시도에 걸친 평균 검증기 통과율이며, 이는 세 번의 시도 중 하나라도 성공했는지 여부와는 다릅니다. avg@3을 pass@3으로 읽으면 이 페이지의 모든 수치가 과대평가됩니다.

• 동일한 벤치마크를 다른 곳에서 측정한 결과 — 공개된 모델 카드에는 Pro가 71.9, Flash가 67.9로 표기되어 있습니다. Xiaomi의 공개 학습 대시보드에는 72.57과 65.68이 표시되었습니다. 따라서 모델당 세 개의 공개 수치가 있고, 그중 두 개는 Xiaomi에서 나온 것이며, 불일치의 방향은 각 형제 모델마다 다릅니다. 어느 것도 틀리지 않았습니다. 이들은 서로 다른 시점에, 어쩌면 서로 다른 하네스에서 대시보드 스냅샷, 카드 항목, 보고서 한 줄을 기술한 것입니다.

• 증류 — MiMo-V2.6-Distill-Qwen-9B는 Qwen3.5-9B에서 MiMo가 생성한 데모로 파인튜닝되었으며, SWE-bench Verified를 61.1에서 66.2로 끌어올렸습니다. 이 수치는 논문에서 가장 전이 가능한 수치인데, 9B 학생 모델은 대부분의 팀이 실제로 실행할 수 있는 규모이기 때문입니다.

• 내부 사이버보안 미니 벤치마크 — 31.3~47.0. 내부는 말 그대로 내부다: 과제가 공개되지 않으므로, 그 델타는 원칙적으로도 재현될 수 없다.

• Artificial Analysis Intelligence Index — MiMo-V2.6-Pro의 경우 46. 이것은 성격이 다르다. Xiaomi가 아니라 Artificial Analysis가 공개된 체크포인트를 대상으로 자체 하네스를 돌려 산출한 것으로, 이번 릴리스에서 독자가 보고된 수치가 아니라 측정된 수치로 받아들일 수 있는 유일한 대표 수치다. 또한 GLM-5.3, Kimi K3, 그리고 비공개 프런티어와 비교해야 하는 수치이기도 하며, Claude Opus 5보다 5점 낮다.

그 보고서는 자체 표의 한계에 대해 솔직하다. 그리고 이것은 그렇지 않은 사람에게 되받아 인용할 만한 문장이다: 그 비교들은 공개 및 내부 벤치마크를 혼합하고 있으며, 강화 학습의 기여를 아키텍처나 사전 학습으로부터 분리해내지 못한다. RL 이후 더 나은 모델이 있다고 해서 RL이 그 이유라는 증거는 아니다.

두 번째 주의점이 있는데, 그것은 이 프레이밍에 반하는 것입니다. 보고된 향상은 일반적으로 토큰 사용량 증가를 동반합니다. 보고서는 이를 효율성이라기보다 지속적인 능력 향상으로 제시하는데, 그렇게 보는 것이 맞습니다. 하지만 GAR은 더 짧은 경로와 작업당 더 적은 토큰을 지향하도록 명시적으로 설계되었고, 집계 결과는 작업 부하가 더 저렴해지고 있음을 보여주지 않습니다. 능력은 올라갔지만, 작업당 비용은 내려오지 않았습니다. 만약 "자기 개선"을 "이 모델이 다음 분기에 내 돈을 덜 필요로 하게 될 것"이라는 뜻으로 읽는다면, 그 논문은 그러한 해석을 뒷받침하지 않습니다.

보고서가 검증하지 않고 남겨둔 것

2026년 9월 23일 기준으로, 제3자가 DeepSWE, Terminal Bench 또는 CyberGym 항목에 대해 독립적인 재실행 결과를 공개한 적은 없다. 중요한 구분은 지수 포인트와 그 밖의 모든 것 사이에 있다: 46은 다른 누군가가 수행한 측정값이고, 72.6은 누구도 다시 실행할 수 없는 학습 실행에 관한 주장이다. 왜냐하면 그 실행에는 보고된 바에 따르면 Pro의 경우 260만 달러, Flash의 경우 90만 달러가 들었으며, 두 번 일어나지는 않을 것이기 때문이다.

Xiaomi가 공개한 것 중 대부분의 연구소가 공개하지 않는 것은 훈련 역학, 강화학습 프레임워크, 그리고 작업 환경이다 — 소프트웨어 엔지니어링, 취약점 재현, 지식 노동, 웹 디자인 전반에 걸친 7,000개가 넘는 등급화된 환경이다. 그것이 보존 수명이 가장 긴 산출물이다. 가중치는 그 실행이 무엇을 만들어냈는지 알려주고, 환경은 실험을 직접 실행하는 방법을 알려준다. 이는 어떤 RL 주장이든 결국 결판나는 유일한 방법이다.

보상 해킹 방어에는 구체적인 유보가 필요하다. 그것은 다층적이라고 설명된다 — 보상 설계, 적대적 평가, 이상 탐지, 검증자 간 교차 확인 — 그리고 그것이 실패하면 난처해질 당사자에 의해 전적으로 설명된다. 모델이 모델 기반 채점자를 속이는 것에 대한 방어는 자기 보고로 끝낼 수 있는 종류의 일이 아니다. 메커니즘은 이름이 붙었고 실패 모드는 인정되었다. 이는 대부분의 논문이 하는 것보다 더 나은 일이며, 여전히 미해결 문제다.

오늘 이걸로 실제로 할 수 있는 것

두 체크포인트 모두 다운로드 가능하고, 게이트 없이 MIT 라이선스 태그 아래 제공됩니다: Xiaomi MiMo-V2.6-Pro-RL 및 Xiaomi MiMo-V2.6-Flash-RL, 옴니모달, 100만 토큰 컨텍스트이며, Flash 인덱스는 FP8로 65개 샤드에 걸쳐 172.9GB의 가중치 데이터를 보고합니다. Xiaomi는 V2.6 세대에 대한 토큰당 요금표를 공개하지 않았으므로, 오늘의 선택은 자체 호스팅이냐 이미 비용을 지불하고 있는 호스팅 모델이냐 하는 것입니다.

그 비교야말로 이 논문의 실제 가치가 놓이는 지점이며, 이는 논문에 유용한 방식으로 불리하게 작용한다. 검증 대상이 되는 주장은 "MiMo-V2.6-Pro가 좋은가"가 아니다 — 그건 46개의 답변이 해 준다. 그것은 "혼합 에이전트 작업에 대한 강화 학습이 내 워크로드로 전이되는 추론을 만들어 내는가"이며, 이에 답하는 유일하게 정직한 방법은 둘 다 실행해 비교하는 것이고, 이는 연구 문제이기 전에 라우팅 문제다. DeepSeek-V4.1-Flash는 백만 토큰당 $0.15 및 $0.60으로 API 키 하나만 있으면 이용할 수 있다, Qwen3.8-Flash와 GLM-5.3-Flash는 같은 키에 있다, 그리고 자체 호스팅한 MiMo 체크포인트를 일주일 동안 같은 엔드포인트 뒤에 두고 DeepSWE 곡선이 자신의 평가에서 나타나는지 확인하고 싶다면, 그것은 마이그레이션이 아니라 구성 변경이다. OrcaRouter는 Xiaomi의 모델을 호스팅하지 않으며, 여기서 그렇다고 주장하는 것으로 읽혀서는 안 된다 — 하지만 그들과 비교 벤치마크할 모델들은 모두 제공자 정가에 0% 마크업이 그대로 전달되는 OrcaRouter API 키 하나를 통해 접근할 수 있으며, 시험 중인 체크포인트가 부하 상황에서 불안정한 것으로 드러나면 자동 페일오버가 이루어진다.

검증되지 않은 모델 사례는 페일오버가 바로 이 사례를 위해 만들어진 것입니다. 이틀 전에 공개된, 벤더가 실행한 평가만 있고 독립적인 재실행은 없는 체크포인트는 프로덕션 경로를 그 뒤에 두지 않고 시험해 보고 싶은 바로 그 대상입니다.

누가 이 논문을 읽어야 하는가

포스트트레이닝을 실행한다면, 라우터 관련 발견과 채점자 비용 수치를 확인하기 위해 이 글을 읽어 보세요. 둘 다 이식 가능하고, 테스트 비용도 저렴하며, MiMo-V2.6의 벤치마크 표에 대해 무엇이든 믿는 데 의존하지 않습니다. 특히 프로즌 라우터 결과는 시도하는 데 반나절이 들고 한 번의 실행을 아껴 주는 종류의 것입니다.

모델을 고르는 중이라면 인덱스 점수만 읽고 나머지는 건너뛰십시오. Artificial Analysis는 공개된 산출물에서 46을 측정했는데, 이는 이번 발표에서 벤더로부터 나오지 않은 유일한 수치이며, MiMo-V2.6-Pro를 오픈 웨이트 분야 최상위에, Claude Opus 5에는 5점 뒤진 위치에 올려놓습니다. 보고서의 나머지 내용은 Xiaomi가 어떻게 거기까지 왔는지를 설명하며, Xiaomi가 거기까지 온 방식은 돈을 주고 살 수 있는 것이 아닙니다.

그리고 논문이 아니라 보도를 읽고 있다면, 주목해야 할 것은 "자기 개선(self-improvement)"이라는 단어입니다. 보고서 자체의 결과는 토큰 사용량과 함께 역량이 상승한다는 것을 보여주는데, 이는 강화학습 확장에 관한 실제적이고 반복 가능한 발견입니다. 이는 모델 실행 비용이 저렴해졌다는 주장이 아니며, 이 논문을 뒤따르는 논문들이 결국 그렇게 되는지 알려줄 것입니다.