SkyRL, 8개 노드에서 Mistral Large 4의 AIME 점수를 11점 끌어올리다: 1T MoE에 대한 Day-0 RL이 증명하는 것

Mistral Large 4는 2026년 10월 6일 API 프리뷰로 공개되었고, 그 가중치가 다운로드 가능해진 것은 10월 29일 14:51 UTC에 이르러서였다. 이 때문에 같은 날 발표된 강화학습 보고서는 저자들이 별로 언급하지 않는 이유에서 주목할 만하다. 그날 오후가 되기 전까지 Mistral 외부에는 발표할 파인튜닝 결과가 없었기 때문이다. 이 노트는 NovaSky의 SkyRL 팀에서 나왔다. NVIDIA GB200 노드 8개, NVFP4 체크포인트에 대한 LoRA 강화학습, 롤아웃을 서빙하는 vLLM, 그리고 75번의 훈련 스텝에 걸쳐 약 64%에서 약 75%로 상승한 AIME 2024 average@8이 사용되었다. 통상 십분의 일 단위로 승부가 갈리는 벤치마크에서 11포인트는 이 분기의 가장 유용한 데이 제로 결과이거나 가장 재현하기 어려운 결과이며, 적힌 그대로의 노트는 어느 쪽인지 알려주지 않는다.

이것이 실제로 알려주는 것은 진짜이며, 알려주지 않는 것과 분리해서 볼 가치가 있다. 하드웨어는 이름이 명시된다. 체크포인트는 이름이 명시된다. 롤아웃 엔진은 이름이 명시된다. 훈련 프레임워크는 둘 중 하나로 이름이 명시된다. 빠진 것은 보상 함수, 어댑터 랭크, 평가 하네스, 그리고 학습 곡선이다 — 다른 팀이 같은 실행을 시도하려면 필요한 네 가지다. 따라서 이것은 대표 수치 하나가 붙은 레시피 공지이지, 재현 패키지가 아니다. 전자로 읽으면 2026년 말에 1조 파라미터 규모의 전문가 혼합 모델을 사후 훈련하는 데 드는 비용에 대해 진짜로 유익하다. 후자로 읽으면 한 작업에 대한 한 벤치마크를 과대평가하게 된다.

SkyRL 노트가 실제로 말하는 내용

주장 전체가 다섯 줄에 들어가니, 앞뒤 설명 없이 바로 보여드리겠습니다:

• 하드웨어 — NVIDIA GB200 노드 8대를 보유하는 대신 임차했으며, 노드당 4개의 GPU이므로 총 32개의 Blackwell 칩에 해당하고 GPU당 192 GB로 총 약 6.1 TB의 HBM을 갖춘다.

• 체크포인트 — 공개 릴리스의 NVFP4 양자화 변형으로, 32개 샤드에 걸쳐 610.1 GB이며, 1,060.6 GB의 FP8 상위 모델이 아닙니다. 그 선택이 핵심을 떠받치는 선택입니다: 바로 이 선택이 1T 모델을 8개 노드에 올리면서도 액티베이션, KV 캐시, 롤아웃 엔진 가중치의 복사본 두 개를 위한 여유 공간을 남길 수 있게 합니다.

• 방법 — 전체 파라미터 RL 대신 LoRA. 어댑터만 그래디언트를 받으므로 옵티마이저 상태가 작게 유지되고, 동결된 베이스는 양자화된 형태로 유지될 수 있습니다.

• 루프 — vLLM이 롤아웃을 생성하고, FSDP2 또는 Megatron이 학습 절반을 담당합니다. 노트에서는 둘 중 어느 쪽이든 제시하는데, 이는 결과가 작성될 당시 학습 백엔드가 아직 교체 중이었음을 보여줍니다.

• 결과 — 75번의 훈련 스텝 만에 AIME 2024 average@8이 약 64%에서 약 75%로 상승했습니다.

그 목록 어디에도 해당 실행에 대한 명세는 없습니다. 배치 크기도, 시퀀스 길이도, 학습률도, 정책 그래디언트의 그룹 크기도 없고, 암묵적인 "AIME 답은 검증 가능하다" 외에 보상이 무엇이었는지에 대한 설명도 없습니다. 75단계라는 수치는 정확하지만, 그것을 해석하는 데 필요한 거의 모든 것은 그렇지 않습니다.

왜 헤드라인은 AIME 점수가 아니라 노드 수인가

1조 개의 파라미터라는 숫자는 주로 억제 요인으로 작용한다. FP8 체크포인트는 1.06 TB로, 데이터센터가 있으면 괜찮지만 랙 하나만 있으면 문제다. NVFP4 체크포인트는 이를 절반으로 줄여 610 GB로 만들며, 610 GB는 메모리에서 절약하는 것보다 통신에서 더 많은 비용을 치르는 샤딩 기법 없이도 8개 노드에 분산할 수 있는 양이다.

그래서 그 노트에서 흥미로운 문장은 퍼센트가 들어 있는 문장이 아니다. Hugging Face는 이미 이 모델에 대한 지도 미세 조정 레시피를 공개했다 — TRL의 SFT 트레이너를 통한 LoRA로, B300 GPU 8개로 구성된 단일 노드에서, FP8 가중치 위에서. 따라서 단일 노드에서의 SFT는 가중치가 하루도 지나기 전에 문서화되었다. 문서화되지 않은 것은 강화 학습이었고, 그 이유는 구조적이다: RL은 트레이너와 함께 실행되는 추론 엔진이 필요하며, 샘플링에 쓰는 GPU 시간이 학습에 쓰는 GPU 시간에 비해 압도적으로 커지지 않을 만큼 충분히 빠르게 롤아웃을 생성해야 한다. SFT는 고정된 데이터셋을 읽는다. RL은 스스로 생성해야 한다.

따라서 두 공개 레시피 사이의 차이는 8개 노드 대 1개 노드가 아닙니다. 그것은 서빙 스택이 포함된 8개 노드 대 서빙 스택이 없는 1개 노드이며, 이는 모델이 무엇인가를 학습하기 전에 30개 문제를 각각 여덟 번씩 시도해야 하는 작업의 경우입니다. 롤아웃 엔진이 새로운 비용 집중 지점이고, vLLM을 생성기로 지목한 것은 다른 팀이 오늘 바로 실행에 옮길 수 있는 메모의 일부입니다.

모두가 하게 될 비교, 그리고 그것이 양쪽 모두에서 불공평한 이유

Mistral은 가중치를 출시하기 전에 이 모델에 자체 RL을 실행했고, 회사는 그 형태를 구체적으로 밝혔다. 10월 6일 프리뷰 이후 약 3주를 추가로, GPU 수 대신 메가와트 단위로 설명하는 프랑스 컴퓨트에서 약 10 MW 규모로 실행했으며, 다른 보도에서는 더 광범위한 RL 인프라를 3,000-GPU 규모로 제시했다. 해당 실행에서 공개한 결과는 다음과 같다:

• Terminal-Bench 4.0 — 추가 RL 전 28.3%, 후 41%.

• BrowseComp — 이전 75%, 이후 84.5%.

• B3 에이전트 보안 제품군 — 적용 전 93.3%, 적용 후 97.1%.

• 출력 길이 — RL 이후 작업당 토큰 수가 약 30% 더 적으며, 이는 구매자에게 어떤 정확도 항목보다도 더 중요합니다.

그것을 AIME에서 64에서 75로 오른 것과 나란히 두면, 포인트당 GPU 시간의 비율을 계산하고 싶은 유혹이 생긴다. 그 유혹에 빠지지 말 것. 두 실행은 거의 변수를 공유하지 않기 때문이다. Mistral의 향상은 에이전트형 터미널 작업과 브라우징에서 이뤄졌으며, 보상 설계를 내부에서 진행하고 실제 3주를 투입한 한 벤더가 측정했다. SkyRL의 향상은 경시 수학에서 이뤄졌으며, 클러스터를 임대해 쓰고 스크립트로 검증 가능한 보상을 사용한 파트너가 측정했다. Terminal-Bench에서 13포인트 상승과 AIME에서 11포인트 상승은 서로 다른 단위로 표현된 같은 성취가 아니다. 크기가 비슷했을 뿐 서로 다른 성취다.

공정한 해석은 더 좁고 더 유용합니다. 데이터센터 규모에서 세 주간의 RL은 Mistral의 터미널 점수를 13점 끌어올렸고, 8노드 규모에서 몇 시간의 LoRA RL은 파트너의 수학 점수를 11점 끌어올렸습니다. 두 수치는 같은 말을 합니다 — 이 체크포인트는 강화 학습에 잘 반응한다 — 그리고 어느 쪽도 다른 쪽에 관해 무엇도 말해주지 않습니다.

AIME 2024에서 64~75점이 증명하는 것과 증명하지 않는 것

산술부터 시작하자. 이 문제에서 GPU 없이 확인할 수 있는 부분은 바로 그 부분이기 때문이다. AIME 2024는 30문제다. Average@8은 문제당 8개의 시도 샘플을 뜻하므로, 보고된 수치는 240개의 완료에 기반한다. 그 표본 크기에서 70%에 가까운 비율에 대한 표집 오차는 몇 퍼센트포인트이며, 이는 11퍼센트포인트의 변화를 노이즈 범위 밖에 편안히 놓이게 한다. 두 수치가 동일한 하네스에서 나왔다면, 그 과제에서의 향상은 실제다.

그것은 할 수 있는 가장 강력한 말이며, 대부분의 day-zero 주장은 이 정도조차 되지 않기 때문에 분명히 말할 가치가 있습니다. 이제 한계:

이 모델에 대해 Mistral이 공개한 AIME 점수는 없습니다. 64% 기준선은 SkyRL이 자체 하네스에서 기본 체크포인트를 측정한 값이므로, 델타는 내부적으로 일관되지만 외부적으로 검증 가능한 기준에 연결되어 있지 않습니다 — 공급업체 수치가 존재하지 않으므로 공급업체 수치와 비교해 확인할 수 없습니다.

• Average@8은 pass@1이 아니다. 문제당 여덟 번의 시도는 샘플링 분포가 넓은 어떤 모델이든 실제보다 좋게 보이게 만들며, 두 지표 간 격차는 수학 경시대회에서 흔히 5점에서 15점에 이른다. 모델을 배포할지 결정하는 수치는 실제 운영 환경에서 그 모델에 주어지는 단 한 번의 시도다.

• AIME 2024는 출시된 지 2년 반이 지났으며, 사후 훈련 데이터에서 가장 많이 등장하는 수학 문제 세트 중 하나입니다. 2026년 모델이 여기서 높은 점수를 받는다는 것은 훈련 가능한 체크포인트에 대한 증거일 뿐, 추론 능력에 대한 단정은 아닙니다. 이 노트에는 홀드아웃 평가나 더 최신 평가에 대한 보고가 전혀 없습니다.

• 하나의 과제, 한 번의 실행, 하나의 보상. 검증 가능한 수학에 대한 RL은 존재하는 가장 쉬운 사례입니다. 보상에는 심사자도, 평가 기준도, 사람도 필요하지 않습니다. 그 결과는 이 모델이 가능한 가장 저렴한 RL 신호 아래에서 얼마나 나아가는지를 보여 주는 진술이며, 이는 진실로 올바른 첫 실험이면서 동시에 가장 전이성이 낮은 실험이기도 합니다.

이를 재현하는 데 필요한 것과 라이선스가 허용하는 것

실용적인 장바구니 목록 — 해당 노트에서 공개된 것이 아니라, 그 노트를 바탕으로 재구성한 것:

• NVFP4 체크포인트 — 610 GB, 32개 샤드, 접근 제한 없음, Hugging Face 계정 게이트 없이 오늘 바로 다운로드할 수 있습니다.

• 8개 노드에 걸쳐 대략 32개의 Blackwell급 GPU와, 어댑터 동기화가 스텝 시간을 잠식하지 않도록 해 주는 인터커넥트까지 갖춥니다.

• 이 아키텍처에서 NVFP4 경로가 정상 동작하는 vLLM 빌드. 모델 카드에서는 공식 컨테이너와 텐서 병렬 크기 8을 사용하는 vLLM을 권장하며, 벤더가 최대 1.9배 처리량의 가치가 있다고 주장하는 내장 추측 디코딩 헤드를 언급합니다. 그 헤드는 RL 루프에 필요한 것이 아니지만, 컨테이너는 필요합니다.

• 메모에 나와 있지 않으므로 어댑터 등급과 보상은 직접 선택해야 합니다.

라이선스 문제는 기술적 문제보다 더 명확하게 정리됩니다. Mistral은 이를 Mistral Ecosystem Open-Weight License 아래에 공개했는데, 이는 수정된 MIT 라이선스 문구로 상업적 사용, 파인튜닝, 파생물을 허용하며, 이를 기반으로 모델 서비스(MaaS) 사업을 운영하는 경우에만 별도의 상업 라이선스를 요구합니다. 내부 파인튜닝, 비공개 어댑터, 대여한 노드에서의 평가 실행 — 이 모든 것은 허용 범위 안에 있습니다. 토큰당 API를 구축하고 파인튜닝 결과에 대한 접근 권한을 판매하는 것은 허용되지 않습니다. 계획이 전자라면 라이선스는 문제가 되지 않습니다. 후자라면 라이선스가 문제의 전부이며, AIME 성능이 아무리 향상되어도 이는 달라지지 않습니다.

나중에 비용이 많이 드는 루프의 절반

AIME가 저렴한 사례인 이유는 분명히 짚어볼 만하다. 보상은 스크립트가 비교하는 답 문자열이다. 심사자도, 평가 기준도, 루프 안의 두 번째 모델도 없으므로 한 롤아웃의 한계 비용은 추론뿐이다. 같은 방식을 에이전트 작업, 개방형 작성, 또는 선호도로 평가되는 무엇에 적용하면, 보상은 모델 호출이 된다 — 롤아웃 규모로, 단계당 수천 번, 전체 실행 동안 발행된다. 이는 훈련 컴퓨팅과는 다른 조달 문제이며, 대부분의 팀이 GPU를 예약한 뒤에야 발견하는 문제다.

Mistral Large 4 자체는 우리가 제공하는 모델이 아니므로 이 글은 그것에 도달하는 경로가 아닙니다 — 자체 호스팅한다는 것은 Hugging Face 리포지토리와 벤더 자체 API를 의미합니다. 라우팅 가능한 것은 루프의 나머지 절반입니다. 검증기가 스크립트가 아니라 판정 모델이라면, 롤아웃 규모로 호출되는 상황을 견뎌야 합니다: 200개 이상의 모델을 아우르는 하나의 엔드포인트, 공급자 정가가 추가 마크업 없이 그대로 전달되는 것, 그리고 단일 판정 엔드포인트가 학습 스텝 도중 속도 제한에 걸릴 때의 페일오버까지. 판정 모델로 실제 사용하게 될 모델은 컨텍스트와 가격과 함께 OrcaRouter 모델 카탈로그에 나열되어 있습니다. 요점은 라우팅이 RL을 저렴하게 만든다는 것이 아닙니다. 보상 신호는 RL 실행에서 일정을 조정해 우회할 수 없는 부분이므로, 안정적인 인터페이스 뒤에 둘 가치가 있는 부분이라는 것입니다.

다음에 무엇을 볼까요?

세 가지가 이 일을 유망한 노트에서 결과로 바꿔 줄 것입니다. SkyRL 팀이 어댑터 랭크, 보상 정의, 학습 곡선을 공개하는 것인데, 그러면 다른 그룹이 이를 감탄하는 데 그치지 않고 같은 실행을 시도할 수 있게 됩니다. 두 번째는 두 번째 과제, 이상적으로는 보상이 문자열 비교가 아닌 과제로, 이를 통해 그 효과가 심사자와 접촉한 뒤에도 살아남는지 보여 줄 수 있습니다. 그리고 공개된 체크포인트에 대한 독립적인 AIME 또는 더 어려운 수학 평가입니다. 왜냐하면 64%라는 하한은 현재 파트너 자체 측정치이며, 그 단서를 제거하는 유일한 방법은 다른 누군가가 이를 측정하는 것이기 때문입니다.

그때까지는 솔직한 요약이 짧습니다. 가중치는 이제 하루 지났고, 한 파트너가 LoRA 어댑터를 사용해 여덟 개의 임대 노드에서 수학 벤치마크를 11포인트 끌어올렸으며, 아직 누구도 이를 재현하지 못했습니다. 이는 대부분의 개방형 가중치 공개가 첫주에 내놓는 것보다 많고, 헤드라인이 시사하는 것보다는 적습니다.