MAI-Base-2 사전 학습 완료: 마이크로소프트의 4~12배 효율성 주장, 모델은 빼고

10월 15일에 회자된 숫자는 “3T”였다. MAI-Base-2는 Microsoft AI의 새로운 사내 파운데이션 모델이며, 그 뒤에 있는 모델이다 — 그리고 회사 자체 기술 게시물은 이를 총 파라미터 2조 8천억 개, 활성 파라미터 800억 개로 제시한다. 반올림은 사소하다; 더 유용한 것은 같은 게시물이 무엇을 담고 무엇을 담지 않는가이다. MAI-Base-2는 사전 학습을 마쳤고 현재 사후 학습 중이며, 체크포인트도, 가격도, 라이선스도, 날짜도 붙어 있지 않다. 헤드라인 주장은 DeepSeek-V4-Pro-Base 대비 4–12배의 사전 학습 FLOPs 효율 우위라는 것이다. 이 모델은 1조 개가 넘는 파라미터를 보유한, 공개된 유일한 베이스 사전 학습 체크포인트다. 그 주장에 관한 모든 것은 공급업체 추정치이며, 게시물은 그것이 어떻게 산출되었는지에 대해 이례적으로 명시적이다. 이것이 2026년 10월 16일 기준으로 공개 기록이 뒷받침하는 내용이다 — 그리고 Microsoft가 헤드라인에 넣지 않은, 그 안의 두 숫자.

Microsoft가 실제로 게시한 것, 그리고 게시하지 않은 것

1차 출처는 Microsoft AI 자체 사이트에 2026년 10월 15일자로 게시된 "Microsoft AI의 프런티어 사전 학습"이라는 제목의 Lab Notes 게시물이다. 무스타파 술레이만은 같은 날 오후 MAI가 이제 "3T 파라미터급의 최첨단 사전 학습 베이스 모델을 MAI에서 전적으로 사내 개발해 보유하고 있다"는 말로 발표했고, "포스트트레이닝 결과는 곧 공개"라는 말로 마무리했다. 이것이 이 이야기의 전체 근거이며, 기업이 자사 작업을 설명한 것이다. 아래의 기술적 주장은 MAI 외부의 누구에 의해서도 재현되지 않았고, 이 모델에 대한 독립적인 평가는 공개 기록에 존재하지 않는다.

아직 존재하지 않는 것은 대부분의 독자들이 원하는 부분이다:

• 가중치 — 없음. 저장소도, 체크포인트도, 양자화도, 그 어떤 형태의 다운로드도 없습니다.

• 제품이나 API — 없습니다. 엔드포인트도, 가격 페이지도, 모델 카드도 없습니다.

• 라이선스 — 명시되지 않음. 해당 게시물에서는 파이프라인을 소유하는 것이 "Foundry를 통해 신뢰할 수 있는 파트너에게 우리 모델 가중치를 라이선스할 수 있게 해줄 것"이라고 언급하는데, 이는 발표가 아니라 밝힌 의도일 뿐이다.

• 날짜 — 포스트 트레이닝 결과에는 없음, Foundry 가용성에는 없음, MAI-Base-3에는 없음.

• 누구나 다시 실행할 수 있는 벤치마크 — 없음. 평가 범위는 설명되어 있으나, 원점수는 제3자가 재현할 수 있는 형태로 공개되지 않는다.

그래서 오늘날 MAI-Base-2를 정확히 설명하는 말은 한 단어입니다: 미완성. 원시 텍스트와 이미지를 기반 모델로 바꾸는, 비용이 많이 들고 몇 달이 걸리는 단계인 사전 학습은 끝났습니다. 후속 학습은 기반 모델이 사람이 대화할 수 있는 무언가가 되는 단계이며, 그 단계는 지금 진행 중입니다. 이 구분이 중요한 이유는 흥미로운 실패 양상들이 바로 여기에 존재하기 때문이며, 또한 기반 체크포인트와 채팅 모델은 비교 가능한 대상이 아니기 때문입니다.

"4–12배 더 FLOPs 효율적"이라는 말은 실제로 무엇을 측정하는가

이 주장은 어디에서나 반복될 것이므로, 그 형태를 정확히 짚고 넘어갈 만하다. 그것은 일대일 벤치마크 실행이 아니기 때문이다.

게시물에 나온 정의는 이렇다: Microsoft는 토크나이저에 구애받지 않는 지표인 bits-per-byte를 사용해 홀드아웃 텍스트에서 사전 학습 모델을 비교한다 — 낮을수록 좋다. 홀드아웃 코드는 MAI 자체 코드베이스에서 가져왔고, STEM, Math, Q&A 세트는 "훈련 세트 오염 위험을 줄이기 위해" 외부 업체에 의뢰해 만들었으며, 모든 평가 세트는 훈련 데이터에 대해 오염 제거되었다. 이는 대부분의 출시 게시물이 담는 것보다 더 신중한 평가 설명이며, 그럼에도 여전히 회사가 자체 홀드아웃 세트에서 자체 작업을 평가하는 것이다.

효율 수치는 직접 측정되는 것이 아니라 도출된다. 네 가지 홀드아웃 평가 각각에 대해 MAI는 내부 모델 래더 전반에서 학습 FLOPs 대비 bits-per-byte의 스케일링 법칙을 피팅했고, MAI-Base-2 자체의 최종 성능도 피팅에 포함해 일치 지점이 피팅 범위 밖이 아니라 그 안에 놓이도록 했으며, 자사 래더의 모델이 DeepSeek-V4-Pro-Base와 맞먹으려면 얼마나 많은 연산량이 필요한지 추정했다. 해당 모델의 실제 학습 연산량과 비교하면 답은 FLOPs 효율이 4.2–12.3배 더 높다는 것이고, 6월에 출시된 MAI-Base-1과 비교하면 개선폭은 6.3–12.7배다. 헤드라인의 "4–12x"는 그 첫 번째 범위를 반올림한 값이다.

이와 관련해 기억해 둘 만한 세 가지가 있습니다:

• 이것은 통제된 조건에서 훈련된 두 모델이 아니라 적합된 곡선에서 얻은 추정치입니다. 이 글은 참조 모델이 "여전히 MAI-Base-2보다 훨씬 적은 FLOPs로 훈련된다"는 세부 사항을 포함해 이 점을 솔직하게 밝히고 있습니다.

• 비교 집합은 규칙상 범위가 좁다. 전체 파라미터가 최소 1조 개 이상인 모델, 그리고 2026년 10월 이전에 이용 가능한 프런티어 체크포인트만 대상이 되었다. DeepSeek-V4-Pro-Base는 자격을 충족한 유일하게 공개된 베이스 사전학습 체크포인트였다.

• 비교 대상으로 언급된 이름 중 세 개는 사후 학습된 체크포인트로만 존재합니다. Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL은 사후 학습이 평가에 영향을 미쳤을 수 있다는 벤더의 명시적 단서와 함께 보고되었습니다. 새로운 베이스 체크포인트를 다음 토큰 예측 지표에서 사후 학습된 모델과 비교하는 것은 동등한 조건의 대결이 아니며, 마이크로소프트는 차트가 그렇지 않은 듯이 암시하도록 두기보다 이를 분명히 밝히고 있습니다.

그렇다고 해서 그 주장이 틀린 것이 되지는 않는다. 그것은 그 주장을, 누군가 재현하기 전까지는 독자가 하나의 방향으로 취급해야 하는 종류의 주장으로 만들 뿐이다.

마이크로소프트가 빠뜨린 컴퓨트 수치

게시물은 MAI-Base-2의 학습 실행을 계산하는 데 필요한 모든 것을 제공하지만, 정작 그것을 계산하지는 않는다. 그 실행은 2026년 8월과 9월에 걸쳐 38일 동안 16,000대의 GB200 GPU로 이루어졌으며, 평균 모델 FLOPs 활용률은 21%였고, 이 활용률은 GB200의 이론적 BF16 성능 2.5 PFLOPS를 기준으로 정규화되었다.

이것들을 모두 곱해 보자 — 초당 2.5 × 10¹⁵ FLOPs를 내는 가속기 16,000대, 곱하기 38일, 곱하기 0.21 — 그러면 이 실행은 대략 2.8 × 10²⁵ FLOPs의 학습 컴퓨트를 함의한다. 그 수치는 게시물 자체의 입력값으로 우리가 계산한 것이지, 마이크로소프트가 발표한 숫자가 아니다. 이는 하한이다. 왜냐하면 게시물 자체의 MFU 정의가 재계산(rematerialization)과 옵티마이저에 소비된 FLOPs를 제외하기 때문이다. 그리고 이는 EU AI Act가 범용 AI 모델에 대한 시스템적 위험의 추정 기준으로 사용하는 10²⁵ FLOPs 임계값을 훨씬 웃돈다. 단일 사전 학습 실행으로부터 나온 값이 그 기준선의 대략 2~3배에 해당한다.

그것이 무엇을 의미하고 무엇을 의미하지 않는지 분명히 하자면: 아무도 접근할 수 없는 모델에는 어떤 의무도 붙지 않는다. 중요한 점은 컴퓨트 총량이 이 글에서 피팅된 추정치가 아니라 공개된 입력값으로부터 산술적으로 계산되는 유일한 수치라는 것이다. 그리고 이 기반을 물려받는 모델이 결국 출시될 때 — Microsoft 자체 제품을 통해서든 Foundry 파트너에게든 — 규제기관이 출발점으로 삼을 숫자는 바로 이것이다.

모델 내부에는 실제로 무엇이 들어 있는가

효율성 논쟁을 걷어내고 나면, 그 글은 세 가지 엔지니어링 문제에 관한 꽤 상세한 설명이며, 바로 그 부분이 누가 벤치마크에서 이기든 상관없이 오래 남는 가치를 지닌다.

• Scale — 800억 개의 활성 파라미터와 2조 8천억 개의 총 파라미터를 갖춘 MoE 파운데이션 모델로, MAI-Base-1보다 더 크고 더 희소합니다.

• 모든 레이어의 전문가 혼합(MoE) — MAI-Base-1은 밀집 피드포워드 블록과 MoE 블록을 번갈아 배치했는데, 이는 당시 MoE 구현이 더 많은 MoE 적용을 정당화할 만큼 빠르지 않았기 때문입니다. 동적 라우팅 메모리 단편화와 전문가별 오버헤드를 해결하고, 전문가 그룹별 연산과 통신을 그룹화한 덕분에 MoE 레이어 MFU가 24%에서 35%로 상승했으며, 이것이 모든 레이어에 MoE를 적용하는 것을 시간 최적의 선택으로 만들었습니다.

• 고정 메모리 기반 Dropless MoE — 오버플로 토큰을 드롭하거나 최악의 경우를 대비해 과도하게 할당하는 대신, MAI는 전문가들을 그룹화하고 오버플로에 대해 추가 dispatch-compute-collect 라운드를 실행하여 같은 그룹에 있는 다른 전문가의 사용되지 않은 용량을 빌려옵니다. 메모리 사용량은 임의의 라우팅 불균형에서도 정적으로 유지됩니다. 토큰 드롭에 반대하는 이 글의 주장은 토큰 드롭이 품질을 측정 가능할 정도로 저하시킨다는 것입니다.

• 대규모에서의 Muon — 옵티마이저는 재샤딩되고, BF16으로 캐스팅되며, all-to-all로 교환되고, 로컬에서 직교화된 뒤 반환됩니다. 최적화 후 이는 평균 학습 반복 시간의 2.1%, 즉 165ms를 차지했으며, 이는 통신으로 인해 병목이 발생한다고 게시물이 밝힌 이론적 최대치 55ms와 대비됩니다. Muon은 더 안정적인 동역학을 위해 AdamW 대신 채택되었습니다.

• 활성화 그래디언트 클리핑 — 전역 배치 정규화가 아니라 선택된 활성화에서 클리핑하는 방식으로, MAI-Base-1보다 그래디언트 노름을 훨씬 더 좁은 범위로 유지했으며, 규모가 커질수록 그 이점도 커졌습니다. 또한 이는 데이터 품질 진단 도구로도 밝혀졌습니다: 문장 중간에 잘린 라이선스 헤더가 있는 잘못된 형식의 학습 예시가 코드-데이터 풀 리퀘스트를 통해 역추적되어, 이후 수정된 전처리 버그를 드러냈습니다.

• 데이터 — 고유 학습 토큰 기준으로 MAI-Base-1보다 약 36% 더 큰 코퍼스로, 50조 토큰 혼합물을 공급하며 2026년 3월 지식 컷오프를 갖습니다. 회사는 이 파이프라인이 다른 모델로부터의 증류 없이 사내에서 처리된 자연 발생 데이터이며, 자사의 독점 크롤러가 robots.txt를 준수하고 USTR Notorious Markets list에 있는 출처를 제외한다고 밝혔습니다.

• 처음부터 비전 — MAI-Base-1과 달리, 이 모델은 인코더 없는 아키텍처를 통해 비전을 네이티브로 사전 학습했습니다. 비전-언어 코퍼스는 4조 5천억 개의 고유 토큰을 보유하며 50조 토큰 혼합의 18%를 차지했고, 이미지 캡셔닝, 차트 이해, 시각적 그라운딩, 공간 추론, 의료 이해, 컴퓨터 사용 및 악보 읽기에 걸쳐 있습니다.

닫힌 형태로 공개된 하이퍼파라미터 스케일링 법칙도 있습니다: 최적 학습률에 가중치 감쇠를 곱한 값은 17.04를 훈련 스텝 수로 나눈 값이고, 최적 학습률은 활성 파라미터당 토큰 수와 스텝 수에 대한 로그-선형 함수를 따르며, 드롭아웃은 활성 파라미터의 로그에 대한 시그모이드입니다. 그것들을 공개하는 것은 이 글에서 가장 재사용 가능한 단일 요소입니다. 가로대가 층 수만으로 이름이 붙고, 은닉 크기가 층 수의 256/3배로 고정되며, 쿼리 헤드가 층 수를 가장 가까운 16의 배수로 반올림한 값과 같은 스케일링 사다리는 다른 연구소들이 시험해볼 수 있는 레시피입니다.

베이스 체크포인트가 제품이 아닌 이유와 다음 단계

MAI-Thinking-1은 Microsoft가 올해 초 공개한 추론 모델로, MAI-Base-1 위에 포스트트레이닝되었습니다. 해당 글에서는 MAI-Base-2가 이제 "차세대 모델의 기반"이라고 밝히고 있는데, 이는 사람들이 실제로 사용할 수 있게 될 모델이 MAI-Base-2가 아니라는 뜻입니다. 그 모델은 Microsoft가 그 위에 포스트트레이닝하는 무엇이든 될 것이며, 그 이름은 아직 발표되지 않았습니다.

배포 채널도 이미 결정되었으며, 이는 오픈 웨이트가 아니다. 제시된 계획은 가중치를 "Foundry를 통해 신뢰할 수 있는 파트너에게" 라이선스하는 것이며, 이는 다운로드가 아니라 기업 조달 경로를 설명한다. 게시물 어디에도 공개 가중치를 약속하지 않으며, 데이터 출처에 대한 강조와 증류의 부재는 바로 그런 종류의 라이선스 제공을 위한 토대처럼 읽힌다.

그다음은 MAI-Base-3입니다. 이 글에서 그것에 대해 언급한 유일한 문장은 "MAI-Base-3을 위한 준비가 이미 진행 중이다"입니다. 매개변수도, 컴퓨트도, 데이터도, 날짜도 없습니다 — 정보라기보다 로드맵 신호입니다. 그것이 확실히 보여주는 것은 주기입니다: MAI-Base-1은 6월에 공개됐고, 그 후속 모델의 사전 학습은 10월 중순에 완료되었다고 보고됐으며, 다음 주기는 이미 준비 중입니다. 이 규모에서 약 4개월마다 한 세대의 베이스 모델이 나온다는 것은, 이 글에서 어떤 단일 벤치마크 항목보다 더 중요한 주장입니다.

오늘 전화할 수 있는 것

MAI-Base-2 이야기에서 호출 가능한 것은 아무것도 없으며, 오늘날 Microsoft의 MAI 모델 중 어느 것도 OrcaRouter의 카탈로그에 없다는 점을 분명히 말할 가치가 있습니다 — 우리는 그것들을 호스팅하지 않으며, 기반 체크포인트는 어쨌든 서비스되는 모델이 아닙니다. 그 게시물이 제공하는 것은 비교 세트이며, 그 세트의 대부분은 지금 접근 가능합니다. Microsoft의 효율성 주장에서 참조 모델인, 후처리 학습된 DeepSeek V4 Pro는 우리 카탈로그에 있으며, Kimi K3와 Qwen3.8-Max도 마찬가지입니다, MAI-Base-2가 비교 대상으로 삼은 오픈 가중치 모델 중 두 개입니다.

그러면 그 주장을 값싸게 검증해 볼 수 있습니다. 200개 이상의 모델을 아우르는 단일 API라는 것은 실제로 호출할 수 있는 것들을 비교하는 데 두 번째 계약이나 두 번째 SDK가 필요하지 않다는 뜻이며, OrcaRouter가 제공업체의 정가를 0% 마크업으로 그대로 전달하기 때문에 그 업체들 중 어느 곳이 가격을 바꾸든 같은 날 우리 쪽에 반영됩니다. MAI-Base-2 위에 마이크로소프트가 무엇을 내놓을지 기다릴지 결정하기 전에 이 모델들의 사후 학습 버전 전반에서 워크로드를 돌려보고 싶다면, 그것이 바로 베이스 모델 벤치마크로는 얻을 수 없는 비교입니다 — 그리고 라우팅 DSL을 쓰면 답이 바뀔 때 코드가 아니라 구성만으로 트래픽을 이들 사이에서 옮길 수 있습니다.

이 작품을 바꿀 것은 무엇일까요?

중요한 정도 순으로, 네 가지입니다.

첫 번째는 포스트 트레이닝 결과입니다. 10월 15일 게시물의 모든 내용은 사전 학습된 아티팩트를 설명합니다; 그것을 뒷받침하는 모델이 지시를 잘 따르는지, 도구를 잘 호출하는지, 긴 대화를 잘 이어가는지는 아직 공개적으로 질문된 적이 없는 별개의 질문입니다.

두 번째는 어떤 형태의 접근이든 — 가격이 붙은 Foundry 리스팅, 파트너 발표, 또는 라이선스가 첨부된 가중치입니다. 그 시점에서 이것은 더 이상 연구 보고서가 아니라 조달 결정이 됩니다.

세 번째는 독립적인 측정입니다. 공급업체 자체 코드베이스에서, 공급업체가 의뢰한 STEM 및 수학 세트를 사용한 바이트당 비트(bits-per-byte)는 외부 연구소가 오늘날 확인할 수 있는 대상이 아닙니다. 제3자가 DeepSeek-V4-Pro-Base에 대한 스케일링 법칙 비교를 재현한다면 효율성 주장이 확정될 것입니다. 그때까지는 그것은 신뢰할 만하고 잘 문서화된 자기 보고 추정치입니다.

네 번째는 MAI-Base-3의 세부 사항이다. "준비가 진행 중이다"는 사양이 아니라 문장이며, 다다음 세대야말로 4개월 주기가 유지될지 아닐지가 판가름 나는 지점이다.

좁지만 정확한 요약: Microsoft는 자사 최대 사내 모델의 사전 학습을 완료했고, 그 방법에 관한 이례적으로 기술적인 설명을 공개했으며, 최고의 공개 베이스 체크포인트보다 효율성 우위를 주장했고, 게시물에서 스스로 계산하지 않은 산술로 약 2.8 × 10²⁵ FLOPs의 학습 실행을 공개했으며, 누구도 쓸 수 있는 것은 출시하지 않았다.

벤치마크는 낡아가고 가격은 변동하지만, 실패 기록은 그렇지 않습니다: 이 계열의 모델과 관련된 문서화된 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그를 갖추고 있습니다.