가중치 공개, 8개의 Blackwell에 맞아떨어져: Mistral Large 4의 Day-Zero NVFP4 릴리스 내부

지난주에 발표된 모든 셀프 호스팅 가이드는 Mistral Large 4에 대해 똑같은 세 가지를 말합니다: 라이선스 파일은 404를 반환하고, 양자화된 체크포인트는 존재하지 않으며, 작성하는 모든 구성은 이전 모델에서 빌려온 추정에 불과하다고요. 2026년 10월 29일 아침 현재, 세 가지 모두 틀렸습니다. 라이선스는 저장소에 있습니다 — 2,632바이트 분량 — 그리고 체크포인트 제품군은 실제로 존재합니다: mistralai/Mistral-Large-4-1T-A52B 54개의 FP8 샤드와 1,060.6 GB, 그리고 32개 샤드와 610.1 GB의 NVFP4 형제 모델까지 포함합니다. Mistral AI 팀을 축하하면서 같은 숨결에 Hugging Face의 NVFP4 지원을 언급하는 NVIDIA의 출시 당일 노트는 이 이야기의 가장 짧은 버전입니다. 유용한 버전은 더 긴 쪽입니다: 공개된 레시피가 실제로 전제하는 것, 아무도 주목하지 않는 사이 가격에 무슨 일이 일어났는지, 그리고 화요일의 셀프 호스팅 조언 중 어느 것이 이제 적극적으로 오해를 불러일으키는지입니다. 다운로드 가능한 것 대신 오늘 라우팅 가능한 것을 비교하고 싶다면, OrcaRouter 모델 카탈로그에서 우리가 제공하는 모든 모델과 각 모델의 컨텍스트 윈도우 및 토큰당 가격을 확인할 수 있으며, 경로별로 페일오버가 구성되어 있습니다.

날짜부터 시작하자. 날짜는 대부분의 보도가 양쪽 방향으로 잘못 짚는 부분이기 때문이다. Mistral Large 4는 2026년 10월 6일 API 프리뷰로 발표되었다. 이는 1.05조 파라미터 규모의 혼합 전문가(MoE) 모델로, 토큰당 490억 개 파라미터가 활성화되며, 임베딩과 출력 계층까지 계산하면 520억 개가 된다. 여기에는 16억 파라미터의 비전 인코더와 100만 토큰 컨텍스트 윈도우가 포함되며, 가격은 백만 입력 토큰당 1.36달러, 백만 출력 토큰당 4.18달러로 책정되었다. 오픈 가중치는 10월 말 이전에 공개하겠다고 약속했다. 실제 공개는 10월 29일 14:51 UTC에 이루어졌으며, 이는 언론 보도가 확정했던 10월 27일보다 약 2일 후였다. 이 간격이 중요한 이유는 이 모델에 관한 상당량의 글이 바로 그 간격 안에서 작성되었기 때문이다.

오늘 아침 Hub에는 실제로 무엇이 있나요?

저장소 메타데이터가 공지문보다 더 많은 정보를 제공하므로, 여기에 바로 제시합니다:

• 기본 체크포인트 — mistralai/Mistral-Large-4-1T-A52B, safetensors 샤드 54개, 디스크상 1,060.6 GB, fp8 태그 지정, 2026년 9월 30일 생성된 저장소, 가중치 최종 기록 10월 29일 14:51 UTC, 게이트 없음.

• 양자화된 형제 모델 — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32개 샤드, 610.1 GB, 저장소는 2026년 10월 15일에 생성되었으며 오늘 14:11 UTC에 업데이트됨 — 상위 저장소가 완료되기 40분 전.

• 라이선스 — Mistral Ecosystem Open-Weight License는 Mistral이 수정된 MIT 라이선스라고 설명하는 라이선스로, 매출 기준이 적용되지 않습니다.

• 아키텍처, params.json 기준 — 토큰당 4개가 라우팅되는 128개 전문가와 1개의 공유 전문가, 72개 레이어, 히든 크기 6,144, 최대 1,540픽셀 이미지를 받아들이는 30층 비전 타워, 그리고 대부분 레이어에 걸친 KV 공유.

• 서로 맞지 않는 숫자들 — NVFP4 모델 카드에는 39개 언어가 적혀 있는데, 발표 자료에서는 160개 이상이라고 주장한다. 카드는 토큰당 활성 파라미터를 490억 개로 집계하는데, API 문서와 벤더 자체 표에는 520억 개라고 되어 있으며, 이는 임베딩과 출력 레이어를 더한 같은 수치다. Mistral의 글은 학습에 Grace Blackwell GPU 3,800개를 투입했다고 밝히지만, 여러 매체는 이를 4,000개로 반올림했다. 이 중 치명적인 것은 없으며, 각 불일치는 어느 문서를 어느 팀이 작성했는지 알려준다.

610 GB 숫자가 릴리스입니다.

1.05조 파라미터 모델은 누구도 가볍게 설명할 수 있는 방식으로 다운로드되지 않는다. FP8 체크포인트는 1,060.6 GB로, KV 캐시와 활성화, 단편화가 단 하나도 생기기 전부터 가중치만 1테라바이트를 넉넉히 넘는다. 8-GPU Blackwell 노드에서는 약 400 GB의 여유를 남기고 들어간다. H200 8대에서는 여유가 거의 없이 들어간다. NVFP4 체크포인트는 이를 610.1 GB로 줄이며, 이 절감은 겉치레가 아니다. 이는 노드가 전부 가중치로 채워지는 경우와, 모델이 내세우는 1M-token 컨텍스트를 위한 여유가 남는 경우의 차이다.

양자화 방식도 "4-bit"보다 더 구체적입니다. 카드에 따르면 Mixture-of-Experts 가중치는 NVFP4이고 선형 계층은 FP8로 유지되며, vLLM 레시피는 MLA 계층에 FP8 KV 캐시를 요구합니다. 이는 일괄적인 다운캐스트가 아니라 혼합 정밀도 서빙 스택이며, 특히 Blackwell을 겨냥합니다. 명시된 부품은 B200, B300, GB200, GB300입니다.

구매를 계획하는 사람이라면 누구나 강조해서 새겨둘 만한 결과가 하나 있습니다: 공식 레시피는 여전히 GPU 8개를 요구합니다. vLLM은 텐서 병렬성 8로, SGLang은 tp-size 4로 공개되어 있습니다. 여기서 양자화는 주로 노드 수를 줄이는 수단이 아닙니다. 그것은 실제로 긴 컨텍스트를 서비스할 수 있을 만큼 노드에 충분한 메모리를 남겨 두는 수단이며, 공개된 서빙 파라미터가 그 증거입니다.

레시피, 플래그 하나하나씩

이번 릴리스가 대부분의 오픈 웨이트 공개와 다른 점은, 벤더가 서빙 지침을 커뮤니티에 맡기지 않고 직접 제공했다는 것입니다. 게시된 그대로의 vLLM 경로는 다음과 같습니다:

• 이미지 — vllm/vllm-openai:mistral-large-4

• 병렬 처리 — --tensor-parallel-size 8

• 캐시 — --kv-cache-dtype fp8_ds_mla, --gpu-memory-utilization 0.85와 함께

• 파서 — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• 선택적 추측 — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

SGLang 경로는 두 번 읽어볼 만한 점에서 다릅니다:

• 이미지 — lmsysorg/sglang:mistral-large-4, --tp-size 4 및 --mem-fraction-static 0.85로 설정

• 추측(Speculation) — --speculative-algorithm DSPARK, 공개된 명령에서 기본으로 켜짐

• 서빙 제한 — --max-running-requests 64, 추론 파서와 도구 파서를 모두 auto로 설정

플래그가 알려주지만 발표문은 알려주지 않는 세 가지

첫째, DSpark는 별도의 모델이 아닙니다. 구성 파일은 체크포인트 자체에 내장된, 작은 순환 드래프트 헤드(마르코프 랭크 512)를 가진 세 개의 다중 토큰 예측 레이어를 설명합니다. 추측 디코딩은 일반적으로 큰 모델 옆에 두 번째의 더 작은 모델을 실행하고 그 메모리 비용을 지불하는 것을 의미합니다. 여기서는 드래프트 헤드가 이미 610 GB 안에 있으므로, 추측 플래그가 두 번째 배포가 아니라 짧은 구성 문자열인 것입니다.

두 번째는 어텐션 스택이 압축에 관한 이야기라는 점입니다. 구성에는 32개 헤드에 걸쳐 top-k가 2,048인 희소 인덱서, KV LoRA 랭크 512, 그리고 72개 레이어 대부분에 걸친 KV 공유가 포함됩니다 — DeepSeek 계열 모델에서 표준이 된 유형의 배치입니다. 1M 컨텍스트에 도달할 수 있는 것은 어텐션 메모리가 공격적으로 공유되고 KV 캐시가 FP8이기 때문이지, 모델이 쓸 테라바이트급 캐시를 갖고 있어서가 아닙니다.

세 번째는 산수입니다. 공개된 YaRN 블록은 512토큰의 네이티브 RoPE 윈도우를 2,048배 확장하는데, 계산하면 정확히 1,048,576이 됩니다. 이것이 광고된 컨텍스트 길이입니다. 학습 일정이 어땠든, 지금 다운로드하는 구성은 외삽을 통해 1M 토큰에 도달하며, 900,000토큰 문서를 이 모델에 넣고 모델이 전에 그런 형태를 본 적이 있다고 가정하기 전에 알아둘 가치가 있습니다.

안내서가 작성되는 동안 가격표가 이동했습니다.

Mistral 문서에는 현재 요금이 입력 토큰 100만 개당 $0.70, 캐시된 입력 100만 개당 $0.07, 출력 100만 개당 $2.10으로 기재되어 있습니다. 10월 6일 발표에서는 정가를 $1.36 및 $4.18로 제시했으며, 미리보기 할인은 그 대략 절반 수준으로 적용되었습니다. 두 문서를 함께 읽어 보면, 오픈 웨이트 공개는 단순히 파일을 배포한 것이 아니라 영구 정가를 미리보기가 책정했던 수준까지 약 절반으로 낮춘 것입니다. 10월 발표를 기준으로 예산을 편성한 사람이라면, 새로운 가격표는 자신이 적어 둔 숫자의 대략 절반입니다.

독립적인 평가는 가격 인하보다 그리 후하지 않다. Artificial Analysis는 10월 27일에 재구성된 v5 시리즈인 현재 Intelligence Index에서 Mistral Large 4에 26점을 부여하고, 하나의 Index 과제를 완료하는 데 2.06달러가 든다고 지적하며, 첫 토큰까지 1.42초, 출력 속도 초당 161.3토큰을 측정했다. 속도는 정말 좋다. 초당 161토큰은 비교 집합 중앙값의 두 배가 넘는다. 과제당 비용은 그렇지 않다. 2.06달러는 동급의 하위 4분의 1에 속하는데, 길게 추론하는 모델은 단가표보다 토큰에 비용을 쓰기 때문이다.

Mistral 자체 수치, 그리고 공개하지 않은 하나

Mistral의 출시 글이 제시한 모든 벤치마크는 Mistral 자체 측정치이며, 이를 인용하기 전에 이 점을 분명히 밝혀둘 필요가 있습니다. Terminal-Bench 4.0은 41%로 주장되었는데, 이는 프리뷰보다 13포인트 높은 수치이며 해당 글에 따르면 오픈 웨이트 부문 선두입니다. FrontierCode 2.0은 19.7%, AA Coding Agent Index는 48%로 GLM-5.3과 사실상 동률이라고 설명됩니다. BrowseComp는 84.5%로 프리뷰의 지도 학습 체크포인트인 75%를 앞섰습니다. FinWorkBench는 73.3%로 Kimi K3의 77.3%에 뒤처졌습니다. 그리고 악성 사이버 요청에 대한 평균 거부율은 96.6%인데, 이 수치가 바로 이번 출시가 실질적으로 중심에 두고 있는 숫자입니다. 이 중 일부는 서드파티 하네스, 즉 Cognition의 FrontierCode, Artificial Analysis의 Coding Agent Index, Surge Code의 인간 선호도에서 나온 것이지만, Mistral이 직접 실행했고 Mistral이 보고한 결과입니다. 작성 시점 기준으로 공개적으로 재현된 것은 없습니다.

빠진 수치는 자체 호스팅 사용자가 가장 필요로 하는 수치입니다. 바로 동일한 평가에서 FP8 체크포인트와 비교한 NVFP4 품질입니다. 이 카드는 양자화가 "비슷한 성능"으로 메모리 절감을 제공한다고 제시하지만, 이는 측정값이 아니라 주장일 뿐입니다. 누군가 동등 조건의 실행 결과를 공개하기 전까지 솔직한 입장은 610 GB 체크포인트는 적재할 수 있는 것이고, 1,060.6 GB 체크포인트는 문서 기록이 있는 것이라는 점입니다.

Artificial Analysis가 실행한 것과 동일한 벤치마크에 벤더의 표를 대조해 보면 그림의 모양이 달라진다. AA가 Mistral Large 4에 대해 현재 제시하는 행 — 호스팅 API, 높은 추론 노력 — 은 Terminal-Bench 4.0을 25%로 기록하는데, 이는 릴리스 게시물의 41%보다 16포인트 낮은 수치이며, FrontierCode 2.0은 Mistral이 인용한 19.7%에 맞서 15%로 기록한다. 둘 다 Mistral 스스로 인용하는 하네스다. 그럴듯한 설명은 구성이다: 릴리스 수치는 특정 추론 설정이나 특정 평가 슬라이스에서 나온 것일 수 있으며, AA는 공개 API가 반환하는 것을 측정한다. 받아들일 수 없는 설명은 대부분의 보도가 정착한 바로 그것이다 — 마치 두 숫자가 같은 것을 측정한 양 두 수치를 함께 인쇄하는 것.

누가 그것을 제공할 수 있는지를 결정하는 라이선스 조항

라이선스는 한자리에 앉아 읽을 수 있을 만큼 짧고, 중요한 조항은 model-as-a-service에 관한 조항이다. 가중치로 호스팅 서비스를 운영하려면 Mistral의 별도 상용 라이선스가 필요하다. 하지만 model-as-a-service의 정의에서는 내장형 최종 사용자 제품이 제외되고, 별도로 "다른 사람이 호스팅하는 모델에 대한 단순한 요청 중계"도 제외된다. 그 예외 조항은 언뜻 보기보다 좁다. 즉, 자체 추론 환경을 구축해 재판매하는 것은 허용하지 않지만, 게이트웨이가 라이선시가 되지 않고도 Mistral이 호스팅하는 추론으로 요청을 전달할 수 있게 해 준다. 그 해석이 분쟁에서 유효할지는 이 블로그가 아니라 Mistral의 변호사들이 판단할 문제다.

그런데 여기서 곤란한 부분이 나옵니다. OrcaRouter는 Mistral Large 4를 목록에 올리지 않았습니다. 214개 모델 카탈로그 어디에도 Mistral 엔드포인트는 없습니다. 따라서 이번 릴리스의 어떤 것도 현재 여기서 라우팅할 수 없으며, 그렇지 않다고 말하는 사람은 여러분을 속이고 있는 겁니다. 카탈로그에 실제로 있는 것은 이런 롤아웃의 나머지 절반입니다. 즉, 워크로드를 한 모델에 고정해 두고 코드 변경 없이 다른 모델로 전환할 수 있는 라우팅 DSL, 엔드포인트가 성능 저하를 일으킬 때의 자동 장애 조치, 그리고 0% 마크업의 패스스루 가격 정책 덕분에 벤더의 자체 요율 변경이 그쪽에 적용되는 바로 그날 우리 쪽에도 적용됩니다. 610 GB를 끌어와 자체 vLLM 박스를 세우는 팀들도 거의 항상 첫 몇 주 동안은 그 뒤에 호스티드 경로를 유지하는데, 바로 그 부분이 우리가 실제로 운영할 수 있는 것입니다.

오늘 밤 누가 다운로드를 시작해야 할까요?

이미 Blackwell GPU 8개를 운용 중이거나, 어떤 호스팅 엔드포인트도 충족하지 못하는 데이터 상주 규칙이 있다면, 오늘 아침 판단의 셈법이 바뀌었고, 그것도 당신에게 유리한 쪽으로 바뀌었습니다: 가중치가 있고, 라이선스가 있으며, 공급업체가 제안이 아니라 테스트된 서빙 명령을 건네줬습니다. 먼저 NVFP4 체크포인트를 받아 두세요 — 610.1 GB는 저녁 시간을 견딜 만한 용량이고, vLLM 이미지는 고정되어 있습니다. 양자화 주장은 측정되지 않았고 공급업체 벤치마크는 공급업체의 것이므로, 프로덕션 경로를 여기에 맡기기 전에 호스팅 API를 상대로 자체 평가를 실행하세요.

그런 등급의 하드웨어를 운영하지 않는다면, 이번 릴리스에서 아직 여러분에게 해당하는 내용은 없습니다. 토큰당 활성 파라미터가 490억 개인 1T 모델은 노트북으로 내려받거나 단일 카드로 실험할 대상이 아니며, FP8 체크포인트는 무려 1테라바이트에 달합니다. 여러분에게 닿아야 할 소식은 파일 목록이 아니라 가격대입니다. 호스팅 API가 이제 $0.70과 $2.10에서 시작하는데, 이는 10월 발표 때 여러분이 예상하게 되었던 금액의 대략 절반이며, 이는 GPU를 한 대도 보유하지 않고도 누릴 수 있는 변화입니다.

열린 질문이야말로 흥미로운 부분이다. 610GB에 들어가는 1조 파라미터 모델은 NVFP4가 프런티어 규모의 mixture-of-experts를 형태를 바꾸지 않고 압축할 수 있음을 증명한다. 답변을 바꾸지 않고 압축하는지 여부는 앞으로 2주간의 독립 실행이 판가름할 문제이며, 아직 누구도 그 결과를 발표하지 않았다 — 그것을 출시한 사람들까지도.