Mistral Large 4의 컨텍스트 윈도우: 1M 표방, 524K 측정, 그리고 그 차이가 청구되는 이유

Mistral의 모델 카드는 한 가지를 말하고, 독립적인 측정은 또 다른 것을 말하며, 그 격차는 표면적인 문제가 아니다. 모델 카드에는 100만 토큰 컨텍스트 윈도우가 명시되어 있다. 실제로 실행할 수 있는 구성을 평가하는 Artificial Analysis는 524,288 토큰을 측정했다. 보내는 입력의 모든 토큰이 과금되므로, "내게 컨텍스트가 얼마나 있나"라는 질문은 곧 "한 요청에서 얼마나 쓸 수 있나"라는 질문이기도 하다.

그 두 숫자의 차이는 2×이며, 백만 입력 토큰당 $1.36를 청구하는 모델에서 이는 결코 반올림 오차가 아니다.

숫자가 무엇인지, 그리고 각 숫자가 어디서 오는지

• 1,048,576 토큰 — Mistral이 가중치와 함께 제공하는 구성 파일에 있는 값입니다. 이는 벤더가 정해 둔 상한이며, 모델 카드에서도 "1M"으로 다시 명시합니다.

• 524,288 토큰 — Artificial Analysis가 자사가 테스트한 구성에서 측정한 값입니다. 최대치의 절반에 해당합니다.

• 그 비용 — 백만 개당 $1.36 기준으로, 524K를 채우면 요청당 약 $0.71이 들고, 전체 1M을 채우면 $1.43이 듭니다. 둘 다 출력이 나오기 전 단일 호출의 입력 측면입니다.

벤더가 제시한 수치는 거짓말이 아니고, 측정된 수치도 버그가 아니다. 컨텍스트 윈도우는 아키텍처의 능력이고, 특정 서빙 구성이 실제로 받아들이는 범위는 — KV 캐시 예산, 텐서 병렬화, 배치 크기 등으로 인해 — 더 작으며, 이 둘 사이의 격차는 이 업계 전반에서 정상적인 일이다. 다만 그 격차가 가격과 같은 줄에 명시되는 일은 드물 뿐이다.

왜 이것이 다른 곳에서보다 더 중요한가

이 모델에만 해당하는 세 가지 이유.

1조 파라미터 규모의 MoE입니다. 토큰당 520억 개가 활성화되는 1조 500억 파라미터에, 16억 파라미터의 비전 인코더까지 더해집니다. 그 급의 모델에서 긴 컨텍스트를 위한 KV 캐시는 설정 파일의 의도가 아니라 서빙을 실제로 옥박는 제약 조건입니다. 측정된 수치가 정직한 계획 수치입니다.

요청당이 아니라 토큰당으로 가격이 책정됩니다. 이 카드에서 롱 컨텍스트 요청은 보내는 양에 따라 선형으로 증가하는 청구 항목입니다. 여러분은 '100만 컨텍스트 창'을 사는 것이 아니라 토큰을 사는 것이며, 창은 한 번의 호출에 얼마나 많은 토큰이 도착할 수 있는지만 결정합니다.

가중치는 구성 파일과 함께 제공됩니다. bf16 1,060.6 GB를 다운로드하고 code>config.json/code>를 읽으면, 1,048,576이 보일 것이고, 그 수치를 기준으로 계획을 세우고 싶어질 것입니다. vLLM 레시피는 FP8 KV 캐시와 함께 텐서 병렬화 8을 요구하는데, 이는 서빙 윈도우와 설정된 윈도우가 일치하지 않게 되는 바로 그 유형의 구성입니다.

한나절 만에 자신의 천장을 측정하는 방법

당신이 생각하는 한도를 초과하는 요청을 보내고 오류를 읽어 보세요 — 대부분의 경우 공급자는 조용히 잘라내기보다 토큰 수 메시지를 반환합니다. 그러면 실제로 사용하는 호스트에서 제공되는 상한을 알 수 있으며, 이것이 예산에 포함해야 하는 유일한 숫자입니다.

그런 다음 해당 상한의 80%에서 요청을 보내고 지연 시간을 지켜보세요. 긴 컨텍스트를 읽는 1조 매개변수 모델은 프롬프트 길이가 길어질수록 첫 토큰까지의 시간도 늘어납니다. 524K라는 수치는 윈도우일 뿐, 속도에 대한 약속은 아닙니다.

마지막으로, 결과로 나온 상한을 평균이 아니라 입력 길이의 95번째 백분위수와 비교하세요. 평균은 결코 구속력이 없습니다. 예산에 반영하지 않은 청킹 파이프라인이 나타나는 곳은 꼬리 부분입니다.

경쟁사의 창문이 어떻게 생겼는지

• DeepSeek V4 Pro — 1M 컨텍스트, 384K 출력, 비피크 시간대 기준 입력 $0.66 및 출력 $1.98.

• Grok 4.7 —500K 컨텍스트, 450K 출력, $2.00 및 $6.00 정액.

• Qwen3-Max — 262K 컨텍스트, 65K 출력, $0.36 및 $1.43.

• Mistral Large 4 — 1M 주장, 524K 측정, 정가 기준 $1.36 및 $4.18.

그 판에 비추어 보면, Mistral의 측정된 윈도는 262K와 1M이라는 주장 사이에 있습니다 — 상단보다 중간에 더 가깝습니다. 문맥 때문에 이 수치를 보고 있다면, 비교 표에 들어가야 하는 것은 측정된 수치이며, 그것은 헤드라인 수치의 절반에 해당합니다.

Mistral Large 4는 OrcaRouter의 카탈로그에 없기 때문에 저희가 제공할 수 있는 경로가 아닙니다. 이 모델은 Mistral 자체 API와 타사 호스트를 통해 호출할 수 있습니다. 저희가 일반적으로 제공하는 것은 224개 모델 전반을 아우르는 단일 OpenAI 호환 엔드포인트를 공급자 정가로, 마크업 없이 제공하는 것입니다. 이때 과금 기준이 되는 윈도우는 해당 공급사의 윈도우이며, 그것이 최종적으로 무엇으로 확인되든 그대로 적용됩니다.