Mistral Large 4 셀프 호스팅: 1.06 TB에 실제로 드는 비용

가중치는 공개됐고, 게이트도 없으며, 라이선스는 상업적 사용을 허용합니다. 이 세 가지 사실 때문에 Mistral Large 4의 셀프 호스팅은 환상이 아니라 하나의 결정처럼 보입니다. 그런데 파일 목록을 보면, KV 캐시 토큰 하나도 없이 bf16 기준 54개의 safetensors 샤드, 1,060.6 GB입니다. 스토리지와 GPU를 계획할 때 기준이 되는 것은 1조 파라미터라는 헤드라인이 아니라 바로 이 숫자이며, 이 숫자가 대부분의 팀이 이 페이지를 읽고서도 API에 머무는 이유입니다.

두 개의 체크포인트와 각각이 요구하는 것

• bf16 — 샤드 54개, 1,060.6 GB이며, 그중 두 개는 16.9 GB와 4.2 GB이고 나머지 52개는 19.7~20.0 GB입니다. KV 상태를 예약하고 나면 141 GB 가속기 8대에는 유용하게 들어맞지 않으므로, 하드웨어를 더 확보하거나 양자화 경로를 이용할 계획을 세우십시오.

• NVFP4 — 별도 저장소로, 32개 샤드, 610.1 GB이며, Mistral이 네이티브 NVFP4 지원을 갖춘 Blackwell 하드웨어를 겨냥해 포지셔닝한 것입니다. Mistral 자체 지침은 B200 또는 B300 GPU 4개입니다. "동일한 성능"을 유지한다는 주장은 벤더의 주장일 뿐 측정된 결과는 아닙니다.

• 서빙 레시피 — 모델 카드의 vLLM 구성은 텐서 병렬 처리 8과 FP8 KV-cache dtype을 요구합니다. 그 구성이 벤치마크해야 할 대상이며, 처리량을 보장하는 것은 아닙니다.

• 컨텍스트 — 100만 토큰으로 구성되었으며, 테스트된 구성에서 524,288이 측정되었습니다. 긴 컨텍스트는 KV 캐시 압박을 배가시키는데, 16억 파라미터 비전 인코더와 1.05조 파라미터 MoE에서는 이것이 탑재 가능 여부를 가르는 차이입니다.

아무도 운영하지 않는 손익분기점

호스팅이 넘어서야 할 기준으로 프로모션 가격을 잡으세요: 입력 토큰 100만 개당 $0.68, 출력 토큰 100만 개당 $2.09. 현실적인 클라우드 요율로 B200 네 대를 쓰면 — 이를 GPU 시간당 $8~$12라고 하면 — 시간당 $32~$48, 즉 스토리지, 네트워킹, 엔지니어링, 서빙 스택을 튜닝하는 시간을 제외하고도 월 약 $23,000~$35,000입니다.

그 월 비용에서 백만 출력 토큰당 2.09달러를 기준으로 손익분기점을 맞추려면, 한 달에, 그것도 매달, 완전 가동률로 110억 개가 넘는 출력 토큰을 생성해야 합니다. 이는 하이퍼스케일러 외에는 실제로 보유하는 팀이 거의 없는 물량이며, 첫 배포에 드는 2주간의 엔지니어링 비용은 무시한 계산입니다.

달리 말하면, 월 1억 출력 토큰이라는 크지만 현실적인 프로덕션 규모에서 API 비용은 프로모션 기준 약 209달러, 정가 기준 418달러이며, 이는 수만 달러에 달하는 호스팅 청구서와 맞닥뜨립니다. 그 규모에서 셀프 호스팅은 할인이 아닙니다. 그것은 다른 무언가를 구매하는 것입니다.

그 다른 무언가가 무엇인지

네 가지입니다. 그리고 이것들이 1.06 TB를 다운로드하는 유일한 정직한 이유입니다.

데이터 상주성. 가중치는 결코 여러분의 경계를 벗어나지 않습니다. 규제를 받는 워크로드에서 이는 선호 사항이 아니라 필수 조건이며, 어떤 API 가격도 이에 맞설 수 없습니다.

라이선스 확실성. Mistral의 Ecosystem Open-Weight License는 상업적 사용, 수정, 추가 훈련 및 파생 저작물을 허용하며, 단 한 가지 조건이 있습니다. 즉, 제3자가 입력값, 파라미터 또는 훈련 데이터에 실질적인 통제권을 갖도록 하는 모델-서비스(MaaS) 형태의 운영은 별도의 상업적 계약이 필요합니다. 임베디드 기능, 내부 사용, 단순 중계는 이 조건에서 제외됩니다. 아티팩트를 소유한다는 것은 곧 귀하가 동의한 조건이 그대로 적용된다는 뜻입니다.

파인튜닝할 권리. 직접 학습시킨 파생 모델은 당신의 것이며, 어떤 호스팅 API도 어떤 가격을 받고서도 그걸 제공할 수는 없습니다.

결정론. 검증한 체크포인트가 바로 실행하는 체크포인트입니다. 호스팅된 모델은 같은 이름 아래에서 새 버전을 가리키도록 변경할 수 있지만, 디스크에 있는 파일은 그렇게 할 수 없습니다.

그 네 가지 중 어느 것도 아닌 것은 토큰당 더 저렴하다는 점입니다. 위의 계산은 하이퍼스케일 미만의 어떤 팀에도 그 가능성을 배제하며, 비용 절감을 기대해 만든 계획은 첫 청구서를 견디지 못할 것입니다.

호스팅 업체가 두 번 읽어야 하는 라이선스 조항

셀프 호스팅을 하는 이유가 고객에게 모델을 제공하기 위한 것이라면, 조항 2가 귀사의 법적 형태를 결정하는 문단입니다. 자사 제품을 위한 연산은 문제없습니다. 고객에게 모델과 입력, 파라미터 또는 훈련에 대한 의미 있는 통제권을 넘기는 플랫폼은 별도 계약 없이는 이 라이선스 아래에서 존재할 수 없습니다. “다른 주체가 호스팅하는 모델에 대한 단순한 요청 전달”을 위한 예외 조항은 범위가 좁고, 그 말 그대로입니다. 다른 누군가의 엔드포인트로 전달하는 것은 호스팅이 아닙니다.

그 구분은 이 페이지에서 요율표가 답할 수 없는 유일한 사항이며, GPU 구매 전에 변호사의 한 시간을 들일 가치가 있습니다.

누가 이를 다운로드해야 합니까?

규제 기관, 고객 계약 또는 데이터 분류 정책이 이미 답을 알려줬다면 다운로드하세요. 파인튜닝을 거쳐 파생물을 배포하려는 경우에도 다운로드하세요. API가 판매하지 않는 기능이기 때문입니다. 이미 비용을 지불했지만 유휴 상태인 Blackwell 용량이 있다면 다운로드하세요. 4대의 B200에서 NVFP4 경로가 수치가 손익분기점에 거의 도달하는 유일한 구성입니다.

질문이 가격에 관한 것이라면 API 쪽에 초점을 맞추세요. 프로모션 기준 $0.68 및 $2.09, 정가 기준 $1.36 및 $4.18로, 이 모델을 호출하는 것은 시장에서 1조 개 매개변수 멀티모달 답변을 얻는 가장 저렴한 방법 중 하나입니다 — 단, 프로모션을 상시 요율이 아니라 한정된 기간으로 봐야 합니다. Mistral Large 4는 OrcaRouter의 카탈로그에 없으므로, 해당 경로는 Mistral 자체 API와 타사 호스트를 거칩니다. 우리가 제공하는 일반적인 구조는 공급자 정가에 마크업 없이 224개 모델을 아우르는 하나의 OpenAI 호환 엔드포인트이며, 여기서 공급업체의 가격 변경은 다음 갱신 때가 아니라 발표 당일에 반영됩니다.