Mistral Large 4をセルフホスティング：1.06 TBの実際のコスト

重みは公開され、ゲートもなく、ライセンスは商用利用を許可している。セルフホスティング Mistral Large 4 を妄想ではなく現実的な判断に見せる3つの事実だ。だがファイル一覧を見ると、bf16で54個のsafetensorsシャード、合計1,060.6 GB。しかもKVキャッシュの1トークン分も含まない。ストレージとGPUの計画を立てる際に基準となるのは、兆パラメータという見出しの触れ込みではなくこの数字であり、ほとんどのチームがこのページを読んでAPIを使い続けるのもまさにこの理由だ。

2つのチェックポイントと、それぞれが求めるもの

• bf16 —54 個のシャード、1,060.6 GB。そのうち 2 つは 16.9 GB と 4.2 GB、残りの 52 個は 19.7～20.0 GB です。KV 状態を確保すると、8 台の 141 GB アクセラレータには実用的に収まらないため、より多くのハードウェアか量子化パスを前提に計画してください。

• NVFP4 —別個のリポジトリで、32 シャード、610.1 GB。Mistral が、NVFP4 をネイティブにサポートする Blackwell ハードウェア向けに位置付けています。Mistral 自身のガイダンスでは、B200 または B300 GPU を 4 台となっています。「同じ性能」を維持するという主張はベンダーによる主張であり、実測値ではありません。

• サービングレシピ — モデルカードの vLLM 設定では、テンソル並列度 8 と FP8 の KV キャッシュ dtype が求められています。ベンチマークの基準とすべきはこの構成であり、スループットを保証するものではありません。

• コンテキスト — 100万トークンが構成され、テスト済みの構成では524,288トークンが測定されました。長いコンテキストはKVキャッシュへの負荷を倍増させ、これは16億パラメータのビジョンエンコーダーと1.05兆パラメータのMoEにおいて、収まるか収まらないかの違いとなります。

誰も実行しない損益分岐点

ホスティングが打ち破るべき基準として、プロモーション価格を採用しましょう。入力100万トークンあたり{{1}}$0.68{{/1}}、出力100万トークンあたり{{2}}$2.09{{/2}}です。現実的なクラウド料金で言えば、B200を4台使うと1 GPU時間あたり{{3}}$8〜$12{{/3}}、つまり1時間あたり{{4}}$32〜$48{{/4}}、月額ではおおよそ{{5}}$23,000〜$35,000{{/5}}になります。これはストレージ、ネットワーキング、エンジニアリング、そしてサービングスタックを調整する時間を考慮する前の額です。

その月額コストを、出力トークン100万あたり2.09ドルという単価に対して損益分岐させるには、毎月、フル稼働で、110億出力トークンを超える量を生成する必要がある。それはハイパースケーラー以外のほぼどのチームにも実際にはない量であり、しかも初回デプロイに要する2週間のエンジニアリング工数は無視している。

逆に言えば、月間1億出力トークンという、大きいながらも現実的な本番の数字では、APIの費用はプロモーション価格で約209ドル、定価で418ドルなのに対し、ホスティング費用は数万ドルに達する。その規模でセルフホスティングは割引ではない。それは別の何かを購入することだ。

その別の何かとは何か

四つのこと、そしてそれらは1.06 TBをダウンロードする唯一の正直な理由だ。

データレジデンシー。 重みがあなたの境界の外に出ることは決してありません。規制対象のワークロードにとって、それは好みではなく要件であり、APIの価格がそれに敵うことはありません。

ライセンスの確実性。MistralのEcosystem Open-Weight Licenseは、商用利用、改変、追加学習および派生作品を認めていますが、1点だけ留保があります。model-as-a-serviceの運用、つまり第三者に入力、パラメータ、または学習データに対する実質的な制御を与える場合は、別途の商用契約が必要です。組み込み機能、内部利用、および単なる中継は除外されます。成果物を所有しているということは、同意した条件がそのまま適用される条件であることを意味します。

微調整を行う権利。 あなたが学習させる派生物はあなたのものであり、どのホスト型APIもいくら積まれてもそれを提供することはできません。

決定論. 検証したチェックポイントは、そのまま実行されるチェックポイントです。ホスト型モデルは同じ名前のまま新しいバージョンに差し替えられることがありますが、ディスク上のファイルはそうはいきません。

その4つのいずれにも当てはまらないのは、トークン単価の安さです。前述の計算は、ハイパースケール未満のどのチームにとってもそれを不可能にし、節約を前提に組まれた計画は最初の請求書で破綻します。

ホスティング事業者が二度読むべきライセンス条項

セルフホスティングの理由がモデルを顧客に提供することにあるなら、第2条こそがあなたの法的形態を決める段落です。自社製品のための計算は問題ありませんが、顧客にモデルを渡し、入力・パラメータ・学習に対して実質的な制御権を与えるプラットフォームは、別途の契約なしには本ライセンスの下では存在しません。「他者がホストするモデルへの単なる要求の中継」に対する除外規定は狭く、書かれている通りの意味です。つまり、他人のエンドポイントへの転送はホスティングではありません。

その区別こそ、このページ上で料金表が答えることのできない唯一の事柄であり、GPUを購入する前に弁護士の1時間を割く価値があります。

誰がそれをダウンロードすべきですか

規制当局、顧客契約、またはデータ分類ポリシーがすでに答えを出しているなら、ダウンロードしてください。ファインチューニングして派生版を出荷するつもりなら、ダウンロードしてください。なぜなら、それはAPIが販売していない能力だからです。すでに支払い済みで遊休状態にあるBlackwellのキャパシティがあるなら、ダウンロードしてください — 4台のB200上のNVFP4パスが、数値が損益分岐点に近づく唯一の構成です。

価格が問われるなら、APIのままにしてください。プロモーション価格の$0.68と$2.09、または定価の$1.36と$4.18でこのモデルを呼び出すのは、市場で最も安価に1兆パラメータのマルチモーダル回答を得る方法の一つです——ただし、プロモーションを料金ではなく期間限定の窓と捉える場合に限ります。Mistral Large 4はOrcaRouterのカタログにはないため、そのルートはMistral自身のAPIとサードパーティのホストを経由します。当社が実際に提供している一般的な形は、プロバイダー定価でマークアップなしに224モデルを扱う単一のOpenAI互換エンドポイントであり、ベンダーの価格変更は次回の更新時ではなく発表当日に反映されます。