Auto-hospedagem do Mistral Large 4: o que 1,06 TB realmente custa para você

Os pesos estão disponíveis, sem restrições, e a licença permite uso comercial. Três fatos que fazem a auto-hospedagem do Mistral Large 4 parecer uma decisão, e não uma fantasia. Depois você lê a lista de arquivos: 54 fragmentos safetensors, 1.060,6 GB em bf16, antes de um único token de cache KV. Esse número — não a manchete de trilhão de parâmetros — é em torno do qual você planeja armazenamento e GPUs, e é o motivo pelo qual a maioria das equipes lerá esta página e continuará na API.

Os dois checkpoints e o que cada um deles exige

• bf16 — 54 fragmentos, 1.060,6 GB, dois deles com 16,9 GB e 4,2 GB, e os outros 52 entre 19,7 e 20,0 GB. Não cabe de forma útil em oito aceleradores de 141 GB quando o estado KV é reservado, então planeje mais hardware ou o caminho quantizado.

• NVFP4 — um repositório separado, 32 shards, 610,1 GB, posicionado pela Mistral para hardware Blackwell com suporte nativo a NVFP4. A orientação da própria Mistral: quatro GPUs B200 ou B300. A afirmação de que mantém o "mesmo desempenho" é uma alegação do fornecedor, não uma medição.

• Receita de serving — a configuração vLLM do cartão do modelo exige paralelismo tensorial de 8 com tipo de dados de cache KV FP8. Essa é a configuração que serve de referência para o benchmark, não uma promessa de throughput.

• Contexto — 1 milhão de tokens configurados, 524.288 medidos na configuração testada. Um contexto longo multiplica a pressão do cache KV, o que, em um codificador visual de 1,6 bilhão de parâmetros mais um MoE de 1,05 trilhão de parâmetros, é a diferença entre caber e não caber.

O ponto de equilíbrio que ninguém calcula

Use o preço promocional como referência para o que a hospedagem precisa superar: US$ 0,68 por milhão de tokens de entrada e US$ 2,09 por milhão de tokens de saída. Quatro B200s a uma tarifa realista de nuvem — digamos, US$ 8 a US$ 12 por hora de GPU — representam US$ 32 a US$ 48 por hora, ou aproximadamente US$ 23.000 a US$ 35.000 por mês, antes de armazenamento, rede, engenharia e do tempo para ajustar uma stack de serving.

Para empatar com esse custo mensal diante de US$ 2,09 por milhão de tokens de saída, você precisaria gerar algo acima de onze bilhões de tokens de saída por mês, todos os meses, com plena utilização. Esse é um volume que quase nenhuma equipe fora de um provedor de hiperescala realmente tem, e isso ignora as duas semanas de engenharia que a primeira implantação exige.

Dito de outra forma: a 100 milhões de tokens de saída por mês — um número de produção grande, mas real —, a API custa cerca de US$ 209 em promoção ou US$ 418 pelo preço de tabela, contra uma conta de hospedagem na casa das dezenas de milhares. A autohospedagem não é um desconto nessa escala. É a compra de outra coisa.

O que é essa outra coisa

Quatro coisas, e são as únicas razões honestas para baixar 1,06 TB.

Residência de dados. Os pesos nunca saem do seu perímetro. Para uma carga de trabalho regulamentada, isso não é uma preferência, é uma exigência, e nenhum preço de API compete com isso.

Certeza da licença. A Ecosystem Open-Weight License da Mistral permite uso comercial, modificação, treinamento adicional e obras derivadas, com uma ressalva: operar um modelo como serviço — dando a terceiros controle significativo sobre entradas, parâmetros ou dados de treinamento — exige um acordo comercial separado. Funcionalidades incorporadas, uso interno e mera retransmissão ficam de fora. Possuir o artefato significa que os termos aceitos são os termos que se aplicam.

O direito ao ajuste fino. Um derivado que você treina é seu, e nenhuma API hospedada pode oferecer isso a qualquer preço.

Determinismo. O checkpoint que você validou é o checkpoint que você executa. Um modelo hospedado pode ser redirecionado para uma nova versão sob o mesmo nome; um arquivo no seu disco não pode.

O que nenhum desses quatro é: mais barato por token. A aritmética acima descarta isso para qualquer time abaixo de hiperescala, e um plano baseado na expectativa de economia não sobreviverá à primeira fatura.

A cláusula de licença que um provedor de hospedagem precisa ler duas vezes

Se o seu motivo para a auto-hospedagem é servir o modelo aos clientes, a cláusula 2 é o parágrafo que decide o seu enquadramento jurídico. A computação para os seus próprios produtos é permitida; uma plataforma que entregue aos clientes o modelo e um controle significativo sobre entradas, parâmetros ou treinamento não existe no âmbito desta licença sem um acordo separado. A exceção para o "mero encaminhamento de solicitações a modelos hospedados por terceiros" é restrita e significa exatamente o que diz: encaminhar para o endpoint de outra pessoa não é hospedagem.

Essa distinção é a única coisa nesta página que uma tabela de preços não consegue responder, e vale uma hora de advogado antes de uma compra de GPU.

Quem deve baixá-lo?

Baixe se um regulador, um contrato com cliente ou uma política de classificação de dados já lhe deu a resposta. Baixe se pretende fazer ajuste fino e distribuir um derivado, porque essa é uma capacidade que a API não vende. Baixe se tiver capacidade Blackwell já paga e ociosa — o caminho NVFP4 em quatro B200s é a única configuração em que os números chegam perto do ponto de equilíbrio.

Fique na API se a pergunta era sobre preço. A $0,68 e $2,09 em promoção, ou $1,36 e $4,18 no preço de tabela, chamar este modelo é uma das maneiras mais baratas do mercado de obter uma resposta multimodal de um trilhão de parâmetros — desde que você trate a promoção como uma janela, e não como uma tarifa. O Mistral Large 4 não está no catálogo da OrcaRouter, então essa rota passa pela API própria da Mistral e por hosts de terceiros; o formato geral que oferecemos é um endpoint compatível com OpenAI para 224 modelos pelo preço de tabela do provedor, sem acréscimo, em que a mudança de preço de um fornecedor entra no dia em que é anunciada, e não na próxima renovação.