O SkyRL aumentou em onze pontos a pontuação do AIME do Mistral Large 4 em oito nós: o que o RL no dia 0 em um MoE de 1T prova

O Mistral Large 4 foi anunciado como uma prévia de API em 6 de outubro de 2026, e seus pesos só se tornaram disponíveis para download às 14:51 UTC de 29 de outubro — o que torna o relatório de aprendizado por reforço publicado no mesmo dia notável por um motivo que seus autores não salientam: antes daquela tarde, ninguém fora da Mistral tinha um resultado de ajuste fino para publicar. A nota vem da equipe SkyRL da NovaSky. Oito nós NVIDIA GB200, aprendizado por reforço com LoRA no checkpoint NVFP4, vLLM servindo os rollouts, e o AIME 2024 average@8 subindo de cerca de 64% para cerca de 75% ao longo de 75 etapas de treinamento. Onze pontos em um benchmark normalmente decidido em décimos é ou o resultado de dia zero mais útil do trimestre ou o menos reproduzível, e a nota, como está escrita, não diz qual dos dois.

O que ele de fato informa é real, e vale a pena separar isso daquilo que ele não informa. O hardware é nomeado. O checkpoint é nomeado. O mecanismo de rollout é nomeado. O framework de treinamento é nomeado como um de dois. O que falta é a função de recompensa, o rank do adaptador, o arcabouço de avaliação e qualquer curva de aprendizado — as quatro coisas de que outra equipe precisaria para tentar a mesma execução. Portanto, este é um anúncio de receita com um número de manchete anexado, não um pacote de reprodução. Leia-o como o primeiro e ele será genuinamente informativo sobre quanto custa pós-treinar uma mistura de especialistas com um trilhão de parâmetros no final de 2026. Leia-o como o segundo e você superestimará um único benchmark numa única tarefa.

O que a nota do SkyRL realmente diz

A alegação inteira cabe em cinco linhas, então aqui está sem o enquadramento:

• Hardware — 8 nós NVIDIA GB200, alugados em vez de próprios, o que, com quatro GPUs por nó, dá 32 componentes Blackwell e aproximadamente 6,1 TB de HBM agregada a 192 GB por GPU.

Checkpoint — o irmão quantizado em NVFP4 da versão aberta, 610,1 GB em 32 shards, não o pai FP8 de 1.060,6 GB. Essa escolha é a decisiva: é o que faz um modelo de 1T caber em oito nós com espaço de sobra para ativações, cache KV e duas cópias dos pesos do motor de rollout.

• Método — LoRA em vez de RL de parâmetros completos. Apenas os adaptadores recebem gradientes, então o estado do otimizador permanece pequeno e a base congelada pode permanecer em sua forma quantizada.

• Loop — o vLLM gera os rollouts; o FSDP2 ou o Megatron cuida da parte de treinamento. A nota oferece um ou outro, o que indica que o backend de treinamento ainda estava sendo trocado quando o resultado foi redigido.

• Resultado — average@8 do AIME 2024 de aproximadamente 64% para aproximadamente 75% em 75 etapas de treinamento.

Nada nessa lista é uma especificação da execução. Não há tamanho do batch, comprimento da sequência, taxa de aprendizado, tamanho do grupo para o gradiente de política, nem qualquer declaração sobre qual era a recompensa além do implícito de que "as respostas do AIME são verificáveis". O número de 75 passos é preciso; quase tudo o que é necessário para interpretá-lo não é.

Por que a contagem de nós é a manchete, e não a pontuação do AIME

Um trilhão de parâmetros é um número que, na prática, funciona mais como um elemento dissuasor. O checkpoint FP8 tem 1,06 TB, o que é aceitável se você tem um datacenter e um problema se você tem um rack. O checkpoint NVFP4 reduz isso pela metade, para 610 GB, e 610 GB é uma quantidade que você consegue distribuir por oito nós sem truques de sharding que custam mais em comunicação do que economizam em memória.

É por isso que a frase interessante na nota não é a que contém a porcentagem. A Hugging Face já havia publicado uma receita de ajuste fino supervisionado para este modelo — LoRA por meio do trainer SFT do TRL, em um único nó de oito GPUs B300, sobre os pesos FP8. Portanto, o SFT em um único nó foi documentado antes de os pesos completarem um dia. O que não foi documentado foi o aprendizado por reforço, e o motivo é estrutural: o RL precisa de um motor de inferência rodando ao lado do trainer, gerando rollouts rápido o suficiente para que o tempo de GPU gasto no treinamento não seja ofuscado pelo tempo de GPU gasto na amostragem. O SFT lê um conjunto de dados fixo. O RL precisa produzir o seu próprio.

A diferença entre as duas receitas publicadas não é de oito nós contra um. É de oito nós mais uma pilha de serving contra um nó sem pilha de serving, para uma tarefa em que o modelo tem de tentar trinta problemas oito vezes cada antes de aprender algo. O motor de rollout é o novo centro de custos, e nomear o vLLM como o gerador é a parte da nota sobre a qual outras equipas podem agir hoje.

A comparação que todos farão, e por que ela é injusta nos dois sentidos

A Mistral executou o seu próprio RL neste modelo antes de disponibilizar os pesos, e a empresa tem sido específica quanto à sua configuração: aproximadamente três semanas adicionais após a pré-visualização de 6 de outubro, realizado em infraestrutura de computação francesa que a empresa descreve em megawatts em vez de GPUs — cerca de 10 MW — com relatos noutros meios que situam a infraestrutura de RL mais ampla à escala de 3.000 GPUs. Os resultados que publicou dessa execução:

• Terminal-Bench 4.0 — 28,3% antes do RL extra, 41% depois.

• BrowseComp — 75% antes, 84,5% depois.

• B3 agent-security suite — 93,3% antes, 97,1% depois.

• Comprimento da saída — cerca de 30% menos tokens por tarefa após o RL, o que importa mais para um comprador do que qualquer uma das linhas de precisão.

Coloque isso ao lado de 64 a 75 no AIME e a tentação é calcular uma razão de horas-GPU por ponto. Resista, porque as duas execuções quase não compartilham variáveis. O ganho da Mistral está em trabalho agêntico de terminal e navegação, medido por um fornecedor com o design de recompensa feito internamente e três semanas de tempo real. O ganho da SkyRL está em matemática de competição, medido por um parceiro com um cluster alugado e uma recompensa que um script consegue verificar. Um avanço de 13 pontos no Terminal-Bench e um avanço de 11 pontos no AIME não são a mesma conquista expressa em unidades diferentes; são conquistas diferentes que por acaso têm tamanho semelhante.

A leitura justa é mais estreita e mais útil: três semanas de RL em escala de datacenter elevaram a pontuação terminal da Mistral em treze pontos, e algumas horas de RL com LoRA em escala de oito nós elevaram a pontuação de matemática de um parceiro em onze. Ambos os números dizem a mesma coisa — este checkpoint responde prontamente ao aprendizado por reforço — e nenhum deles diz qualquer coisa sobre o outro.

O que 64 a 75 no AIME 2024 prova e não prova

Comece pela aritmética, porque é a única parte disto que pode ser verificada sem uma GPU. O AIME 2024 tem trinta problemas. Average@8 significa oito tentativas amostradas por problema, então o número relatado se baseia em 240 respostas geradas. O erro de amostragem para uma proporção próxima de 70% nesse tamanho de amostra é de alguns pontos percentuais, o que coloca uma variação de onze pontos confortavelmente fora do ruído. Se os dois números vieram do mesmo arcabouço de avaliação, a melhoria é real nessa tarefa.

Essa é a coisa mais forte que se pode dizer, e vale a pena dizê-la claramente porque a maioria das alegações de dia zero nem sequer chega a ser tão boa assim. Agora, os limites:

• Não há uma pontuação AIME publicada pela Mistral para este modelo. A linha de base de 64% é a própria medição da SkyRL do checkpoint base em seu próprio harness, então o delta é internamente consistente, mas externamente não ancorado — você não pode verificá-lo contra um número do fornecedor porque não existe número do fornecedor.

Average@8 não é pass@1. Oito tentativas por problema favorecem qualquer modelo com uma ampla distribuição de amostragem, e a diferença entre as duas métricas costuma ser de cinco a quinze pontos em matemática de competição. O número que decide se você colocaria o modelo em produção é a única tentativa que você lhe dá em produção.

• O AIME 2024 tem dois anos e meio e está entre os conjuntos de matemática mais fortemente representados nos dados de pós-treinamento. Um modelo de 2026 que se sai bem nele é evidência de um checkpoint treinável, não um veredito sobre raciocínio. Nada na nota relata uma avaliação held-out ou mais recente.

• Uma tarefa, uma execução, uma recompensa. RL em matemática verificável é o caso mais fácil que existe: a recompensa não precisa de juiz, de critério de avaliação nem de humano. O resultado é uma afirmação sobre até onde este modelo avança sob o sinal de RL mais barato possível, que é genuinamente o primeiro experimento correto e também o menos transferível.

O que você precisaria para reproduzi-lo, e o que a licença permite

A lista de compras prática, reconstruída a partir da nota em vez de publicada por ela:

• O checkpoint NVFP4 — 610 GB, 32 shards, sem restrições de acesso, disponível para download hoje sem a exigência de uma conta do Hugging Face.

• Cerca de 32 GPUs da classe Blackwell distribuídas por oito nós, além da interconexão necessária para impedir que a sincronização do adaptador consuma o tempo da etapa.

• Uma build do vLLM com um caminho NVFP4 funcional para esta arquitetura. O card do modelo recomenda o vLLM com um contêiner oficial e um tensor-parallel size de oito, e observa uma cabeça de decodificação especulativa embutida que o fornecedor afirma valer até 1,9× de throughput — essa cabeça não é o que um loop de RL precisa, mas o contêiner é.

• Você mesmo terá que escolher uma patente de adaptador e uma recompensa, porque a nota não informa.

A questão da licença resolve-se de forma mais clara do que a questão técnica. A Mistral lançou isto ao abrigo da Mistral Ecosystem Open-Weight License, um texto MIT modificado que permite uso comercial, fine-tuning e derivados, e exige uma licença comercial separada apenas para operar um negócio de modelo como serviço sobre ele. Fine-tuning interno, um adaptador privado, uma execução de avaliação em nós alugados — tudo isso está abrangido pela concessão. Criar uma API por token e vender acesso ao seu fine-tune não está. Se o seu plano é o primeiro, a licença não é o seu problema. Se for o segundo, é o problema todo, e nenhuma melhoria no AIME muda isso.

A metade do loop que fica caro mais tarde

A AIME é o caso barato por um motivo que vale explicitar. A recompensa é uma string de resposta que um script compara. Não há juiz, nem rubrica, nem segundo modelo no loop, então o custo marginal de um rollout é a inferência e nada mais. Transponha a mesma receita para tarefas agênticas, escrita aberta ou qualquer coisa avaliada por preferência, e a recompensa se torna uma chamada de modelo — emitida na escala de rollout, milhares de vezes por etapa, durante toda a execução. Esse é um problema de aquisição diferente do compute de treinamento, e é aquele que a maioria das equipes descobre depois de já ter reservado as GPUs.

O próprio Mistral Large 4 não é um modelo que servimos, então este artigo não é uma rota para ele — hospedá-lo por conta própria significa usar o repositório do Hugging Face e a API do próprio fornecedor. O que é roteável é a outra metade do ciclo. Se seu verificador for um modelo juiz em vez de um script, ele precisa suportar ser chamado no volume de rollout: um endpoint para mais de 200 modelos, preço de tabela do provedor repassado sem markup por cima, e failover quando um único endpoint de juiz atinge o limite de taxa no meio de uma etapa de treinamento. Os modelos que você realmente usaria como juízes estão listados, com contexto e preço, em o catálogo de modelos OrcaRouter. O ponto não é que o roteamento torne o RL barato. É que o sinal de recompensa é a parte de uma execução de RL que você não consegue contornar no planejamento, então é a parte que vale a pena colocar por trás de uma interface estável.

O que assistir a seguir

Três coisas transformariam esta nota promissora em um resultado. A equipe SkyRL publicar o rank do adaptador, a definição da recompensa e uma curva de aprendizado, o que permitiria que outro grupo tentasse a mesma execução em vez de admirá-la. Uma segunda tarefa, idealmente uma cuja recompensa não seja uma comparação de strings, o que mostraria se o efeito sobrevive ao contato com um juiz. E uma avaliação independente de AIME ou de matemática mais difícil do checkpoint divulgado, porque o piso de 64% atualmente é a medição do próprio parceiro, e a única maneira de eliminar essa ressalva é que outra pessoa faça a medição.

Até lá, o resumo honesto é curto. Os pesos têm um dia de vida, um parceiro elevou um benchmark de matemática em onze pontos em oito nós alugados com um adaptador LoRA, e ninguém ainda o reproduziu. Isso é mais do que a maioria dos lançamentos de pesos abertos oferece na primeira semana, e menos do que a manchete sugere.