HiRO-ACEv2 vs MathForm 8B: Dois Modelos Estreitos, Dois Tipos de Verdade de Referência

Nem HiRO-ACEv2 nem MathForm-8B está tentando ser um modelo geral, e ambos foram construídos por equipes que decidiram que o problema interessante era mais restrito do que um chatbot. HiRO-ACEv2 é o emulador climático de segunda geração da Ai2, publicado no Hugging Face em 12 de outubro de 2026 como um repositório de 10,9 GB sem anúncio, junto com um pré-print datado do dia seguinte. MathForm-8B é o modelo de autoformalização da OpenBMB, criado em 14 de agosto de 2026 sobre uma base Qwen3-8B, que transforma matemática em linguagem natural em declarações Lean 4. Um produz uma atmosfera em grade de 3 km; o outro produz uma obrigação de prova formal. A razão para compará-los não é a capacidade — eles não têm uso sobreposto — mas aquilo que ambos afirmam que acaba significando algo muito diferente em cada caso: que uma máquina consegue dizer se a saída está correta.

O que cada modelo realmente emite

O HiRO-ACEv2 executa um pipeline de dois estágios. Um emulador autorregressivo gera o X-SHIELD, o modelo global de resolução de tempestades, com resolução reduzida para 100 km; um modelo de difusão treinado separadamente então faz o downscaling desse estado de baixa resolução para 3 km, produzindo taxas médias de precipitação à superfície de seis em seis horas, ventos instantâneos de 10 metros para leste e para norte, e pressão ao nível do mar. O repositório contém o modelo de downscaling como HiROv2.ckpt, com cerca de 1,28 GiB, e o emulador de baixa resolução como ACE2S-X-SHIELD.ckpt, com cerca de 2,98 GiB, além de dez anos de dados de forçamento NetCDF, dois arquivos de condições iniciais e as configurações YAML que os conectam.

MathForm-8B emite texto, mas de um tipo bastante específico: uma declaração de teorema em Lean 4. O card o descreve como um modelo de autoformalização treinado no conjunto de dados FormalVerse da OpenBMB, primeiro com ajuste fino supervisionado e depois com aprendizado por reforço cuja recompensa vem da compilação Lean e de feedback de consistência semântica. Ele é denso de 8B, Apache 2.0, e herda sua escala de sua base — Qwen3-8B — e não de qualquer contagem de parâmetros publicada própria. As configurações de geração recomendadas são temperatura 0,6, top-p 0,95 e 16.384 novos tokens, em um servidor Transformers, vLLM ou SGLang; a avaliação exige um Kimina Lean Server em execução e Lean 4.21.0.

Ambos são deliberadamente estreitos. Essa é a primeira semelhança genuína, e é aí que as semelhanças praticamente acabam.

Dois tipos de verificação e por que apenas um deles resolve uma discussão

O lado Lean tem um verificador decisivo. Um enunciado de teorema ou compila sob o Lean 4, ou não compila, e o verificador de tipos é um cálculo fixo — não tem dias bons e dias ruins, e não precisa ser calibrado. É por isso que o ciclo de treinamento do MathForm-8B pode usar a compilação como sinal de recompensa. Os números publicados são taxas de Pass@8 sob dois regimes, verificação de sintaxe e verificação de consistência, avaliadas em seis benchmarks; o número com verificação de sintaxe fica em 88,06% e o número com verificação de consistência em 72,37%. Esses são os números dos próprios autores, não reproduzidos aqui, e a diferença de dezesseis pontos entre eles é a coisa mais informativa do card: um enunciado que compila não é o mesmo que um enunciado que diz o que o problema original significava.

O lado climático não tem tal verificador. O cartão de modelo do HiRO-ACEv2 não contém tabela de benchmark. Sua única afirmação quantitativa é que o downscaler reproduz as distribuições de referência de precipitação, vento de 10 metros e pressão ao nível do mar até o 99,9999º percentil, e que segue amplamente a distribuição de referência de intensidade de ciclones tropicais. O artigo acrescenta que a inferência custa mais de 300 vezes menos do que um modelo numérico global convencional de resolução de tempestades.

Cada uma delas é uma afirmação distribucional em relação a uma referência, não um teste de aprovação/reprovação contra um cálculo. Essa distinção determina por quanto tempo cada afirmação sobrevive sem ser contestada. Você pode refutar o número do MathForm-8B executando o modelo contra os benchmarks com um servidor Lean e uma GPU. Refutar o número do HiRO-ACEv2 exige um conjunto de dados de forçamento de dez anos, uma simulação de referência com a qual comparar e um analista disposto a trabalhar na cauda extrema. A primeira é uma semana de trabalho para um estudante de pós-graduação. A segunda é um artigo.

O que os fornecedores dirão e não dirão a você

Os dois cartões de modelo têm temperamentos opostos, e lê-los lado a lado é esclarecedor sobre para que serve um cartão.

O cartão da OpenBMB é uma ficha de afirmações com uma secção de limitações. Fornece o corpus de treino, a estrutura de recompensas, os parâmetros de amostragem recomendados, a versão exata do Lean e uma figura que reporta o Pass@8 em seis benchmarks — embora, note-se, os números estejam numa imagem e não no texto, pelo que quem faça scraping da página programaticamente encontrará o método descrito com todo o cuidado e os resultados de forma nenhuma. O que não fornece é uma data de lançamento; o único sinal de data em todos os metadados é o identificador arXiv 2608.14221 e a data/hora de criação do repositório, 14 de agosto de 2026.

O cartão do Ai2 é essencialmente uma lista de restrições. Nove anos de dados de treinamento, de 2014 a 2022, para ambos os checkpoints. Saídas que reproduzem o X-SHIELD em vez de observações, portanto carregam os vieses da simulação de referência. Nenhuma expectativa de generalização fora das condições de forçamento do treinamento — um ponto que o artigo da v2 destaca ao observar que a estrutura não foi testada além de 66°S a 70°N e não consegue rodar além de 88°S ou 88°N. Descontinuidades de sobreposição de patches em regiões maiores que o tile de treinamento de 16 por 16 de um grau. Uma observação de que o checkpoint ACE2S-X-SHIELD incluído é testado com menos rigor que a linha ACE2-ERA5 anterior, e de que não é para previsão do tempo. E uma licença — Apache 2.0 — que traz as Diretrizes de Uso Responsável do Ai2 e um enquadramento de pesquisa e educacional.

Um cartão informa o que o modelo pontua. O outro informa o que ele não consegue fazer. Nenhum dos dois está escondendo nada, e um leitor que confunde o segundo com um lançamento mais fraco interpretou mal a finalidade desses artefatos.

A parte que é genuinamente comparável: quanto vale um garfo

Aqui está o único eixo pelo qual os dois lançamentos podem ser medidos da mesma forma, e ele segue em direções opostas.

• De onde vem o backbone — MathForm-8B é um fine-tune completo do Qwen3-8B, portanto sua linhagem está documentada nos metadados do Hugging Face e seu ancestral é um modelo aberto amplamente implantado; os componentes do HiRO-ACEv2 são treinados dentro do pipeline da própria Ai2, com dados de treinamento atribuídos ao X-SHIELD, fornecidos pela GFDL, e sem nenhum checkpoint aberto upstream por baixo.

• Quantos runtimes podem carregá-lo — MathForm-8B roda em Transformers, vLLM ou SGLang, e a comunidade já produziu quantizações GGUF e MLX para llama.cpp e Apple silicon; HiRO-ACEv2 é executado através do pacote Python fme da Ai2, com configurações apontando para o repositório ai2cm/ace, e não há caminho alternativo.

• Quão rápido o ecossistema se moveu — quatro dias após o surgimento do repositório do MathForm-8B, builds GGUF da comunidade já estavam online, e conversões MLX de 4 bits, 6 bits e 8 bits surgiram em até duas semanas; o repositório do HiRO-ACEv2 tem uma única curtida e nenhum download dois dias após seu último commit.

• O que os pesos lhe custam a obter — o MathForm-8B é descarregado como um checkpoint de modelo normal e quantiza-se para hardware de consumo; o HiRO-ACEv2 são 10,9 GB de repositório, a maior parte dados de forçamento e de condições iniciais em vez de pesos, e não encolhe.

O padrão é que um modelo de linguagem específico de uma aplicação herda um ecossistema de seu backbone, enquanto um emulador físico específico de uma aplicação não herda nada. Para o MathForm-8B, o trabalho de fazê-lo funcionar foi em grande parte feito antes de ele existir. Para o HiRO-ACEv2, isso começa no README.

Onde uma camada de roteamento se encaixa e onde não se encaixa

A resposta honesta aqui é assimétrica, e vale a pena dizê-la claramente em vez de nos referirmos aos dois modelos da mesma forma. O próprio MathForm-8B não está no nosso catálogo — o checkpoint ajustado vem da própria distribuição da OpenBMB e precisa ser executado no seu próprio servidor, ao lado da instalação do Lean que ele chama. O seu ancestral também não está no nosso catálogo, o que vale a pena dizer porque a suposição vai no sentido oposto: o checkpoint específico do Qwen3-8B a partir do qual foi ajustado é um lançamento de 2025 e não é um dos IDs Qwen que servimos. O que encaminhamos é a geração Qwen atual em torno dele — os níveis Qwen3.8 e Qwen3.5, e o checkpoint Qwen3-VL-8B-Instruct que compartilha a escala de 8B e a mesma linhagem de família a $0,18 por milhão de tokens de entrada e $0,70 por milhão de saída em um contexto de 131.072 tokens.

Esse é o tipo de camada de que um pipeline de formalização realmente precisa. Dividir um livro didático em afirmações candidatas, extrair o teorema informal de um artigo antes que ele vá para o autoformalizador, ou transformar uma mensagem de erro do Lean em um diagnóstico são chamadas comuns de modelo de linguagem, e podem passar pela mesma chave que todo o resto. HiRO-ACEv2 não é roteável e nunca será em sua forma atual, porque não há uma requisição medida por tokens para rotear — 10,9 gigabytes de checkpoints e um script de shell não são um endpoint.

O que uma única chave que abrange mais de duzentos modelos roteados lhe proporciona, em um pipeline construído em torno de qualquer um destes, é que o trabalho ao redor se torna uma chamada em vez de um projeto: o preço de tabela do provedor é repassado sem acréscimo de markup, o failover entre provedores é automático, e um script que conduz um ensemble ou uma execução de formalização não precisa de um segundo contrato com fornecedor para resumir sua própria saída.

O que observar em ambos os lados

Um número que importa do lado do Lean seria uma reprodução independente dos valores 88,06 e 72,37 por um grupo sem participação na receita de treinamento, idealmente desagregada por benchmark em vez de calculada como média em um único Pass@8 — porque falhas de autoformalização se agrupam por domínio matemático, e uma média esconde exatamente o padrão de que um praticante precisa. Um número que importa do lado do clima seria uma comparação com um modelo numérico de resolução de tempestades executado no mesmo hardware por alguém que não seja os autores do emulador, já que a alegação de inferência 300 vezes mais rápida é a que decide se essa técnica será adotada operacionalmente.

Até então, o melhor é ler ambos os modelos do modo como seus próprios cards convidam. O MathForm-8B é um autoformalizador forte com um compilador por trás de sua saída, e a questão interessante a seu respeito é com que frequência o enunciado compilado diz a coisa certa, em vez de apenas algo verdadeiro. O HiRO-ACEv2 é um emulador de pesquisa que acaba de adicionar vento e pressão ao que antes era uma saída apenas de precipitação, e a questão interessante é se os campos adicionados são fisicamente consistentes com a precipitação que os acompanha — algo que nenhuma tabela de benchmark teria lhe dito, mesmo se uma existisse.

É também em comparações como esta que os modos de falha aparecem: os incidentes de IA documentados e as falhas de agentes por trás dos modelos desta classe são reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz as suas próprias fontes, severidade, grau de confiança e sinalizador de disputa.