O que é o MathForm-8B? Lançamento silencioso de autoformalização da OpenBMB transforma matemática em Lean 4

openbmb/MathForm-8B é um novo modelo de autoformalização da OpenBMB que traduz enunciados matemáticos em linguagem natural para Lean 4, e foi lançado quase sem anúncio: os pesos, o conjunto de dados e o artigo apareceram todos no Hugging Face e no arXiv no mesmo dia, 14 de agosto de 2026, sob o título guarda-chuva "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Esse lançamento discreto esconde um resultado incomum — um modelo de 8B de parâmetros que reporta pontuações médias de 88,06% no Pass@8 em uma verificação de sintaxe e de 72,37% em uma verificação de consistência mais rigorosa em seis benchmarks e que, segundo o artigo, supera vários autoformalizadores especializados de 32B. Esta é uma matéria do tipo "o que sabemos até agora": tudo abaixo rotulado como "do repositório" vem diretamente do model card, do dataset card e do artigo, e qualquer coisa ainda não confirmada de forma independente está marcada como tal.

Principais conclusões

• MathForm-8B é um modelo de autoformalização Apache-2.0 com 8B: ele lê um problema matemático informal e escreve uma declaração de teorema em Lean 4 com um cabeçalho nomeado, pronto para uma prova posterior.

• Ele é ajustado fino a partir do Qwen3-8B no FormalVerse, um conjunto de dados do Lean 4 com ~367.000 exemplos verificados que a OpenBMB construiu com recuperação de conhecimento e refinamento verificado por compilador; em seguida, foi treinado com aprendizado por reforço usando compilação Lean e feedback de consistência semântica.

• Números relatados (relatados pelo fornecedor, não reproduzidos): média de 88,06% em Pass@8 na Verificação de Sintaxe, 72,37% na Verificação de Consistência, superando os autoformalizadores especializados de 7B a 32B na própria tabela do artigo.

Não foi anunciado, não está em uma grande API paga no lançamento e ainda não passou por benchmarks independentes — três lacunas que importam para a adoção em produção.

• Serving é auto-hospedado: Transformers, vLLM ou SGLang, todos expõem um endpoint compatível com OpenAI.

O que o lançamento realmente contém

Três artefatos foram publicados com poucos minutos de diferença entre si em 2026-08-14, o que é a cara de um lançamento coordenado, mas não anunciado:

• O repositório do modelo, openbmb/MathForm-8B — um LM causal de 8B em BF16 com um template de chat, quatro shards safetensors, licença Apache 2.0.

• O repositório de dados, openbmb/FormalVerse — um conjunto de dados de autoformalização Lean 4 com aproximadamente 367.000 exemplos verificados, também sob Apache 2.0.

O artigo, arXiv 2608.14221 — 25 páginas descrevendo o pipeline de construção de dados, a receita de treinamento e a avaliação em seis benchmarks.

O link para o código no GitHub no README ainda é um espaço reservado no momento em que foi escrito, então o pipeline de avaliação e os scripts Pass@k são prometidos, mas ainda não são públicos. O README diz que as verificações de compilação exigem um servidor Kimina Lean em execução e que os experimentos usam Lean 4.21.0.

A página do repositório acima é toda a superfície pública do lançamento neste momento: um cartão de modelo, quatro fragmentos safetensors, um modelo de chat e um README que também serve como a única documentação. Não existe nenhum post de blog de anúncio no momento em que este texto foi escrito.

O que o MathForm-8B faz — e por que é uma tarefa restrita

A autoformalização é a etapa anterior à demonstração de teoremas: dado um problema matemático em inglês simples ("Mostre que para todo número real x, x² é não negativo"), o modelo deve produzir uma declaração formalmente correta em Lean 4 — importações, tipos e um cabeçalho de teorema — que um humano ou um provador possa então atacar. É uma habilidade genuinamente diferente de fazer a matemática, porque o modelo precisa mapear conceitos de linguagem natural para a hierarquia exata de definições e tipos do Mathlib. Uma declaração que passa na verificação de tipos, mas enfraquece silenciosamente a original ("(2^5) ∣ (13^4 − 11^4)" em vez da afirmação completa de divisibilidade) é o modo clássico de falha, e é por isso que o artigo distingue Verificação de Sintaxe (compila?) de Verificação de Consistência (é semanticamente a mesma declaração?).

O cartão do modelo mostra o padrão de uso pretendido: você fornece a ele um prompt com o problema informal e um nome de teorema desejado, e ele retorna um enunciado em Lean 4 com code>theorem my_favorite_theorem : ... := by sorry/code> — o code>sorry/code> deixa a obrigação de prova em aberto. Essa divisão de trabalho importa: o MathForm-8B é um formalizador, não um provador. Equipes que desenvolvem ferramentas para Lean o usam para converter bancos de problemas em forma verificável por máquina.

Como foi treinado

A receita do artigo é em duas etapas. Primeiro, a OpenBMB construiu o FormalVerse com um pipeline que (1) recupera definições relevantes e formalizações existentes do Mathlib antes da geração, (2) gera enunciados candidatos, (3) refina-os usando diagnósticos do compilador Lean e feedback de consistência semântica, e (4) mantém apenas amostras que passam em ambas as verificações. Esse corpus verificado é então usado para ajuste fino supervisionado, seguido de aprendizado por reforço com sinais de recompensa provenientes da compilação Lean e da consistência semântica.

A ficha do conjunto de dados dá uma ideia concreta dos dados: cada entrada associa uma afirmação informal a uma formal verificada, rotulada por fonte (por exemplo, AceReason-Math) e rótulo de tópico (Teoria dos Números e assim por diante). Como cada exemplo passou por uma verificação real do compilador antes de entrar no treinamento, o modelo aprende com afirmações reconhecidamente corretas, em vez de saída bruta de um modelo.

A tabela de benchmark, honestamente rotulada

Todos os números nesta seção são relatados pelo fornecedor a partir do artigo (arXiv 2608.14221) e não foram reproduzidos de forma independente. Pass@8 significa que o modelo tem oito tentativas por problema e a execução é contabilizada se qualquer uma delas passar; essa é uma métrica mais amigável do que pass@1 e deve ser interpretada como "com que frequência o modelo consegue produzir uma afirmação correta dado o orçamento."

• Médias do MathForm-8B — Verificação de Sintaxe 88,06%, Verificação de Consistência 72,37%.

• Por benchmark, SC depois CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

• Os conjuntos difíceis são os honestos: FATE-H CC 63% e FATE-X CC 37% mostram o teto do modelo nos subconjuntos mais difíceis, contra 95%+ CC nos mais fáceis FormalIMATH e ProverBench.

• Os melhores baselines de 8B que o artigo lista — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — e os melhores baselines de 32B — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — todos ficam atrás do MathForm-8B com 88.06 / 72.37.

• O checkpoint somente com SFT (antes da etapa de RL) atinge 84,38 / 66,53; portanto, a passada de aprendizado por reforço vale cerca de +3,7 SC e +5,8 CC em média, com os maiores ganhos nos conjuntos difíceis.

As afirmações mais fortes para se desconfiar: as pontuações 100.00 SC em FormalIMATH e ProverBench (100% de compilação nos conjuntos fáceis é um sinal de alerta de que esses conjuntos convergiram) e a comparação contra modelos de 32B que não foram reexecutados sob condições idênticas. Os números de Consistency Check em FATE-H e FATE-X são as métricas mais prováveis de sobreviver a testes independentes.

O que não está confirmado

• Não existe avaliação independente. Nenhum terceiro executou o MathForm-8B em um harness público até o momento, e o código de avaliação não foi lançado.

• Nenhum anúncio de disponibilização. A OpenBMB não publicou um blog de lançamento, uma página de preços ou um endpoint de API. A abordagem "lançado silenciosamente" é literal.

• Os pesos de recompensa do RL, o orçamento de treinamento e o hardware não estão no model card; eles estão apenas no paper.

• Não foi testado se o modelo 8B generaliza para o Lean 4.21.1+ ou para imports não-Mathlib.

Como executá-lo

Self-hosting é a única opção hoje. O README documenta três caminhos, todos com um endpoint de chat compatível com OpenAI em code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, em seguida, gere com o template de chat.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

O README recomenda temperatura 0.6, top_p 0.95 e até 16384 novos tokens — declarações formais são longas, então a generosa janela de geração é o requisito real do sistema a considerar.

Por que a parte "8B supera 32B" importa

{{1}}Se os números se confirmarem, o MathForm-8B é o argumento mais forte até agora de que o gargalo da autoformalização é a qualidade e a verificação dos dados, não a contagem bruta de parâmetros.{{/1}} {{2}}A própria tabela do artigo mostra modelos especializados de 32B (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) abaixo de um modelo de 8B treinado em um corpus verificado por compilador.{{/2}} {{3}}Para equipes que atualmente executam um formalizador de 32B, isso é uma mudança material de custo — um modelo de 8B em BF16 cabe em uma única GPU, o que a maioria dos modelos de 32B não consegue, e ele atende mais rápido por token.{{/3}}

Isso também estabelece a escolha honesta que o restante do panorama de modelos continua produzindo: um especialista restrito que faz muito bem uma única tarefa verificada, versus um modelo geral que pode tentar muitas tarefas sem garantia de verificação. Para a formalização, especificamente, o especialista é aquele que tem um compilador verificando sua saída — o que é precisamente a propriedade que torna confortável colocar um roteador com failover automático na frente dele. Uma camada de roteamento como aquela que a OrcaRouter opera em mais de 200 modelos, com repasse do preço de tabela do provedor, permite apontar um caminho de teste para um modelo de pesos abertos lançado há poucos dias como este e voltar para um modelo comprovado no momento em que ele travar — você pode adotar um lançamento discreto sem apostar seu caminho de produção nele, e não há acréscimo no preço do token se um provedor o listar posteriormente.

O que assistir em seguida

As três coisas que transformariam isso de "repositório interessante" em "ferramenta confiável": o código de avaliação do GitHub aparecendo de fato; uma primeira passada independente em FATE-H e FATE-X com pass@1 em vez de pass@8; e qualquer anúncio da OpenBMB que adicione uma rota hospedada ou um paper v2 com números de ablação. Até que pelo menos uma dessas coisas aconteça, trate os resultados das manchetes como direcionais — a arquitetura e a ideia dos dados de treinamento são as notícias duradouras, não a porcentagem exata.