Beam 1.0 vs MathForm 8B: Os erros de um modelo são capturados por um compilador

Peça ao MathForm 8B para formalizar um teorema e a resposta é ou um enunciado Lean 4 que compila ou um que não compila. Peça ao Beam 1.0 para corrigir um bug e a resposta é um diff que executa ou um que não executa, e a distância entre essas duas coisas é toda a diferença entre esses modelos. O MathForm 8B é o modelo de autoformalização de 8,19 bilhões de parâmetros da OpenBMB, construído sobre o Qwen3-8B da Alibaba e treinado no FormalVerse, um corpus de aproximadamente 367.000 exemplos verificados de Lean 4, por meio de ajuste fino supervisionado seguido de aprendizado por reforço com feedback de compilação Lean e de consistência semântica; foi publicado em 14 de agosto de 2026 sob a licença Apache 2.0. O Beam 1.0 é o modelo esparso de mistura de especialistas da Reflection, com 501,3 bilhões de parâmetros e 23,4 bilhões ativos por token, anunciado em 5 de outubro de 2026 e disponibilizado como pesos para download em 16 de outubro de 2026, também sob a licença Apache 2.0. A proporção de tamanho é de 61 para um, e esse é o número menos interessante da página.

O interessante é que o MathForm 8B produz uma saída que uma máquina consegue julgar sem confiar em ninguém, e o Beam 1.0 não. Tudo o que vem abaixo decorre disso.

O que se pede que cada modelo produza

MathForm 8B tem um único contrato de saída. Ele recebe um enunciado matemático escrito em prosa comum e retorna um enunciado em Lean 4 — um cabeçalho, um teorema nomeado, as hipóteses e o objetivo. O pipeline de treinamento é construído em torno desse formato: recuperação de conhecimento do Mathlib para fundamentar o enunciado em definições existentes, compilação e verificação semântica para rejeitar candidatos ruins, refinamento iterativo para corrigi-los e, em seguida, reconstrução de trajetória para transformar os exemplos sobreviventes em dados de treinamento. O artigo reporta o modelo com 88,06% de Pass@8 médio sob verificação de sintaxe e 72,37% sob verificação de consistência em seis benchmarks. Esses são os números da OpenBMB, não reproduzidos por mais ninguém, e ponderados em direção aos conjuntos mais fáceis da avaliação — mas são números sobre uma tarefa que tem uma resposta correta.

O Beam 1.0 não tem esse contrato. É um modelo geral: seu card descreve o template de chat, o formato de transmissão no estilo Harmony com canais de análise e final, seis níveis de esforço de raciocínio mapeados para orçamentos de tokens de 8, 32, 64, 128, 256 e 512, e uma convenção de chamada de ferramentas na qual funções são declaradas como TypeScript plano e invocadas em corpos XML. Sua avaliação abrange codificação agêntica (SWE-bench Verified 81,6% em BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), raciocínio (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), uso de ferramentas (MCP Atlas 80,8) e capacidade geral (LongBench v2 67,5, IFBench 79,6). Todos os números são da própria Reflection. A questão de saber se o código que ele escreve é *correto* é estabelecida executando-o, revisando-o ou lançando-o e descobrindo.

Então: as falhas de um modelo se anunciam por si mesmas. As do outro são falhas comuns de software que chegam mais tarde, na revisão ou em produção, e se parecem com qualquer outro bug que você já teve.

Os benchmarks não se sobrepõem, e essa é a constatação.

Alinhe os dois conjuntos de avaliação e quase não há nada a subtrair.

• Em que o Beam 1.0 é avaliado — resolução de issues em escala de repositório, tarefas de terminal, programação competitiva, perguntas de ciência de nível de pós-graduação, orquestração de ferramentas, recall de contexto longo e seguimento de instruções.

• No que o MathForm 8B é avaliado — acurácia de formalização Pass@8 sob um verificador de sintaxe e sob um verificador de consistência semântica, em seis benchmarks matemáticos, em comparação com as baselines especializadas de 7B a 32B do artigo.

• A sobreposição — essencialmente zero. Não há linha alguma em que ambos os modelos tenham sido medidos pela mesma parte na mesma tarefa, e não haverá, porque um é medido em capacidade geral e o outro em uma única transformação verificável.

• A única dimensão compartilhada que de fato existe conceitualmente — raciocínio — é medida em populações diferentes. A nota de 90,6 do Beam 1.0 no GPQA Diamond é uma pontuação de ciências de múltipla escolha. A taxa de consistência de 72,37% do MathForm 8B é uma verificação de formalização. Nenhuma delas prevê a outra.

É por isso que uma comparação de tamanho aqui seria enganosa, e não apenas pouco lisonjeira. O Beam 1.0 tem sessenta e uma vezes o tamanho do modelo, e não consegue de forma alguma desempenhar a função do MathForm 8B sem ser treinado para isso — o contrato de saída é suficientemente restrito para que a capacidade geral não seja um substituto para ele. Um generalista de 501B, quando solicitado a produzir um teorema Lean nomeado com um cabeçalho correto, produzirá algo de aparência plausível e frequentemente incorreto, o que, para um assistente de provas, é o pior modo de falha possível.

O que você precisa ter para executar qualquer um dos dois

MathForm 8B herda a licença do Qwen3-8B, que o Hub registra como Apache 2.0, e este é o argumento prático a seu favor: 8,19 bilhões de parâmetros densos, um modelo apenas em inglês, uma redução do orçamento de geração para a saída Lean em vez de raciocínio geral, e um download em vez de um cluster. Sua base, Qwen3-8B, é o que um leitor, de outro modo, hospedaria por conta própria — um 8B geral com contexto nativo de 32K, extensível a 131K, e cobertura de 119 idiomas. MathForm 8B abre mão de quase tudo isso em troca de uma única habilidade.

Beam 1.0 precisa de um lugar para viver. A ficha do modelo informa 52 camadas, 256 especialistas com oito roteados por token, um vocabulário de 152.000 tokens, uma data de corte de conhecimento de 30 de junho de 2026 e uma janela de contexto de 1.000.000 de tokens. É disponibilizado em três pesos — BF16 com 501,3B, FP8 com 501,3B, NVFP4 com 255B — além de um modelo de rascunho DFlash2 de 2B para decodificação especulativa. Não há recomendação de serviço na ficha, nem preço de API publicado em qualquer lugar das propriedades da Reflection; a página da Artificial Analysis para o modelo lista os campos de preço como indisponíveis e observa que não existe uma API disponível publicamente. A versão de quatro bits é o que torna isto uma compra plausível, em vez de hipotética, e ainda é uma conversa sobre GPU.

O OrcaRouter não roteia nenhum dos dois modelos, e esta página não sugere o contrário. O que roteamos é o nível servido do qual esses dois estão fora: mais de 200 modelos por trás de uma única chave compatível com OpenAI, ao preço de tabela do provedor e com 0% de markup, então um corte de preço do fornecedor chega à sua fatura no dia em que é anunciado. Para uma equipe cuja necessidade real é um modelo que responda hoje, e não um checkpoint que compile amanhã, essa é a linha que esta comparação não consegue fornecer.

A diferença de verificabilidade, em termos simples

Aqui está a assimetria enunciada como um fato operacional e não como um benchmark.

Uma saída do MathForm 8B entra num pipeline que tem um portão. O compilador Lean ou aceita a afirmação ou a rejeita. A verificação de consistência semântica ou passa ou falha. Uma saída ruim pode ser descartada automaticamente, e o modelo pode ser deixado num loop de agente que tenta novamente até que algo se verifique — que é exatamente o que a etapa de RL o treinou para fazer. O custo de uma resposta errada é uma amostra rejeitada, não um defeito entregue. Essa é uma propriedade genuinamente rara no atual campo de pesos abertos, e é por isso que um modelo especializado de 8B pode ser mais útil do que um generalista cem vezes maior dentro de um pipeline moldado como a matemática formal.

As saídas do Beam 1.0 não têm essa barreira. A tabela de avaliação pode dizer com que frequência ele resolveu uma issue do GitHub no SWE-bench, mas não pode dizer se o patch que ele escreve para o seu repositório está correto, porque essa é uma questão sobre os seus testes. O cartão de modelo é incomumente específico sobre o formato de transmissão e incomumente silencioso sobre a questão da precisão, e essa é uma descrição justa de onde o campo está: as ferramentas em torno de modelos de codificação agêntica são boas em executar código e ruins em certificá-lo.

Se o seu domínio tem um verificador — um sistema de tipos, um assistente de provas, um esquema, um simulador —, um especialista voltado para esse verificador costuma ser o download com maior retorno. Se não tem, você está comprando capacidade e pagando pela avaliação por conta própria, e o modelo geral maior é o que lhe oferece mais dela.

Escolhendo entre eles

Escolha MathForm 8B se o trabalho for formalização e nada mais — transformar um corpus de prosa matemática em Lean 4 que um assistente de provas aceite, numa escala em que um humano não consegue verificar cada um. A pegada de 8,19 mil milhões de parâmetros, os termos Apache 2.0 e o formato de saída restrito são todos vantagens aí. Não o escolha para mais nada: não conversa, não escreve prosa que valha a pena entregar, não lida com 119 idiomas como o seu modelo base, e não tem capacidade documentada fora da única transformação para a qual foi treinado.

Escolha Beam 1.0 se o trabalho for do tipo agêntico geral — resolver problemas em grandes repositórios, operar ferramentas, executar planos longos de várias etapas — e se você tiver o hardware ou um parceiro de serving para um MoE de 501B. O contexto de 1M tokens, a tabela de avaliação publicada e o checkpoint de quatro bits são todos voltados para essa carga de trabalho. Reserve orçamento para os tokens de raciocínio: o template não tem como ser desligado, o padrão servido é o nível máximo de esforço, e remover o raciocínio de turnos anteriores está documentado como algo que degrada a saída.

Escolha os dois se você está construindo o pipeline sobre o qual este artigo realmente trata. O padrão que faz sentido é um modelo geral para fazer o trabalho ambíguo e um especialista verificável para fazer a parte que tem um gate — e os dois papéis falham de maneiras diferentes, que é a única razão pela qual vale a pena ter os dois.

Onde esta comparação estará diferente daqui a três meses

Duas linhas estão faltando e ambas têm data. A primeira é uma avaliação independente dos pesos do Beam 1.0, que se tornou possível em 16 de outubro de 2026 e ainda não aconteceu; cada número que esta página atribui ao Reflection ainda é de fonte única. A segunda é o preço do Beam. Um modelo com uma tabela de avaliação de 501 bilhões de parâmetros e sem tarifa por uso medido é um modelo para o qual a maioria das equipes não consegue fazer orçamento, e até que a Reflection ou um parceiro de serving publique uma, a comparação honesta de custos entre esses dois é um download contra um aluguel que ainda não foi cotado.

A lacuna do MathForm 8B é diferente e não se fechará apenas esperando. Os índices divulgados de 88,06% na verificação de sintaxe e 72,37% de consistência são valores de um fornecedor em uma tarefa com um verificador, e a verificação é o produto — qualquer pessoa com o modelo e uma instalação do Lean pode medi-lo por conta própria, o que é mais do que se pode dizer da maioria dos números nesta página. É isso que um contrato restrito lhe proporciona.

Nada disso é hipotético: as falhas de IA documentadas e os incidentes com agentes por trás de lançamentos como este estão reunidos no Arquivo de Incidentes de IA da OrcaRouter, onde cada entrada traz as suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.