Beam 1.0 vs MathForm 8B: un compilador detecta los errores de un modelo

Pídele a MathForm 8B que formalice un teorema y la respuesta es un enunciado de Lean 4 que compila o uno que no. Pídele a Beam 1.0 que corrija un error y la respuesta es un diff que se ejecuta o uno que no, y la distancia entre esas dos cosas es toda la diferencia entre estos modelos. MathForm 8B es el modelo de autoformalización de 8,19 mil millones de parámetros de OpenBMB, construido sobre Qwen3-8B de Alibaba y entrenado con FormalVerse, un corpus de aproximadamente 367.000 ejemplos verificados de Lean 4, mediante ajuste fino supervisado seguido de aprendizaje por refuerzo sobre compilación de Lean y retroalimentación de consistencia semántica; se publicó el 14 de agosto de 2026 bajo Apache 2.0. Beam 1.0 es el modelo de mezcla de expertos disperso de Reflection, de 501,3 mil millones de parámetros, con 23,4 mil millones de parámetros activos por token, anunciado el 5 de octubre de 2026 y publicado como pesos descargables el 16 de octubre de 2026, también bajo Apache 2.0. La proporción de tamaños es de 61 a uno y es el número menos interesante de la página.

Lo interesante es que MathForm 8B produce una salida que una máquina puede adjudicar sin confiar en nadie, y Beam 1.0 no. Todo lo que sigue se desprende de eso.

Qué se le pide producir a cada modelo

MathForm 8B tiene un único contrato de salida. Toma un enunciado matemático escrito en prosa ordinaria y devuelve un enunciado de Lean 4: una cabecera, un teorema con nombre, las hipótesis y el objetivo. El pipeline de entrenamiento se construye en torno a esa forma: recuperación de conocimiento de Mathlib para fundamentar el enunciado en definiciones existentes, compilación y verificación semántica para rechazar candidatos malos, refinamiento iterativo para repararlos y, después, reconstrucción de trayectorias para convertir los ejemplos supervivientes en datos de entrenamiento. El artículo reporta el modelo con un promedio de 88,06% de Pass@8 bajo comprobación sintáctica y 72,37% bajo comprobación de consistencia en seis benchmarks. Esos son los números de OpenBMB, no reproducidos por nadie más, y ponderados hacia los conjuntos más fáciles de la evaluación, pero son números sobre una tarea que tiene una respuesta correcta.

Beam 1.0 no tiene ese contrato. Es un modelo general: su ficha describe la plantilla de chat, el formato de intercambio estilo Harmony con canales de análisis y finales, seis niveles de esfuerzo de razonamiento que se corresponden con presupuestos de tokens de 8, 32, 64, 128, 256 y 512, y una convención de llamada a herramientas en la que las funciones se declaran como TypeScript plano y se invocan en cuerpos XML. Su evaluación abarca la programación agéntica (SWE-bench Verified 81.6% en BF16, Terminal Bench v2.1 80.1, SWE Bench Pro v1 66.1, DeepSWE v1.1 43.3), el razonamiento (GPQA Diamond 90.6, AIME 2026 97.7, LiveCodeBench 88.3), el uso de herramientas (MCP Atlas 80.8) y la capacidad general (LongBench v2 67.5, IFBench 79.6). Cada cifra es de Reflection. Que el código que escribe sea *correcto* se determina ejecutándolo, revisándolo o lanzándolo y averiguándolo.

Así que: los fallos de un modelo se anuncian por sí solos. Los del otro son fallos de software corrientes que llegan más tarde, en la revisión o en producción, y se parecen a cualquier otro error que hayas tenido nunca.

Los benchmarks no se superponen, y ese es el hallazgo

Alinea los dos conjuntos de evaluación y casi no hay nada que restar.

• En qué se evalúa Beam 1.0: resolución de problemas a escala de repositorio, tareas de terminal, programación competitiva, preguntas de ciencia de nivel de posgrado, orquestación de herramientas, recuerdo de contexto largo y seguimiento de instrucciones.

• En qué se evalúa MathForm 8B: precisión de formalización Pass@8 bajo un verificador de sintaxis y bajo un verificador de consistencia semántica, en seis benchmarks matemáticos, frente a las líneas base especializadas de 7B a 32B del artículo.

• La superposición — esencialmente nula. No hay ninguna fila en la que ambos modelos hayan sido medidos por la misma parte en la misma tarea, y no la habrá, porque uno se mide en capacidad general y el otro en una única transformación verificable.

• La única dimensión compartida que sí existe conceptualmente —el razonamiento— se mide en poblaciones diferentes. El 90,6 de Beam 1.0 en GPQA Diamond es una puntuación de ciencia de opción múltiple. La tasa de consistencia del 72,37 % de MathForm 8B es una verificación de formalización. Ninguna de las dos predice a la otra.

Por eso una comparación de tamaño aquí sería engañosa, y no solo poco favorecedora. Beam 1.0 es sesenta y una veces el tamaño del modelo, y no puede hacer en absoluto el trabajo de MathForm 8B sin haber sido entrenado para ello: el contrato de salida es lo bastante estrecho como para que la capacidad general no sea un sustituto de él. Un generalista de 501B al que se le pide producir un teorema de Lean con nombre y un encabezado correcto producirá algo de aspecto plausible y con frecuencia incorrecto, lo que para un asistente de demostración es el peor modo de fallo posible.

Lo que necesitas tener para ejecutar cualquiera de los dos.

MathForm 8B hereda la licencia de Qwen3-8B, que el Hub registra como Apache 2.0, y este es el caso práctico para ello: 8.19 mil millones de parámetros densos, un modelo solo en inglés, una reducción del presupuesto de generación a la salida de Lean en lugar de razonamiento general, y una descarga en lugar de un clúster. Su base, Qwen3-8B, es lo que un lector alojaría de otro modo: un 8B general con un contexto nativo de 32K extensible a 131K y cobertura de 119 idiomas. MathForm 8B sacrifica casi todo eso por una única habilidad.

Beam 1.0 necesita un lugar donde vivir. La ficha del modelo indica 52 capas, 256 expertos con ocho enrutados por token, un vocabulario de 152.000 tokens, una fecha de corte de conocimiento del 30 de junio de 2026 y una ventana de contexto de 1.000.000 de tokens. Se ofrece en tres pesos —BF16 con 501,3B, FP8 con 501,3B y NVFP4 con 255B—, además de un borrador DFlash2 de 2B para decodificación especulativa. No hay ninguna recomendación de servicio en la ficha ni ningún precio de API publicado en ninguna de las propiedades de Reflection; la página de Artificial Analysis para el modelo enumera los campos de precio como no disponibles y señala que no existe ninguna API disponible públicamente. La variante de cuatro bits es lo que convierte esto en una compra plausible en lugar de hipotética, y sigue siendo una cuestión de GPU.

OrcaRouter no enruta ninguno de los dos modelos, y esta página no insinúa lo contrario. Lo que enrutamos es el nivel servido del que esos dos quedan fuera: más de 200 modelos tras una única clave compatible con OpenAI al precio de lista del proveedor con 0% de margen, de modo que un recorte de precios del proveedor llega a tu factura el mismo día en que se anuncia. Para un equipo cuya verdadera necesidad es un modelo que responda hoy y no un checkpoint que compile mañana, esa es la fila que esta comparación no puede ofrecer.

La diferencia de verificabilidad, en términos sencillos

Aquí está la asimetría enunciada como un hecho operativo y no como una referencia.

Una salida de MathForm 8B entra en un pipeline que tiene una compuerta. El compilador de Lean acepta o rechaza el enunciado. La comprobación de consistencia semántica pasa o falla. Una salida defectuosa se puede descartar automáticamente, y el modelo puede dejarse en un bucle de agente que reintenta hasta que algo se verifica, que es exactamente lo que la etapa de RL le entrenó a hacer. El coste de una respuesta incorrecta es una muestra rechazada, no un defecto enviado. Esa es una propiedad genuinamente rara en el campo actual de los pesos abiertos, y es por lo que un modelo especializado de 8B puede ser más útil que uno general cien veces su tamaño dentro de un pipeline con la forma de las matemáticas formales.

Las salidas de Beam 1.0 no tienen esa barrera. La tabla de evaluación puede decirte con qué frecuencia resolvió un issue de GitHub en SWE-bench, pero no puede decirte si el parche que escribe para tu repositorio es correcto, porque esa es una pregunta sobre tus pruebas. La tarjeta del modelo es inusualmente específica en cuanto al formato de transmisión e inusualmente silenciosa sobre la cuestión de la precisión, y esa es una descripción justa de dónde está el campo: las herramientas en torno a los modelos de codificación agéntica son buenas para ejecutar código y malas para certificarlo.

Si tu dominio tiene un verificador —un sistema de tipos, un asistente de pruebas, un esquema, un simulador—, a menudo un especialista orientado a ese verificador es la descarga con mayor apalancamiento. Si no lo tiene, estás comprando capacidad y pagando tú mismo por la evaluación, y el modelo general más grande es el que te da más de ella.

Elegir entre ellos

Elige MathForm 8B si el trabajo es de formalización y nada más — convertir un corpus de prosa matemática en Lean 4 que un asistente de pruebas acepte, a una escala en la que un humano no puede revisar cada uno. La huella de 8,19 mil millones de parámetros, los términos de Apache 2.0 y la forma de salida limitada son todas ventajas en ese caso. No lo elijas para nada más: no conversa, no escribe prosa que merezca publicarse, no maneja 119 idiomas como lo hace su modelo base, y no tiene ninguna capacidad documentada fuera de la única transformación para la que fue entrenado.

Elige Beam 1.0 si el trabajo es del tipo agéntico general —resolver problemas en repositorios grandes, manejar herramientas, ejecutar planes largos de varios pasos— y si dispones del hardware o de un socio de servicio para un MoE de 501B. El contexto de 1M de tokens, la tabla de evaluación publicada y el checkpoint de cuatro bits están todos orientados a esa carga de trabajo. Reserva presupuesto para los tokens de razonamiento: la plantilla no tiene interruptor de apagado, el valor predeterminado servido es el nivel de esfuerzo máximo, y se documenta que eliminar el razonamiento de turnos anteriores degrada la salida.

Elige ambos si estás construyendo el pipeline del que realmente trata este artículo. El patrón que tiene sentido es un modelo general para hacer el trabajo ambiguo y un especialista verificable para hacer la parte con una compuerta — y los dos roles fallan de maneras diferentes, que es la única razón por la que vale la pena tener ambos.

En qué se verá diferente esta comparación dentro de tres meses.

Faltan dos filas y ambas se pueden fechar. La primera es una evaluación independiente de los pesos de Beam 1.0, que pasó a ser posible el 16 de octubre de 2026 y todavía no ha ocurrido; cada cifra que esta página atribuye a Reflection sigue siendo de fuente única. La segunda es el precio de Beam. Un modelo con una tabla de evaluación de 501 mil millones de parámetros y sin tarifa medida es un modelo que la mayoría de los equipos no puede presupuestar, y hasta que Reflection o un socio de servicio publique una, la comparación honesta de costos entre estos dos es una descarga frente a un alquiler que no ha sido cotizado.

La brecha de MathForm 8B es distinta y no se cerrará esperando. Sus cifras reportadas de 88,06 % en verificación sintáctica y 72,37 % en consistencia son números de un proveedor sobre una tarea con un verificador, y la verificación es el producto: cualquiera que tenga el modelo y una instalación de Lean puede medirlo por su cuenta, lo que no puede decirse de la mayoría de las cifras de esta página. Eso es lo que se obtiene con un contrato limitado.

Nada de eso es hipotético: los fallos documentados de IA y los incidentes de agentes detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, severidad, grado de confianza e indicador de disputa.