¿Qué es MathForm-8B? El silencioso lanzamiento de autoformalización de OpenBMB convierte las matemáticas en Lean 4

openbmb/MathForm-8B es un nuevo modelo de autoformalización de OpenBMB que traduce enunciados matemáticos en lenguaje natural a Lean 4, y se lanzó casi sin anuncio: los pesos, el dataset y el artículo aparecieron en Hugging Face y arXiv el mismo día, 2026-08-14, bajo el título general "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Ese lanzamiento silencioso oculta un resultado inusual: un modelo de 8B parámetros que reporta puntuaciones promedio de Pass@8 de 88.06% en una verificación de sintaxis y 72.37% en una verificación de consistencia más estricta en seis benchmarks, lo que, según el artículo, supera a varios autoformalizadores especializados de 32B. Esta es una pieza de "lo que sabemos hasta ahora": todo lo que aparece abajo etiquetado como "from the repo" proviene directamente de la model card, la dataset card y el artículo, y todo lo que aún no ha sido confirmado de forma independiente se marca como tal.

Conclusiones clave

• MathForm-8B es un modelo de autoformalización de 8B con licencia Apache-2.0: lee un problema matemático informal y escribe un enunciado de teorema en Lean 4 con un encabezado con nombre, listo para una demostración posterior.

• Está afinado a partir de Qwen3-8B en FormalVerse, un conjunto de datos de Lean 4 verificado de ~367,000 ejemplos que OpenBMB construyó mediante recuperación de conocimiento y refinamiento verificado por compilador, y luego entrenado con aprendizaje por refuerzo usando compilación de Lean y retroalimentación de consistencia semántica.

• Cifras reportadas (por el proveedor, no reproducidas): un promedio de Pass@8 del 88,06 % bajo Syntax Check y del 72,37 % bajo Consistency Check, superando a los autoformalizadores especializados de 7B a 32B en la propia tabla del artículo.

• No está anunciado, no está en una API de pago importante en el lanzamiento, y aún no tiene evaluaciones comparativas independientes — tres brechas que importan para la adopción en producción.

• El servicio es autoalojado: Transformers, vLLM o SGLang, todos exponiendo un endpoint compatible con OpenAI.

Lo que realmente contiene el lanzamiento

Tres artefactos aparecieron con minutos de diferencia entre sí el 2026-08-14, que es lo que parece un lanzamiento coordinado pero no anunciado:

• El repositorio del modelo, openbmb/MathForm-8B — un LM causal de 8B en BF16 con plantilla de chat, cuatro shards de safetensors, licencia Apache 2.0.

• El repositorio de datos, openbmb/FormalVerse — un conjunto de datos de autoformalización de Lean 4 con aproximadamente 367.000 ejemplos verificados, también bajo Apache 2.0.

• El artículo, arXiv 2608.14221 — 25 páginas que describen el proceso de construcción de datos, la receta de entrenamiento y la evaluación en seis benchmarks.

El enlace al código de GitHub en el README sigue siendo un marcador de posición al momento de escribir esto, por lo que el pipeline de evaluación y los scripts de Pass@k están prometidos pero aún no son públicos. El README sí dice que las comprobaciones de compilación requieren un servidor Kimina Lean en ejecución y que los experimentos usan Lean 4.21.0.

La página del repositorio mencionada arriba es toda la superficie pública del lanzamiento en este momento: una tarjeta de modelo, cuatro fragmentos safetensors, una plantilla de chat y un README que hace las veces de única documentación. No existe ninguna publicación de blog de anuncio al momento de escribir esto.

Lo que hace MathForm-8B — y por qué es un trabajo acotado

La autoformalización es el paso previo a la demostración de teoremas: dado un problema matemático en inglés sencillo ("Demuestre que para todo número real x, x² es no negativo"), el modelo debe producir un enunciado formalmente correcto en Lean 4 —importaciones, tipos y un encabezado de teorema— que una persona o un demostrador pueda luego atacar. Es una habilidad genuinamente diferente de hacer las matemáticas, porque el modelo tiene que mapear conceptos del lenguaje natural a la jerarquía exacta de definiciones y tipos de Mathlib. Un enunciado que pasa la verificación de tipos pero que silenciosamente debilita el original ("(2^5) ∣ (13^4 − 11^4)" en lugar de la afirmación completa de divisibilidad) es el modo de fallo clásico, y es por eso que el artículo distingue entre Syntax Check (si compila) y Consistency Check (si es semánticamente el mismo enunciado).

La tarjeta del modelo muestra el patrón de uso previsto: le das un prompt con el problema informal y el nombre del teorema deseado, y devuelve un enunciado de Lean 4 con code>theorem my_favorite_theorem : ... := by sorry/code> — el code>sorry/code> deja la obligación de demostración abierta. Esa división del trabajo es importante: MathForm-8B es un formalizador, no un demostrador. Los equipos que construyen herramientas para Lean lo usan para convertir bancos de problemas en una forma verificable por máquina.

Cómo fue entrenado

La receta del artículo consta de dos etapas. Primero, OpenBMB construyó FormalVerse con un pipeline que (1) recupera definiciones relevantes y formalizaciones existentes de Mathlib antes de la generación, (2) genera enunciados candidatos, (3) los refina utilizando diagnósticos del compilador de Lean y retroalimentación de consistencia semántica, y (4) conserva solo las muestras que superan ambas comprobaciones. Ese corpus verificado se utiliza luego para el ajuste fino supervisado, seguido de aprendizaje por refuerzo con señales de recompensa de la compilación de Lean y la consistencia semántica.

La tarjeta del conjunto de datos ofrece una idea concreta de los datos: cada entrada empareja una afirmación informal con una formal verificada, etiquetada por fuente (p. ej., AceReason-Math) y etiqueta temática (Teoría de Números, etc.). Dado que cada ejemplo pasó una comprobación real del compilador antes de entrar en el entrenamiento, el modelo aprende de afirmaciones que se sabe que son correctas, en lugar de la salida en bruto de un modelo.

La tabla de referencia, honestamente etiquetada

Todos los números de esta sección son reportados por el proveedor según el artículo (arXiv 2608.14221) y no han sido reproducidos de forma independiente. Pass@8 significa que el modelo tiene ocho intentos por problema y el intento se cuenta si alguno pasa; esta es una métrica más favorable que pass@1 y debe leerse como "con qué frecuencia el modelo puede producir una afirmación correcta dado un presupuesto".

• Promedios de MathForm-8B — Verificación de sintaxis 88.06%, Verificación de consistencia 72.37%.

• Por benchmark, SC luego CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

Los conjuntos difíciles son los honestos: FATE-H CC 63% y FATE-X CC 37% muestran el techo del modelo en los subconjuntos más difíciles, frente a un CC superior al 95% en los más fáciles FormalIMATH y ProverBench.

• Los mejores baselines de 8B que enumera el artículo — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — y los mejores baselines de 32B — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — todos quedan por detrás de los 88.06 / 72.37 de MathForm-8B.

• El checkpoint solo con SFT (antes de la etapa de RL) se sitúa en 84.38 / 66.53, por lo que la pasada de aprendizaje por refuerzo aporta aproximadamente +3.7 SC y +5.8 CC en promedio, con las mayores ganancias en los conjuntos difíciles.

Las afirmaciones más sólidas que deben ponerse en duda: las puntuaciones SC de 100.00 en FormalIMATH y ProverBench (un 100% de compilación en los conjuntos fáciles es una señal de alerta de que esos conjuntos han convergido), y la comparación con modelos de 32B que no se volvieron a ejecutar en condiciones idénticas. Las cifras del Chequeo de Consistencia en FATE-H y FATE-X son las que tienen más probabilidades de sobrevivir a pruebas independientes.

Lo que no está confirmado

• No existe ninguna evaluación independiente. Ningún tercero ha ejecutado MathForm-8B en un entorno de pruebas público hasta la fecha de redacción, y el código de evaluación no se ha publicado.

• No hay anuncio de servicio. OpenBMB no ha publicado un blog de lanzamiento, una página de precios ni un endpoint de API. La caracterización de 'lanzado silenciosamente' es literal.

Los pesos de recompensa del RL, el presupuesto de entrenamiento y el hardware no están en la tarjeta del modelo; solo están en el artículo.

Si el modelo 8B se generaliza a Lean 4.21.1+ o a importaciones no pertenecientes a Mathlib no ha sido probado.

Cómo ejecutarlo

Self-hosting es la única vía hoy en día. El README documenta tres rutas, todas con un endpoint de chat compatible con OpenAI en code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, y luego genera con la plantilla de chat.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

El README recomienda temperatura 0.6, top_p 0.95 y hasta 16384 tokens nuevos: las declaraciones formales son largas, por lo que la generosa ventana de generación es el verdadero requisito del sistema a tener en cuenta.

Por qué importa la parte de "8B supera a 32B".

Si los números se sostienen, MathForm-8B es el argumento más sólido hasta ahora de que el cuello de botella de la autoformalización es la calidad de los datos y la verificación, no el número bruto de parámetros. La propia tabla del artículo muestra modelos especializados de 32B (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) por debajo de un modelo de 8B entrenado con un corpus verificado por compilador. Para los equipos que actualmente ejecutan un formalizador de 32B, eso es un cambio de costo material: un modelo de 8B con BF16 cabe en una sola GPU que la mayoría de los modelos de 32B no pueden usar, y sirve más rápido por token.

También plantea la elección honesta que el resto del panorama de modelos sigue generando: un especialista limitado que hace muy bien una tarea verificada, frente a un modelo general que puede intentar muchas tareas sin garantía de verificación. Para la formalización en concreto, el especialista es aquel que tiene un compilador que comprueba su salida, que es precisamente la propiedad que hace que un enrutador con conmutación automática por error sea cómodo de poner delante de él. Una capa de enrutamiento como la que OrcaRouter ejecuta sobre más de 200 modelos, a precio de lista del proveedor sin recargo, te permite dirigir una ruta de prueba a un modelo de pesos abiertos de hace unos días como este y volver a un modelo consolidado en cuanto se detenga: puedes adoptar un lanzamiento discreto sin apostar tu ruta de producción en él, y no hay margen sobre el precio del token si un proveedor lo incluye más adelante.

Qué ver a continuación

Las tres cosas que convertirían esto de "repositorio interesante" en "herramienta de confianza": que el código de evaluación de GitHub aparezca de verdad; una primera pasada independiente sobre FATE-H y FATE-X con pass@1 en lugar de pass@8; y cualquier anuncio de OpenBMB que añada una ruta alojada o una versión 2 del paper con números de ablación. Hasta que al menos una de esas ocurra, trata las puntuaciones de los titulares como indicativas: la arquitectura y la idea de los datos de entrenamiento son la noticia duradera, no el porcentaje exacto.