Una tarjeta de título generada que dice 'AREX-2 vs MathForm-8B - Dos formas de ser verificado', con dos paneles. El panel izquierdo, encabezado MathForm-8B, enumera: 8B denso, publicado en agosto de 2026; escribe enunciados de teoremas en Lean 4; verificado por el compilador de Lean; Pass@8 88,06 % verificado sintácticamente. El panel derecho, encabezado AREX-2, enumera: repositorio creado el 29 de septiembre de 2026; sin archivos, sin tarjeta; nada que descargar ni ejecutar; no existen cifras que verificar. Un pie de página dice 'Uno lo califica un compilador. El otro todavía no tiene nada que calificar.' El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
Guides & Insights

AREX-2 vs MathForm-8B: Un verificador de pruebas y un bucle de búsqueda son diferentes tipos de verificación

Autor

Gideon Frost

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

MathForm-8B y AREX-2 son los dos modelos más rigurosamente verificables de esta serie, y verifican de formas opuestas. MathForm-8B es el autoformalizador de 8 mil millones de parámetros de OpenBMB, lanzado en agosto de 2026: dale un problema matemático escrito en inglés sencillo y produce un enunciado de Lean 4 formalmente correcto de ese problema, que luego verifica el compilador de un asistente de pruebas. AREX-2 es un repositorio de Hugging Face que BAAI creó el 29 de septiembre de 2026 a las 17:56 UTC, que contiene un .gitattributes y no tiene pesos, ni tarjeta de modelo, ni etiqueta de licencia, ni anuncio — un nombre reservado para una probable segunda generación de los agentes de investigación profunda AREX de BAAI, cuya primera generación se verifica a sí misma al volver a comprobar su propia respuesta contra las restricciones que se le dieron.

Así que la pregunta interesante aquí no es qué modelo es mejor. Es qué significa que un modelo sea verificable, porque uno de estos dos está verificado por un compilador al que no le importa lo que crea nadie, y el otro está verificado, si se mantiene el precedente de la familia, por un bucle que el mismo modelo está ejecutando. Esa distinción se mantiene aunque uno de los lados del enfrentamiento no se haya lanzado, y es la razón por la que estos dos pertenecen siquiera a la misma conversación.

El lado que existe, y la razón por la que es comprobable

MathForm-8B tiene una descripción de funciones muy acotada, y vale la pena enunciarla con precisión porque lo acotado es justamente lo esencial. No resuelve problemas matemáticos ni pretende hacerlo. Se ajustó con fine-tuning sobre FormalVerse, un corpus de aproximadamente 367.000 ejemplos verificados de Lean 4, y su recompensa de entrenamiento provino del compilador de Lean y no de un modelo de preferencias humanas. Dado un enunciado informal, emite las importaciones, los tipos y el encabezado del teorema —dejando abierta la propia obligación de prueba— para que un compilador pueda confirmar que la formalización dice lo que decía el problema informal.

Sus cifras publicadas, todas reportadas por el proveedor OpenBMB y ninguna reproducida de forma independiente, son un Pass@8 promedio del 88,06% bajo una comprobación sintáctica y del 72,37% bajo una comprobación de consistencia más estricta en seis benchmarks, y bajan al 63% y al 37% en los subconjuntos más difíciles, FATE-H y FATE-X. Léanse tal como son: un modelo medido frente a un sistema formal, donde una respuesta incorrecta es un fallo de compilación y no un desacuerdo sobre la calidad. Esa es una propiedad poco común. La mayoría de las afirmaciones sobre benchmarks en este blog se apoyan en un evaluador en el que hay que confiar; esta se apoya en una aritmética que ejecuta una máquina.

El lado que aún no existe, y por qué su verificación es diferente

Los únicos hechos confirmables de AREX-2 son la organización, el nombre y la marca de tiempo. No se ha subido nada y BAAI no ha dicho nada. Sin embargo, la familia detrás del nombre sí existe, y se lanzó el 23 de julio de 2026 como AREX-Base —una mezcla de expertos de 122 mil millones de parámetros con 10 mil millones de parámetros activos sobre una base Qwen3.5-122B-A10B— junto con AREX-Turbo, un modelo denso de 4B. Ambos Apache 2.0, ambos agentes en lugar de modelos de chat.

El diseño de AREX es un marco de investigación de dos bucles, y el bucle externo es un paso de verificación. Un bucle interno reúne evidencia a partir de la búsqueda y la navegación, la integra y produce una respuesta candidata con una cifra de confianza adjunta. El bucle externo entonces comprueba esa candidata contra las restricciones originales y decide: aceptarla, refinarla o descartar la trayectoria y reiniciar. Entre iteraciones, el modelo mantiene un bloque de contexto de hallazgos verificados, candidatos abiertos, restricciones no resueltas y el siguiente plan, lo que le permite seguir una larga línea de investigación sin perder el hilo. BAAI reporta 82,5 en BrowseComp, 85,4 en GAIA y 89,9 en DeepSearch QA para el Base, y 70,7 / 81,6 / 78,5 para el Turbo — las cifras del propio proveedor, no reproducidas.

Esa es una forma real y útil de autocomprobación. También es categóricamente más débil que un compilador. Cuando el bucle externo de AREX decide que una respuesta satisface sus restricciones, el juicio proviene de un modelo de lenguaje que lee las restricciones. Cuando Lean acepta una formalización de MathForm-8B, el juicio proviene de un verificador de tipos que implementa un cálculo fijo. Ninguno de los dos está libre de error —una formalización puede ser Lean válido que captura el teorema equivocado—, pero solo uno de ellos puede estar equivocado sin que nadie se dé cuenta, y la diferencia no es cuestión de grado.

• Disponibilidad — MathForm-AM se puede descargar de OpenBMB con un artículo publicado. AREX-1 es un repositorio que no contiene ningún archivo.

• Parámetros — Denso de 8B para MathForm-8B. Desconocido para AREX-2; la familia abarca una mezcla de expertos de 122B y uno denso de 4B.

• Qué produce — Enunciados de teoremas de Lean 4 para MathForm-8B, con la demostración dejada abierta por diseño. Desconocido para AREX-2; la primera generación produjo una respuesta investigada con una cifra de confianza.

• C\u00f3mo se comprueba — el compilador Lean, para MathForm-8B. Un bucle de verificaci\u00f3n dentro del mismo modelo, sobre la evidencia de AREX-Base.

• Licencia — términos propios de OpenBMB para MathForm-8B; aún no se ha declarado nada para AREX-2. La primera generación de AREX fue Apache 2.0.

• Cifras destacadas — 88,06 % verificados sintácticamente y 72,37 % verificados en consistencia Pass@8 para MathForm-8B, según el proveedor. No existen para AREX-2.

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

Dos trabajos que una pila puede contener a la vez

Estos modelos no se solapan en función, y vale la pena decirlo antes de que alguien interprete un «versus» como una elección. MathForm-8B es una interfaz para un asistente de demostración. Su salida es un enunciado de teorema sobre el que trabaja un matemático o un demostrador automático. Su lugar natural está dentro de una canalización de verificación para matemáticas, métodos formales o trabajo de especificación, donde el valor es que una herramienta posterior puede consumir la salida sin confiar en el modelo.

AREX-2, si continúa con su familia, es un back-end para preguntas que no tienen compilador. «¿Cuál de estas tres presentaciones es inconsistente con las otras dos?» no tiene un sistema formal con el que comprobarlo, y la única defensa disponible es reunir más evidencia y reexaminar tu propio razonamiento, que es lo que es el bucle externo de AREX. Un equipo que necesite ambos los ejecutaría en lugares distintos: la formalización para la parte del problema que puede formalizarse, y un agente de búsqueda y verificación para la parte que no.

Esa división es también la respuesta honesta a la pregunta de sobre cuál de estos puedes actuar esta semana. MathForm-8B ya está lanzado, documentado y se puede usar ahora. AREX-2 es un nombre.

Cómo se ve la historia del enrutamiento cuando la verificación es el tema

Como los dos se usan de forma tan distinta, la cuestión de la infraestructura también se divide.

Para MathForm-8B, la carga de trabajo es una ráfaga de generaciones cortas y deterministas cuya salida va directamente a un compilador. Lo que importa es que se pueda acceder al modelo y que se reintente una llamada fallida, porque un pipeline de formalización que descarta una solicitud se ve idéntico a un pipeline de formalización que falló, y solo uno de esos es un hecho sobre el modelo. La conmutación automática por error entre proveedores es la característica específica que mantiene separadas esas dos cosas. OrcaRouter hoy no ofrece ni MathForm-8B ni AREX-2, así que los pesos de OpenBMB provienen de la distribución propia de OpenBMB y cualquier endpoint alojado es de un tercero; lo que ofrecemos es el enrutamiento por delante, con el precio de lista del proveedor trasladado tal cual y sin añadir nada por token.

Para un agente como AREX-Base, la forma es más difícil y el argumento a favor del enrutamiento es más sólido. Una trayectoria de investigación profunda realiza docenas de llamadas a modelos por consulta, y cada una relee un contexto que crece a medida que se acumulan las pruebas, y los modos de fallo se multiplican: un proveedor que agota el tiempo de espera en el paso diecinueve de veinticinco no degrada la respuesta, sino que produce una respuesta incorrecta con total seguridad. Ese es el argumento para poner el bucle detrás de una única API para más de 200 modelos con una regla de conmutación por error que decide en tiempo de ejecución, de modo que un solo proveedor defectuoso sea un reintento y no una cita errónea.

Lo único que hay que vigilar, y lo único que no hay que dar por sentado

Tres datos responderían a la mayoría de las preguntas abiertas sobre AREX-2, y los tres son visibles desde fuera: si aparecen archivos en ese repositorio, qué cantidad de parámetros indica la tarjeta y si lleva la etiqueta Apache 2.0 que llevaban sus dos predecesores. Hasta que eso ocurra, la única afirmación defendible sobre AREX-2 es que BAAI reservó el nombre el 29 de septiembre de 2026 y no ha anunciado nada.

Lo que no hay que asumir es que una segunda generación herede la forma de la primera. Un "2" es un nombre de producto, no una arquitectura. Podría ser más grande que el 122B Base, o podría ser una pequeña destilación del mismo marco — y dado que la familia ya lanzó tanto un nivel de calidad como un nivel de costo de servicio a la vez, ambas lecturas son plausibles. Lo que no es plausible, en este momento, es publicar una especificación para él.