HiRO-ACEv2 vs MathForm 8B: Dos modelos estrechos, dos tipos de verdad de referencia

Ni HiRO-ACEv2 ni MathForm-8B intentan ser un modelo general, y ambos fueron construidos por equipos que decidieron que el problema interesante era más estrecho que un chatbot. HiRO-ACEv2 es el emulador climático de segunda generación de Ai2, publicado en Hugging Face el 12 de octubre de 2026 como un 10.9. MathForm-8B es el modelo de lenguaje autorregresivo de OpenBMB, creado el 14 de agosto de 2026, que convierte lenguaje natural en declaraciones de Lean 4. Uno produce una atmósfera en cuadrícula de 3 km; el otro produce una obligación de prueba. La razón para compararlos no es la capacidad —no tienen uso superpuesto— sino la cosa que ambos afirman y que resulta significar algo diferente en cada caso: que un modelo puede saber cuándo está equivocado.

Lo que cada modelo emite realmente

HiRO-ACEv2 ejecuta una canalización de dos etapas. Un emulador autorregresivo genera X-SHIELD, el modelo global de resolución de tormentas, con resolución reducida a 100 km; luego, un modelo de difusión entrenado por separado reduce la escala de ese estado de resolución gruesa a 3 km, produciendo tasas de precipitación superficial promediadas cada seis horas, vientos instantáneos a 10 metros hacia el este y hacia el norte, y presión al nivel del mar. El repositorio contiene el reductor de escala como HiROv2.ckpt con alrededor de 1,28 GiB y el emulador de resolución gruesa como ACE2S-X-SHIELD.ckpt con alrededor de 2,98 GiB, además de diez años de datos de forzamiento NetCDF, dos archivos de condiciones iniciales y las configuraciones YAML que los vinculan entre sí.

MathForm-8B emite texto, pero de un tipo muy particular: un enunciado de teorema de Lean 4. La ficha lo describe como un modelo de autoformalización entrenado con el conjunto de datos FormalVerse de OpenBMB, primero con ajuste fino supervisado y luego con aprendizaje por refuerzo cuya recompensa proviene de la compilación en Lean y de retroalimentación de consistencia semántica. Es denso de 8B, Apache 2.0, y hereda su escala de su base —Qwen3-8B— en lugar de hacerlo de cualquier recuento de parámetros publicado propio. Los ajustes de generación recomendados son temperatura 0,6, top-p 0,95 y 16.384 tokens nuevos, en un servidor Transformers, vLLM o SGLang; la evaluación requiere un Kimina Lean Server en ejecución y Lean 4.21.0.

Ambos son limitados por diseño. Esa es la primera similitud genuina, y es ahí donde las similitudes mayormente terminan.

Dos tipos de comprobación, y por qué solo uno de ellos zanja una discusión

El lado de Lean tiene un verificador decisivo. Un enunciado de teorema compila bajo Lean 4 o no compila, y el verificador de tipos es un cálculo fijo: no tiene días buenos y días malos, y no necesita ser calibrado. Por eso el bucle de entrenamiento de MathForm-8B puede usar la compilación como señal de recompensa. Las cifras publicadas son tasas de Pass@8 bajo dos regímenes, comprobación de sintaxis y comprobación de consistencia, evaluadas en seis benchmarks; la cifra con comprobación de sintaxis se sitúa en 88,06 % y la cifra con comprobación de consistencia, en 72,37 %. Esos son los números de los propios autores, no reproducidos aquí, y la brecha de dieciséis puntos entre ellos es lo más informativo de la tarjeta: un enunciado que compila no es lo mismo que un enunciado que dice lo que significaba el problema original.

El lado climático no dispone de un verificador de este tipo. La ficha del modelo de HiRO-ACEv2 no contiene ninguna tabla de referencia comparativa. Su única afirmación cuantitativa es que el reductor de escala reproduce las distribuciones de referencia de precipitación, viento a 10 metros y presión al nivel del mar hasta el percentil 99,9999, y que sigue en líneas generales la distribución de intensidad de los ciclones tropicales de referencia. El artículo añade que el coste de inferencia es más de 300 veces menor que el de un modelo numérico convencional de resolución de tormentas global.

Cada una de esas es una afirmación distribucional frente a una referencia, no una prueba de aprobado o suspenso contra un cálculo. Esa distinción determina cuánto tiempo sobrevive cada afirmación sin ser cuestionada. Se puede refutar el número de MathForm-8B ejecutando el modelo contra los benchmarks con un servidor Lean y una GPU. Refutar el número de HiRO-ACEv2 requiere un conjunto de datos de forzamiento de diez años, una simulación de referencia con la que comparar y un analista dispuesto a trabajar en la cola extrema. Lo primero es una semana de trabajo para un estudiante de posgrado. Lo segundo es un artículo.

Lo que los proveedores le dirán y no le dirán

Las dos tarjetas de modelo tienen temperamentos opuestos, y leerlas en paralelo es instructivo sobre para qué sirve una tarjeta.

La tarjeta de OpenBMB es una hoja de afirmaciones con una sección de limitaciones. Proporciona el corpus de entrenamiento, la estructura de recompensas, los parámetros de muestreo recomendados, la versión exacta de Lean y una figura que reporta Pass@8 en seis benchmarks; aunque, notablemente, las cifras están en una imagen en lugar de en el texto, así que cualquiera que haga scraping de la página mediante programación encontrará el método descrito cuidadosamente y los resultados no los encontrará en absoluto. Lo que no proporciona es una fecha de lanzamiento; la única señal de fecha en cualquier parte de los metadatos es el identificador de arXiv 2608.14221 y la marca temporal de creación del repositorio, del 14 de agosto de 2026.

La ficha de Ai2 es esencialmente una lista de restricciones. Nueve años de datos de entrenamiento, de 2014 a 2022, para ambos checkpoints. Salidas que reproducen X-SHIELD en lugar de observaciones, por lo que arrastran los sesgos de la simulación de referencia. Ninguna expectativa de generalización fuera de las condiciones de forzamiento del entrenamiento —un punto que el artículo de la v2 precisa al señalar que el marco no se ha probado más allá de 66°S a 70°N y no puede ejecutarse más allá de 88°S u 88°N. Discontinuidades por solapamiento de parches en regiones más grandes que la tesela de entrenamiento de 16 por 16 de un grado. Una nota de que el checkpoint ACE2S-X-SHIELD incluido está menos rigurosamente probado que la línea anterior ACE2-ERA5, y que no es para el pronóstico meteorológico. Y una licencia —Apache 2.0— que conlleva las Responsible Use Guidelines de Ai2 y un encuadre de investigación y educativo.

Una ficha te dice qué puntuación obtiene el modelo. La otra te dice lo que no puede hacer. Ninguna oculta nada, y quien confunda la segunda con un lanzamiento más débil habrá malinterpretado para qué sirven estos artefactos.

La parte que es genuinamente comparable: cuánto vale un tenedor

Este es el único eje sobre el que los dos lanzamientos pueden medirse de la misma manera, y va en direcciones opuestas.

• De dónde proviene la columna vertebral — MathForm-8B es un ajuste fino completo de Qwen3-8B, por lo que su linaje está documentado en los metadatos de Hugging Face y su ancestro es un modelo abierto ampliamente desplegado; los componentes de HiRO-ACEv2 se entrenan dentro del propio pipeline de Ai2, con datos de entrenamiento atribuidos a X-SHIELD, proporcionados por GFDL, y sin ningún checkpoint abierto previo por debajo.

• ¿Cuántos runtimes pueden cargarlo — MathForm-8B funciona con Transformers, vLLM o SGLang, y la comunidad ya ha producido cuantizaciones GGUF y MLX para llama.cpp y Apple silicon; HiRO-ACEv2 se ejecuta a través del fme de Ai2, un paquete de Python con configuraciones que apuntan al repositorio ai2cm/ace, y no hay una ruta alternativa.

• Qué rápido se movió el ecosistema — a los cuatro días de que apareciera el repositorio de MathForm-8B, ya había compilaciones GGUF de la comunidad en línea, y las conversiones MLX de 4 bits, 6 bits y 8 bits llegaron en un plazo de dos semanas; el repositorio de HiRO-ACEv2 tiene un solo me gusta y ninguna descarga dos días después de su último commit.

• Lo que te cuesta obtener los pesos — MathForm-8B se descarga como un checkpoint de modelo normal y se cuantiza hasta caber en hardware de consumo; HiRO-ACEv2 es un repositorio de 10,9 GB, en su mayor parte datos de forzamiento y de condiciones iniciales en lugar de pesos, y no se reduce.

El patrón es que un modelo de lenguaje específico de aplicación hereda un ecosistema de su modelo base, y un emulador físico específico de aplicación no hereda nada. Para MathForm-8B, el trabajo de hacerlo funcionar ya estaba hecho en su mayor parte antes de que existiera. Para HiRO-ACEv2, empieza en el README.

Dónde encaja una capa de enrutamiento, y dónde no

La respuesta honesta aquí es asimétrica, y vale la pena formularla con claridad en lugar de referirnos a ambos modelos por igual. MathForm-8B en sí no está en nuestro catálogo — el checkpoint ajustado procede de la propia distribución de OpenBMB y necesita ejecutarse en tu propio servidor junto a la instalación de Lean a la que llama. Su ancestro tampoco está en nuestro catálogo, y conviene decirlo porque la suposición va en sentido contrario: el checkpoint concreto de Qwen3-8B a partir del cual se ajustó es un lanzamiento de 2025 y no es uno de los ids de Qwen que servimos. Lo que sí enrutamos es la generación actual de Qwen en torno a él — los niveles Qwen3.8 y Qwen3.5, y el checkpoint Qwen3-VL-8B-Instruct, que comparte la escala de 8B y el mismo linaje familiar, a $0.18 por millón de tokens de entrada y $0.70 por millón de salida en un contexto de 131,072 tokens.

Esa es la capa que un pipeline de formalización realmente necesita. Dividir un libro de texto en enunciados candidatos, extraer el teorema informal de un artículo antes de que pase al autoformalizador, o convertir un mensaje de error de Lean en un diagnóstico son llamadas ordinarias a un modelo de lenguaje, y pueden ejecutarse a través de la misma clave que todo lo demás. HiRO-ACEv2 no es enrutable y nunca lo será en su forma actual, porque no hay ninguna solicitud medida por tokens que enrutar — 10.9 gigabytes de checkpoints y un script de shell no son un endpoint.

Lo que te aporta una sola clave en más de doscientos modelos enrutados, en un pipeline construido en torno a cualquiera de estos, es que el trabajo que lo rodea se convierte en una llamada en lugar de un proyecto: el precio de lista del proveedor se pasa sin añadir margen, la conmutación por error entre proveedores es automática, y un script que impulsa un ensemble o una ejecución de formalización no necesita un segundo contrato con un proveedor para resumir su propia salida.

Qué hay que tener en cuenta en cada lado

Una cifra que importe en el ámbito de Lean sería una reproducción independiente de las cifras 88,06 y 72,37 por parte de un grupo ajeno a la receta de entrenamiento, idealmente desglosada por benchmark en lugar de promediada en un único Pass@8 —porque los fallos de autoformalización se agrupan por dominio matemático, y una media oculta justo el patrón que necesita un profesional. Una cifra que importe en el ámbito climático sería una comparación con un modelo numérico con resolución de tormentas ejecutado en el mismo hardware por alguien distinto de los autores del emulador, ya que la afirmación de que la inferencia es 300 veces más rápida es la que decide si esta técnica se adopta operativamente.

Hasta entonces, la mejor manera de leer ambos modelos es tal como invitan sus propias tarjetas. MathForm-8B es un autoformalizador sólido con un compilador que respalda su salida, y la pregunta interesante al respecto es con qué frecuencia el enunciado compilado dice lo correcto en lugar de limitarse a ser verdadero. HiRO-ACEv2 es un modelo de investigación que acaba de añadir viento y presión a lo que antes era una salida únicamente de precipitación, y la pregunta interesante es si los campos son físicamente coherentes con la precipitación que entregan, algo que ninguna tabla de benchmarks te habría dicho si existiera una.

Comparaciones como esta son también donde se manifiestan los modos de fallo: los incidentes de IA documentados y los fallos de agentes que hay detrás de los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza y marca de disputa.