Ember-1 vs MathForm-8B: Dos modelos construidos al restringir una base prestada

Ember-1 y MathForm-8B comparten una estrategia que ningún laboratorio anuncia como tal: ambos son especializaciones de un modelo que entrenó otro. Ember-1 es un derivado especializado de Fireworks Research a partir de Kimi K3, de Moonshot AI, publicado el 23 de septiembre de 2026 y reentrenado para alcanzar la precisión de K3 con aproximadamente un 40 % menos de tokens. MathForm-8B es el modelo de autoformalización de 8B de OpenBMB, publicado discretamente el 14 de agosto de 2026 como un ajuste fino bajo Apache-2.0 de Qwen3-8B, de Aliba​ba, que convierte las matemáticas informales en enunciados de teoremas de Lean 4 que un compilador puede verificar. Una de las especializaciones eliminó la deliberación desperdiciada y mantuvo intacta la capacidad general. La otra eliminó casi toda la capacidad general y compró a cambio la verificabilidad. Ponerlas una junto a la otra es la forma más clara de ver lo que cuesta realmente una especialización, porque los dos modelos gastaron sus presupuestos de entrenamiento en lados opuestos de ese balance.

Dos tipos de estrechamiento

La intervención de Fireworks Research es conductual. Ember-1 conserva la arquitectura de Kimi K3 y su amplitud —matemáticas, programación, seguimiento de instrucciones, conversación, búsqueda, uso de herramientas e ingeniería de software aparecen en la mezcla de entrenamiento— y solo cambia cuánto tiempo delibera el modelo antes de responder. El resultado reportado es que la longitud del razonamiento cayó entre un 35 y un 50 % sin pérdida de precisión en siete benchmarks y dos pruebas A/B de producción de clientes, y una carga de trabajo de programación en producción se redujo de 49,3K a 29,9K tokens de salida mientras su puntuación se mantuvo en 0,753 frente a 0,751. Todas las cifras son reportadas por el proveedor y no han sido reproducidas.

La intervención de OpenBMB es contractual. MathForm-8B toma Qwen3-8B y dirige todo el presupuesto de entrenamiento hacia una única forma de salida: un enunciado de Lean 4 con una cabecera de imports y un teorema con nombre. El pipeline consiste en un ajuste fino supervisado sobre FormalVerse —un corpus de aproximadamente 367.000 ejemplos verificados de Lean 4 que OpenBMB construyó y publicó junto con el modelo—, seguido de aprendizaje por refuerzo que utiliza la compilación de Lean y la retroalimentación de coherencia semántica como señal de recompensa. El modelo no resuelve demostraciones. Escribe el enunciado que un demostrador terminará, y el propio planteamiento del artículo describe la evaluación de seis benchmarks como el objetivo del ejercicio.

Lo que cada uno sacrificó

Ember-1 cedió muy poco sobre el papel, que es justamente lo que se sostiene. Su tabla publicada muestra una victoria en Terminal Bench 2.1 con un 82,0 % frente al 80,9 % de Kimi K3 Max y en DeepSWE 1.1 con un 75,2 % frente al 66,4 %, y derrotas ajustadas en SWE-bench Verified con un 92,2 % frente al 93,2 % y en SWE-Interact con un 20,0 % frente al 21,3 %. Son cifras de proveedor sobre conjuntos elegidos por el proveedor, pero el patrón es coherente: un modelo que no tanto ha perdido capacidad como ha redirigido dónde dedica el esfuerzo. El ahorro de tokens, sin embargo, va del 51,9 % en Terminal Bench hasta el 5,9 % en τ-2 Bench Airline, así que «alrededor del 40 %» es un promedio dentro de un rango muy amplio.

MathForm-8B renunció a la mayor parte de aquello por lo que Qwen3-8B es conocido. No mantiene una conversación general, no cubre los 119 idiomas y dialectos con los que se entrenó Qwen3-8B, y no acepta imágenes ni audio. Su presupuesto de generación está dimensionado para la salida de Lean, no para un razonamiento mixto extendido. Lo que conservó es una licencia permisiva y una huella pequeña: cuatro fragmentos de safetensors en BF16, ejecutándose bajo Transformers, vLLM o SGLang detrás de un endpoint compatible con OpenAI, con una ruta de compilación que espera un Kimina Lean Server en Lean 4.21.0.

Los números miden cosas distintas, y la brecha es lo importante.

La cifra principal de Ember-1 es un porcentaje de tareas completadas correctamente por un agente: Terminal Bench 2.1, 89 muestras, 82,0 %. Las cifras principales de MathForm-8B son puntuaciones medias de Pass@8 en seis benchmarks de autoformalización: 88,06 % bajo una verificación de sintaxis y 72,37 % bajo una verificación de consistencia más estricta. No están en el mismo eje. Una mide si un agente terminó un trabajo en una terminal; la otra mide si un enunciado de teorema generado se analiza sintácticamente y si significa lo mismo que el problema informal del que provino.

La diferencia de 88,06 frente a 72,37 dentro de los propios resultados de MathForm es la cifra más esclarecedora. La brecha entre «esto compila» y «esto compila y dice lo que quise decir» es de aproximadamente dieciséis puntos, y es el modo de fallo que hace que la autoformalización sea difícil: un enunciado que pasa la verificación de tipos mientras debilita en silencio la afirmación original es peor que un error obvio, porque nada aguas abajo lo señala. En los conjuntos más difíciles, la verificación de consistencia cae al 63 % en FATE-H y al 37 % en FATE-X, mientras que conjuntos fáciles como FormalIMATH se sitúan en el 95,06 % y ProverBench en el 94,83 %. Eso es un especialista que reconoce con honestidad dónde es débil un especialista, y es más útil que un único promedio.

El contraste, dimensión por dimensión

• Modelo base — Ember-1: Kimi K3. MathForm-8B: Qwen3-8B.

• Qué cambió el entrenamiento — Ember-1: cuánto tiempo razona el modelo, con la capacidad mantenida constante. MathForm-8B: qué genera el modelo, con la generalidad en gran medida sacrificada.

• Parámetros — Ember-1: no divulgado. MathForm-8B: ~8B, denso, BF16.

• Contrato de salida — Ember-1: texto normal y llamadas a herramientas, con calidad de nivel K3. MathForm-8B: un enunciado de Lean 4 con un encabezado y un teorema con nombre.

• Licencia y pesos — Ember-1: no se ha publicado ninguno; vista previa de investigación a través de la plataforma propia del proveedor. MathForm-8B: Apache 2.0, tanto los pesos como el conjunto de datos se pueden descargar.

• Titular reportado — Ember-1: 82,0 % en Terminal Bench 2.1 con un 51,9 % menos de tokens. MathForm-8B: 88,06 % de media de Pass@8 bajo verificación de sintaxis, 72,37 % bajo verificación de consistencia.

• Verificación independiente — ninguna de las dos; ambas son reportadas por el proveedor y no han sido reproducidas.

La línea de licencia decide más que los benchmarks

A pesar de toda la diferencia numérica, la diferencia práctica entre estos dos lanzamientos es la distribución. MathForm-8B es un archivo. OpenBMB publicó los pesos, el conjunto de datos FormalVerse y el artículo el mismo día, bajo Apache 2.0, sin anuncio ni API alojada — la tarjeta del modelo es el lanzamiento. Puedes descargarlo esta tarde y ejecutarlo en una sola GPU, y nadie puede quitártelo. Ember-1 es un servicio. No hay pesos, no hay precio publicado, y la ventana de acceso se describe como un periodo sin servidor de dos semanas cuya continuación depende de la demanda. Puedes llamarlo hoy y no puedes tener la certeza de poder llamarlo en noviembre.

Esa diferencia también determina para qué puede usarse cada modelo. Un componente de formalización va dentro de un pipeline que tú controlas, fijado a una versión, con la cadena de herramientas de Lean en la misma máquina — por eso un checkpoint Apache-2.0 sin restricciones es la forma adecuada para la tarea de MathForm-8B, y por eso el enlace de código de GitHub que falta en su README (todavía un marcador de posición en el momento de escribir esto) es una carencia más molesta que cualquier número de benchmark. Un modelo de coste de razonamiento va detrás de una API, donde la factura de tokens es lo que se optimiza, y donde los proveedores compiten en precio y latencia. La forma de Ember-1 también encaja con su tarea; solo significa que la dependencia es comercial en lugar de técnica.

Donde un pipeline usaría ambos

Estos dos modelos son complementarios más que competidores, y la composición es fácil de describir: un especialista en formalización convierte un problema en un enunciado verificable, y un modelo de razonamiento trabaja sobre el enunciado o sobre la ingeniería que lo rodea. Ninguno de los dos está en OrcaRouter — MathForm-8B solo es autoalojado, y Ember-1 está en la vista previa propia del proveedor — pero la composición en sí es un patrón para el que existe nuestro DSL de enrutamiento. La composición de varios modelos en una sola llamada es cómo un pipeline obtiene un especialista y un generalista sin mantener dos rutas de integración y dos contratos, y la fusión de modelos va un paso más allá al permitir que un panel de modelos responda en conjunto cuando el modo de fallo de uno solo es costoso.

Para una pila de formalización en concreto, el argumento a favor de la composición es más fuerte de lo habitual. El modo de fallo visible es un enunciado que compila y significa algo ligeramente distinto, y la defensa más barata contra un error silencioso es un segundo modelo que lea el mismo problema —lo cual es una decisión de enrutamiento, no una decisión de entrenamiento.

¿Cuál es la mejor compra?

Si necesitas matemáticas verificables por máquina, MathForm-8B es el único de los dos que produce alguna, y su principal costo es la generalidad que de todos modos no ibas a usar para esta tarea. Descárgalo, presupuesta para el servidor de Lean y construye tu propia evaluación: el artículo de OpenBMB no te dirá cómo se desempeña en tu distribución.

Si necesitas un razonador general con una factura de tokens más baja, Ember-1 está pensado para ti, y el siguiente paso adecuado es enviar tráfico en la sombra contra lo que sea que ejecutes hoy, en lugar de hacer una comparación de benchmarks. Su riesgo es la disponibilidad, no la capacidad, y ese es un riesgo que puedes mitigar manteniendo la capa de enrutamiento entre tu aplicación y el modelo.

La conclusión incómoda para cualquiera que espere que uno de estos resuelva la cuestión es que ninguno ha sido evaluado de forma independiente. MathForm-8B lleva seis semanas disponible al público y ningún tercero ha publicado una reproducción; Ember-1 lleva un día disponible. Ambos te piden que seas el evaluador, que es la condición normal de elegir un modelo especializado en 2026.

Lo que sí demuestran es que la estrategia de estrechamiento funciona en ambas direcciones. Un modelo de frontera puede abaratarse sin empeorar, y un modelo base pequeño puede volverse riguroso orientando su entrenamiento hacia un compilador. La pregunta interesante no es cuál de estos dos enfoques gana, sino cuánto tiempo más seguirá siendo necesario cualquiera de ellos una vez que las técnicas que incorporan se conviertan en práctica estándar.