Kolibri vs MathForm-8B: Una de estas afirmaciones de precisión puede comprobarse con un compilador

Kolibri y MathForm-8Bcomparten una licencia y casi nada más. Ambos son Apache 2.0, ambos son de pesos abiertos, ambos se publicaron en los últimos tres meses —el Kolibri de Aleph Alpha el 3 de octubre de 2026, el MathForm-8B de OpenBMB el 14 de agosto de 2026— y ambos dedican una gran parte de sus fichas de modelo a las matemáticas. Ahí es donde termina el parecido. Kolibri es un modelo de mezcla de expertos alemán e inglés de 78.100 millones de parámetros que activa 3.460 millones de parámetros por token y está pensado para encajar en un flujo de trabajo documental regulado. MathForm-8B es un modelo denso de 8.000 millones de parámetros ajustado a partir de Qwen3-8B con una única tarea: tomar un problema matemático escrito en inglés corriente y emitir un enunciado de dicho problema formalmente correcto en Lean 4. La diferencia que importa para cualquiera que evalúe cualquiera de los dos no es el número de parámetros. Es que la afirmación de exactitud de MathForm-8B es ejecutable. Puedes comprobar su salida con un compilador. La de Kolibri no se puede comprobar con nada que no sea otra ejecución de benchmark.

Esa asimetría es todo el artículo, y se generaliza mucho más allá de estos dos modelos. Una tabla de benchmarks de un proveedor es una afirmación. Que un asistente de pruebas acepte una formalización es un resultado. Cuando todo el espacio de salida de un modelo es algo que una máquina puede verificar, la capa de marketing desaparece: o el compilador de Lean acepta el enunciado o no lo hace, y ningún encuadre de publicación de lanzamiento cambia eso.

Lo que MathForm-8B realmente produce

La autoformalización es una tarea limitada, poco glamurosa y genuinamente difícil, y la tarjeta del modelo es refrescantemente específica sobre la configuración.

• Entrada y salida — un enunciado matemático en lenguaje natural como entrada, una formalización en Lean 4 como salida, completa con un encabezado de teorema.

• Modelo base — Qwen/Qwen3-8B, con ajuste fino; Apache 2.0 junto con el resto del lanzamiento de OpenBMB.

• Entrenamiento: ajuste fino supervisado seguido de aprendizaje por refuerzo sobre el conjunto de datos FormalVerse, con la compilación de Lean y la retroalimentación de consistencia semántica impulsando la señal de refuerzo.

• Pipeline de datos — recuperación de conocimiento de Mathlib, compilación y verificación semántica, refinamiento iterativo y, después, reconstrucción de trayectorias. El diagrama del pipeline en la tarjeta del modelo es lo más informativo del lanzamiento.

• Evaluación — tasas de aprobación de Pass@8 bajo dos comprobaciones independientes, Comprobación de sintaxis y Comprobación de consistencia, en seis benchmarks, reportadas como un promedio macro con igual ponderación en una figura de la tarjeta en lugar de como una tabla que podamos citar fila por fila.

• Cadena de herramientas — un servidor Kimina Lean en ejecución para las comprobaciones de compilación, Lean 4.21.0 para los experimentos, y una secuencia máxima de 16.384 tokens con temperatura 0,6 y top-p 0,95.

• Servicio — vLLM o SGLang con un contexto de 16.384 tokens, expuesto mediante una interfaz de chat compatible con OpenAI. Ese último detalle importa más de lo que parece, porque significa que el modelo se integra en un pipeline existente como un endpoint común.

Observe las dos comprobaciones separadas. La Comprobación de Sintaxis es si la declaración de Lean se analiza y pasa la comprobación de tipos siquiera. La Comprobación de Consistencia es si la declaración formal significa lo mismo que el problema en lenguaje natural — una propiedad mucho más difícil, porque una declaración de Lean sintácticamente válida que formaliza el teorema equivocado es peor que un error de compilación. OpenBMB informa de ambas, lo cual es exactamente la forma correcta de hacerlo y es la razón por la que esta tarea tiene una historia de verificación que el razonamiento de propósito general no tiene.

Qué hace Kolibri con las matemáticas, y por qué es un tipo diferente de número

Kolibri es bueno en matemáticas en el sentido de los benchmarks. En el propio arnés de posentrenamiento de Aleph Alpha, con un esfuerzo de razonamiento alto, obtiene 96.9 en AIME 2025 en inglés y 87.5 en alemán, 96.0 y 90.0 en AIME 2026, y un promedio de 96.5 en inglés en su suite de matemáticas frente a 88.8 en alemán. Para ponerlo en contexto en la misma tabla, el 96.9 de Kolibri en AIME 2025 en inglés se sitúa por encima de Nemotron 3 Super 120B-A12B con 91.7 y Qwen3.6 35B-A3B con 84.6, y justo por debajo de Qwen3.8 27B con 97.9.

Cada una de esas cifras es reportada por el proveedor, en un entorno de pruebas del proveedor, sin reproducción independiente, y no hay una página de Artificial Analysis para Kolibri con la cual hacer una verificación cruzada. Eso no es una crítica a los números; es una afirmación sobre qué tipo de objeto son. Una puntuación de AIME es un porcentaje de respuestas finales correctas en un examen de opción múltiple. Te dice que el modelo puede alcanzar un número entero. No te dice nada sobre si el razonamiento que lo produjo era sólido, y no queda ningún artefacto que un tercero pueda inspeccionar.

Si se pone junto a la salida de MathForm-8B, esa diferencia es abismal. Una respuesta de Kolibri a un problema de AIME es un número. Una salida de MathForm-8B es un enunciado de teorema en Lean 4 que compila contra Mathlib o no. Si estás construyendo un sistema en el que una afirmación matemática tiene que ser defendible —una canalización de verificación formal, un flujo de trabajo con asistentes de pruebas, un registro de auditoría—, el segundo artefacto vale considerablemente más que el primero, y ninguna fila de benchmark expresa eso.

Donde los dos realmente se encontrarían

Planteado como una pelea, este enfrentamiento no tiene interés: un especialista de 8B supera a un generalista de 78B a la hora de formalizar matemáticas y pierde en todo lo demás, incluida la prosa administrativa alemana, el razonamiento sobre documentos de contexto largo y la llamada a herramientas a lo largo de una trayectoria de agente de cien pasos. Pero los dos no son sustitutos, y la pregunta útil es qué aspecto tiene un pipeline construido a partir de ambos.

La composición natural es de enrutamiento. Un generalista con razonamiento sólido y capacidad de llamada a herramientas se encarga de la ingesta, la desambiguación y la recuperación; se invoca a un especialista para el dos por ciento de los casos que necesitan un artefacto formal. Hacerlo a mano significa dos proveedores, dos contratos, dos SDK, dos conjuntos de credenciales y una capa de despacho que alguien mantiene. Es el caso en que un único endpoint se gana su lugar: una única clave compatible con OpenAI, una regla de enrutamiento que envía las solicitudes con forma matemática al endpoint del formalizador y todo lo demás al generalista, y la conmutación por error cuando uno de ellos va lento. Esa es la tarea del DSL de enrutamiento —componer varios modelos en una sola llamada en lugar de fijar una elección en el momento del desarrollo—, y donde resulta útil un panel de modelos que responden juntos, la fusión de modelos lo cubre. Ni Kolibri ni MathForm-8B están en OrcaRouter hoy; buscamos ambos en el catálogo bajo cada proveedor y cada grafía de modelo y ninguno está allí. El argumento de la composición se refiere a la forma del problema, no a estos dos endpoints concretos.

Lo que está en el catálogo es la mitad generalista de ese patrón a un precio que se puede medir. Qwen3.8-27B figura a $0,33 por millón de tokens de entrada y $2,40 de salida, con una ventana de 262.144 tokens, y Qwen3.8-Max a $2,00 y $6,00 con una ventana de 1 M de tokens. Para un equipo que está explorando si vale la pena siquiera añadir un paso de formalización a un pipeline de documentos, el experimento barato consiste en enrutar el trabajo generalista allí, medir el volumen de solicitudes que realmente necesitan un artefacto Lean y solo entonces decidir si vale la pena aprovisionar un endpoint especializado de 16.384 tokens. El precio de lista del proveedor se traslada sin añadir nada por token, así que las cifras cambian el mismo día en que un proveedor las cambia.

La licencia es la única línea en la que son idénticos.

Ambos son Apache 2.0 y, en una categoría donde son habituales las licencias de investigación a medida y las cláusulas adicionales de uso aceptable, eso constituye un auténtico punto de paridad que merece mencionarse: significa que ninguno de los dos modelos requiere una revisión legal antes de poder usarse comercialmente, modificarse o redistribuirse.

Las obligaciones divergen en otros puntos. Kolibri trae una huella de pesos de ~78 GB y unos requisitos mínimos de hardware de dos tarjetas A100 de 80 GB, dos H100 SXM5, una H200, una B200 o una B300, además del paquete aleph-alpha-inference del proveedor y el plugin de vLLM. MathForm-8B en bfloat16 tiene aproximadamente 16 GB de pesos y se sirve en un único acelerador moderno con un contexto de 16.384 tokens; sus dependencias son una cadena de herramientas de Lean y, para el pipeline de evaluación, un Kimina Lean Server en ejecución. Uno de esos despliegues cabe en una estación de trabajo. El otro, no.

Las cifras de contexto apuntan en la dirección contraria, y por un amplio margen. La ventana nativa de Kolibri es de 262.144 tokens, validada hasta 1.048.576, que es lo que lo convierte en un modelo documental: un expediente regulatorio alemán completo o un manual de mantenimiento aeroespacial cabe en una sola llamada. MathForm-8B está limitado a 16.384 tokens por diseño, porque una solicitud de formalización es el enunciado de un solo problema y no hay razón para que sea más larga. Ninguna de las dos cifras es una deficiencia. Simplemente describen trabajos distintos.

Elegir, y la pregunta de verificación debajo

• Elige MathForm-8B si tu salida tiene que ser verificable. Si un sistema posterior consume Lean 4, o si el objetivo mismo es que un asistente de pruebas valide el resultado, ningún modelo generalista lo sustituye, y los números de Pass@8 en Syntax Check y Consistency Check son los que hay que examinar en lugar de cualquier fila de AIME.

• Elige Kolibri si necesitas un modelo que lea documentos en alemán e inglés en contexto largo, razone entre ellos, llame a herramientas, se abstenga cuando el contexto no respalde una respuesta y pueda desplegarse dentro de tu propio perímetro bajo una licencia que puedas declarar en una sola línea. Las matemáticas son una capacidad que tiene, no un producto que es.

• Considere ambos si está construyendo una canalización de formalización. No como alternativas, sino como dos puntos finales detrás de una sola regla de enrutamiento, recurriendo al especialista para la estrecha franja de solicitudes que lo requieren.

Y si estás evaluando cualquiera de los dos en función de la fuerza de un número de benchmark, aplica primero una prueba: pregúntate qué artefacto deja atrás el número. Para MathForm-8B hay un archivo Lean y un compilador que o lo acepta o no, y puedes ejecutar ambos tú mismo esta tarde. Para Kolibri hay un porcentaje en una tabla de lanzamiento, reportado por el proveedor, no reproducido, sin una página de índice independiente con la que contrastarlo — y la única manera de refutarlo es descargar 78 GB de pesos, alquilar el hardware y volver a ejecutar el arnés de pruebas. Esa asimetría vale más que la puntuación en sí cuando estás decidiendo qué poner en producción.