LFM3-1.7B vs MiniCPM5-2B: Probando el marcador 23 a 4 de Liquid

El 27 de octubre de 2026, Liquid AI publicó una tabla de benchmarks de 27 filas que enfrenta a LFM3-1.7B contra MiniCPM5-2B. El modelo de Liquid gana 23 de esas filas. MiniCPM5 gana cuatro. El recuento circuló rápidamente, lo cual es un problema, porque un recuento de victorias es lo menos informativo que se puede extraer de una tabla en la que un proveedor eligió los benchmarks, escribió el arnés y ejecutó ambos modelos. Esto es una prueba de lo que ese 23–4 realmente te dice —y comienza con una admisión: la comparación que Liquid está respondiendo en silencio se publicó en este blog un día antes, y se abstuvo de hacer este argumento exacto. Ese artículo comparó los dos checkpoints base y concluyó que ninguno tenía evaluaciones utilizables. Aquí está la versión con los pesos post-entrenados en ambos lados.

MiniCPM5-2B es el modelo de razonamiento denso de 2,52B de OpenBMB, lanzado a principios de septiembre de 2026 bajo Apache 2.0. LFM3-1.7B es el modelo de texto y agentes de 1,73B de Liquid AI, publicado el 27 de octubre de 2026 bajo la LFM Open License v1.0. Pertenecen a la misma clase de peso, compiten por el mismo espacio en el dispositivo y fueron creados para tareas claramente diferentes.

Dos proveedores, dos arneses, una tabla

El recuento de 23–4 solo existe porque Liquid volvió a ejecutar a su competidor. Eso es algo legítimo y excepcionalmente riguroso para un lanzamiento —la mayoría de los proveedores se comparan con una cifra de una tabla de clasificación pública y dejan el andamiaje sin explicitar. Pero volver a ejecutar a un competidor en tu propio entorno de pruebas no produce un resultado neutral, y la pista reveladora está en las filas donde el mismo benchmark aparece en las tarjetas de ambos proveedores.

Tomemos BFCL V4. Liquid mide MiniCPM5-2B en 62,65. La propia ficha de OpenBMB informa 66,6. Tomemos Humanity's Last Exam: Liquid obtiene 8,20 para MiniCPM5 y OpenBMB afirma 8,9. Esas diferencias son pequeñas —de hasta cuatro puntos en una escala de 0 a 100— y sugieren que la diferencia entre arneses de evaluación es modesta en los benchmarks estandarizados. Ahora tomemos SWE-bench Verified, donde OpenBMB informa 46,4 para MiniCPM5-2B y Liquid informa 43,40 para LFM3-1.7B. Pongamos esos dos números uno al lado del otro y gana MiniCPM5. Pongamos la propia fila de MiniCPM5 de Liquid junto a la propia fila de LFM3 de Liquid y gana LFM3. El mismo benchmark, los mismos dos modelos, una respuesta opuesta, porque los números provienen de arneses de evaluación distintos.

Este es todo el problema en un solo ejemplo. Ningún proveedor publicó la configuración del arnés, la política de reintentos ni el andamiaje de prompts. Hasta que alguien ejecute ambos modelos con un mismo arnés que no controlen, cada fila entre proveedores de esta comparación es una cara o cruz disfrazada de medición.

Cuando la diferencia es demasiado grande como para ser ruido del arnés

Algunas filas no se pueden justificar. La navegación web agéntica es la más clara:

• WebArena-Verified — LFM3-1.7B 38.42 vs MiniCPM5-2B 9.11 en el harness de Liquid.

• AutomationBench — 41,29 frente a 4,71.

• RULER 128K — 65,56 frente a 37,96.

• BFCL V4 — 71,39 frente a 62,65.

Una diferencia de cuatro puntos es andamiaje. Una diferencia de veintinueve puntos en WebArena-Verified, o de treinta y siete puntos en AutomationBench, no lo es. Son diferencias en si el modelo puede o no mantener cohesionado un plan de varios pasos, y concuerdan con lo que cada proveedor dice de sí mismo: Liquid construyó LFM3 en torno a un entrenamiento intermedio agéntico con trazas de llamadas a herramientas, y la propia documentación de OpenBMB señala que MiniCPM5 es débil en tareas largas de varios pasos y propenso a la repetición. Dos descripciones independientes de la misma debilidad, que llegan desde direcciones opuestas, son la evidencia más sólida de toda esta comparación.

La fila de contexto largo merece una atención aparte porque es la que la gente malinterpretará. RULER 128K con 37.96 para MiniCPM5 es una puntuación de recuperación a 128K, no una afirmación de que el modelo tenga un tope de 128K — MiniCPM5-2B admite oficialmente 131.072 tokens. Significa que, a esa longitud, MiniCPM5 encuentra menos de lo que le pides que encuentre. LFM3 obtiene 65.56 a la misma longitud. Si tu carga de trabajo consiste en «buscar en un documento largo y responder», esa diferencia decide por completo la elección.

Las cuatro filas en las que gana MiniCPM5 — y por qué importan

La tabla de Liquid le concede a MiniCPM5-2B cuatro victorias: τ³-bench con 69,44 frente a 68,01, GPQA Diamond con 65,15 frente a 63,37, HLE con 8,20 frente a 7,17 y AA-Omniscience con 9,13 frente a 7,07. Tres de las cuatro son benchmarks de conocimiento. Los márgenes son de uno a dos puntos, lo que está dentro del nivel de ruido de la mayoría de los conjuntos de evaluación.

Pero el patrón es coherente con el diseño de MiniCPM5. OpenBMB lo entrenó como un modelo de razonamiento con un modo de pensamiento explícito, en una cadena que ejecutó SFT de pensamiento profundo sobre 400 mil millones de tokens y después aprendizaje por refuerzo con profesores especialistas antes de la destilación on-policy en un único checkpoint denso. Esa es una receta orientada a sacar más provecho del conocimiento almacenado por parámetro. El entrenamiento de LFM3 está orientado a las llamadas a herramientas y al cumplimiento de instrucciones. Que GPQA Diamond se decante por MiniCPM5 por 1,8 puntos no es una sorpresa; es el reflejo de dos filosofías de entrenamiento que se manifiestan donde cabría esperarlas.

La comparación mucho más interesante es la que la tabla de Liquid no puede hacer. MiniCPM5-2B tiene un Índice de Inteligencia de Artificial Analysis de 12. LFM3-1.7B, a fecha del 28 de octubre de 2026, no tiene ninguna entrada en Artificial Analysis — ni índice, ni velocidad medida de forma independiente, ni ninguna cifra neutral de latencia. Así que el modelo que pierde 23 de 27 filas es el que tiene un dato independiente, y el modelo que las gana es el que pide que se confíe en él. Esa asimetría debería pesar más de lo que pesa el recuento de victorias.

Las especificaciones que realmente se comparan limpiamente

Cuando ninguno de los dos proveedores ejecuta la prueba comparativa del otro, las cifras son aburridas y fiables:

• Parámetros — LFM3-1.7B 1,73B denso frente a MiniCPM5-2B 2,52B en total, 1,98B sin embedding.

• Capas — 24 híbridas (13 de convolución, 5 de ventana deslizante, 6 globales) frente a 42 capas de transformer estándar con atención de consultas agrupadas con 16 cabezas de consulta y 2 cabezas KV.

• Contexto — 256K vs 131,072.

• Caché KV a 128K — 1,6 GB frente a 5,6 GB, según la medición de Liquid de ambos.

• Huella con 4 bits — aproximadamente 1 GB frente a aproximadamente 1,1 GB en informes de pruebas prácticas.

Vocabulario — 128K vs 130,560.

• Licencia — LFM Open License v1.0, gratuita por debajo de $10M de ingresos frente a Apache 2.0, sin umbral.

La fila de la caché KV es la que decide el hardware. Una diferencia de 3,5× con la misma longitud de contexto es la diferencia entre un agente de contexto largo que cabe en un teléfono y uno que no. También explica por qué LFM3 puede ofrecer 256K donde MiniCPM5 ofrece 131K: la mezcla de capas trihíbrida es más barata por token de contexto, que es precisamente el objetivo de construirla.

La diferencia de licencias importa más que la diferencia de memoria para algunos equipos. Apache 2.0 no tiene umbral de ingresos, ni acuerdo comercial que negociar, ni ambigüedad sobre la redistribución. La LFM Open License es gratuita por debajo de 10 millones de dólares en ingresos anuales y requiere una conversación por encima de esa cifra. Una startup por debajo de ese límite obtiene ambas gratis. Una empresa por encima obtiene una gratis y la otra tras una llamada telefónica, y eso es un costo real de adquisición, independientemente de qué modelo obtenga una puntuación más alta.

El soporte del ecosistema es donde MiniCPM5 sigue liderando.

Ambas familias ofrecieron un amplio soporte de ejecución desde el primer día, así que esta brecha es más estrecha de lo que era hace un año. LFM3 incluye vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama y LM Studio, con compilaciones BF16, FP8, NVFP4, GGUF, MLX y ONNX. MiniCPM5-2B incluye los mismos entornos de ejecución además de GPTQ y DSpark, un modelo borrador de decodificación especulativa que se combina con el checkpoint principal.

La diferencia práctica es la madurez, no la disponibilidad. MiniCPM5-2B se puede descargar desde principios de septiembre, lo que supone siete semanas de informes de errores de la comunidad, experimentos de cuantización y parches de frameworks con los que LFM3 no ha contado. Un modelo publicado ayer tendrá imperfecciones en su conversión a GGUF y en su empaquetado para Ollama. No es una crítica a Liquid; es lo que se ve el primer día. Si necesitas el modelo en producción esta semana, que durante siete semanas otras personas se hayan encontrado antes con los problemas vale algo.

Cómo decidir, y dónde un router se gana su lugar

Ninguno de los dos modelos está en el catálogo de OrcaRouter — ambos son pesos abiertos que ejecutas tú mismo, y preferimos decirlo claramente antes que insinuar lo contrario. El router importa en el límite. La forma honesta de realizar esta evaluación es poner ambos modelos detrás de un único endpoint y enviarles tráfico real, y la forma honesta de ejecutar cualquiera de los dos en producción es no dejar que un modelo de 2B sea lo único que pueda responder.

Para eso está la conmutación por error automática. Dirige una solicitud a LFM3-1.7B, deja que se encargue de la llamada a herramientas o de la extracción para la que fue entrenado, y recurre a un modelo alojado cuando la tarea resulte necesitar más pasos de los que un modelo de 2B puede sostener. Como OrcaRouter transfiere el precio de lista del proveedor con un 0 % de margen, la ruta costosa solo cuesta lo que cobra el proveedor cuando realmente se usa: el ahorro de enrutar a un modelo local pequeño no se lo come el enrutador. El DSL de enrutamiento te permite expresar eso como una regla en lugar de una reescritura: primero el especialista, y el generalista en caso de fallo o al superar un umbral de confianza.

La fusión de modelos es la opción infrautilizada aquí. Cuando dos modelos de 2B no coinciden sobre una clasificación, contar con ambas respuestas y reconciliarlas suele ser más barato que escalar a un modelo de 27B, y la tasa de desacuerdo es en sí misma una señal útil sobre qué entradas son difíciles. Con un modelo no verificado en uno de los lados de tu pipeline, ese tipo de verificación cruzada es más barata que confiar en una tabla del proveedor.

¿Qué lo resolvería?

Dentro de treinta días, alguien debería publicar LFM3-1.7B y MiniCPM5-2B mediante un mismo harness con la configuración registrada junto a los resultados. Si LFM3 se mantiene cerca de 38 en WebArena-Verified y 65 en RULER 128K, el recuento 23–4 habrá sido aproximadamente acertado por las razones equivocadas y la brecha agéntica es real. Si baja hacia las cifras de MiniCPM5, entonces la tabla de lanzamiento estaba midiendo andamiaje.

Hasta entonces, la postura defendible es más estrecha que el marketing de cualquiera de los dos proveedores. Si tu carga de trabajo implica varios pasos, llamadas a herramientas o documentos largos, LFM3-1.7B es la mejor opción, y su ventaja en memoria la convierte en la única de las dos que cabe en hardware limitado con margen. Si tu carga de trabajo es recuperación de conocimiento, razonamiento de un solo turno o necesita una licencia inequívoca y un modelo con una puntuación independiente asociada, MiniCPM5-2B es la opción más segura, y las cuatro filas que gana apuntan exactamente en esa dirección. El recuento de 23–4 no es tanto erróneo como inmerecido, y el número de modelos en una tabla de lanzamiento no es lo mismo que un resultado.