MiniCPM-V 4.7 vs LFM3-VL-2B: La mejor puntuación de benchmark es el sensor equivocado

Liquid AI incluyó MiniCPM-V 4.7 1B en su propia tabla comparativa y luego lo superó. En una suite de 62 benchmarks ejecutada por Liquid, LFM3-VL-2B promedia 71,4 con el razonamiento activado y 62,1 sin él; MiniCPM-V 4.7 1B promedia 57,5. Es una diferencia de 13,9 puntos en la categoría de modelos pequeños, y es la cifra en la que se detienen la mayoría de las publicaciones comparativas. También es la cifra menos útil para tomar la decisión, porque los dos modelos no compiten por el mismo puesto. Uno es un modelo denso de 1,92 mil millones de parámetros concebido para ser la respuesta completa. El otro es la mitad barata de un sistema de dos modelos cuya mitad cara es una mezcla de expertos de 35 mil millones de parámetros.

La versión de esta comparativa que importa depende de a cuál MiniCPM-V 4.7 te refieras. El 1B es un modelo denso de 1,55 mil millones de parámetros que cabe en un archivo Q4_K_M de 672 MB —641 MiB, de donde proviene el 641 MB de las tarjetas—. El 35B-A3B tiene 35,2 mil millones de parámetros almacenados, con aproximadamente 3 mil millones activos por token, y no aparece en absoluto en la tabla de Liquid. El LFM3-VL-2B se sitúa entre ambos y, según los propios datos de Liquid, es un modelo de visión general mejor que el MiniCPM pequeño y mucho más débil que el MiniCPM grande. Todo lo que sigue trata de cuáles de esos hechos deberían decidir tu arquitectura.

Tres niveles que se hacen pasar por dos modelos

LFM3-VL-2B es un artefacto. Son 1,92 mil millones de parámetros formados por una base lingüística de 1,73 mil millones, un codificador visual propio de 164 M y un proyector de 25 M, con un contexto de 128K tokens, vídeo muestreado a dos fotogramas por segundo y un único conjunto de pesos que realiza detección, OCR, gráficos y descripción. Liquid anunció la familia LFM3 el 27 de octubre de 2026; el repositorio de LFM3-VL-2B se publicó el 19 de octubre.

MiniCPM-V 4.7 son dos artefactos con una torre de visión compartida. El 1B es un backbone denso qwen3_5_text con 24 capas, un contexto de 262.144 tokens y tres capas de atención lineal por cada capa de atención completa. El 35B-A3B es un modelo disperso de 256 expertos que enruta ocho expertos por token, mantiene el mismo contexto de 262.144 tokens y existe porque OpenBMB quería un modelo grande que pudiera transmitir expertos desde el almacenamiento en lugar de mantenerlos en memoria. Ambos son Apache-2.0. Los pesos aparecieron el 6 y 7 de octubre de 2026, la ficha del modelo se publicó el 12 de octubre y ModelBest emitió un comunicado de prensa en inglés el 15 de octubre.

Así que el planteamiento honesto no es «2B frente a 1B». Es «un modelo que debe hacerlo todo» frente a «una familia en la que eliges cuánto modelo merece cada pregunta». Si tu pipeline hace una pregunta por imagen, la forma de LFM3-VL-2B es más sencilla y, en el extremo pequeño, más potente. Si tu pipeline hace diez mil preguntas baratas y una cara, la forma de MiniCPM es más barata por construcción.

Lo que dice la propia tabla de Liquid, y lo que cuesta leerla

La suite de 62 benchmarks es de Liquid, ejecutada en vLLM 0.27.1, normalizada a una escala de 0–100, con el modo de razonamiento activado para todos los modelos excepto las filas marcadas de otro modo. Que un proveedor evalúe a un rival es normal y vale la pena leerlo, pero el harness es del proveedor, el conjunto de prompts es del proveedor y el agregado es del proveedor. Trate las filas como afirmaciones.

• MMMU — LFM3-VL-2B 55.7 con razonamiento y 48.6 sin él, frente a 51.0 de MiniCPM-V 4.7 1B en el mismo conjunto de columnas. La propia página de OpenBMB no informa de MMMU para el 1B, por lo que esta fila solo existe en la ejecución de Liquid.

• OCRBench v1 — LFM3-VL-2B 86.3 frente a 82.1 de MiniCPM-V 4.7 1B en la tabla de Liquid. OpenBMB reporta 86.1 para su propio 1B, lo que supone una diferencia de 4 puntos en el mismo benchmark con el mismo nombre y una buena ilustración de lo que un harness diferente hace con un número.

• MathVista (mini) — 84,2 con razonamiento y 68,5 sin él para LFM3-VL-2B, frente a 71,2 para MiniCPM-V 4.7 1B en la misma tabla. La página de OpenBMB indica 74,3 para ese modelo.

• Razonamiento CharXiv: 70,2 para LFM3-VL-2B frente a 44,5 para MiniCPM-V 4.7 1B. La página de OpenBMB afirma 48,8 para el mismo modelo, así que incluso la dirección de la diferencia depende del harness.

• LongVideoBench — 53,4 para MiniCPM-V 4.7 1B en la página de OpenBMB. La tabla de Liquid no incluye ninguna fila de LongVideoBench, así que no hay nada con lo que compararlo.

El patrón es consistente: con el razonamiento activado, el modelo denso de 2B es mejor en razonamiento visual de varios pasos e interpretación de gráficos, y está más o menos a la par en OCR simple. Con el razonamiento desactivado, la diferencia se reduce a unos 4,6 puntos, lo que indica que la mayor parte de la ventaja se compra con tokens en tiempo de inferencia y no con parámetros. Eso importa más para la latencia que para la calidad, y la latencia es el eje que esta comparación suele ignorar.

La prueba independiente que invierte la clasificación

A finales de octubre, WebBrain publicó un benchmark de capturas de pantalla de navegador de 100 casos ejecutado completamente sin conexión en Q4_K_M GGUF con dos tarjetas RTX 5060 Ti, con un conjunto congelado de capturas de pantalla, un prompt de producción y una rúbrica determinista. MiniCPM-V 4.7 1B obtuvo 37 aprobaciones estrictas de 100 y una puntuación media de rúbrica del 68,2 por ciento a 1,30 segundos por captura de pantalla. LFM3-VLD-2B —una variante hermana del modelo Liquid, no el checkpoint exacto LFM3-VL-2B— obtuvo 4 aprobaciones estrictas y 44,7 por ciento a 2,20 segundos.

La advertencia es importante y corta en ambos sentidos. Con la estricta expresión regular de encabezados numerados, MiniCPM obtuvo cero aprobaciones porque escribió los encabezados de sección como etiquetas de texto en lugar de dígitos. La cifra de 37 aprobaciones proviene de volver a puntuar las mismas salidas por nombre de sección. Eso es un fallo de formato real y, si tu analizador posterior espera encabezados numerados, es descalificante. Pero la puntuación de contenido no está cerca: 68,2 frente a 44,7, con el 60 % de la latencia, en una tarea —leer una ventana gráfica densa del navegador— que está mucho más cerca de producción que un benchmark de gráficos.

Esta es la única evaluación independiente que cualquiera de los dos modelos tiene en este nivel; es un único arnés sobre un único par de GPU, y el modelo Liquid que probó es la variante VLD. Sigue siendo más informativo que el agregado de 62 benchmarks, porque mide lo que realmente haces con un modelo de visión pequeño: mirar una pantalla y responder rápidamente a una pregunta fija.

La licencia es la que decide en silencio

MiniCPM-V 4.7 se distribuye bajo Apache-2.0 sin condición de ingresos. LFM3-VL-2B se distribuye bajo la LFM Open License v1.0, que Liquid describe como gratuita para uso comercial por debajo de 10 millones de dólares en ingresos anuales. Por encima de ese límite, los términos cambian y hay que leerlos.

Para un proyecto de aficionado, la diferencia es teórica. Para un producto, es lo primero que preguntará un abogado y es la única fila de cualquier tabla comparativa que ningún benchmark puede anular. Un modelo que es cuatro puntos mejor en razonamiento sobre gráficos y conlleva un desencadenante de ingresos no es automáticamente la mejor dependencia. También es aquí donde la elección de Apache-2.0 en ambos tamaños de MiniCPM-V 4.7 aporta más que las cifras de los benchmarks: elimina una conversación.

Cadencia: el número que ninguna de las dos tablas reporta

El monitor de gatos esp32-eye es el ejemplo público más claro de cómo se usa realmente el MiniCPM 1B. Se ejecuta como un Q4_K_M GGUF detrás de llama-server en un MacBook y se invoca como máximo una vez cada 1,5 segundos, condicionado por una comprobación de diferencia de fondo para que la mayoría de los fotogramas nunca lleguen a él. La misma compilación consideró que el 1B no era fiable para distinguir cuatro gatos similares y trasladó la identidad al 35B en lugar de lanzar una conjetura.

Ese es el perfil de despliegue que las tablas de benchmark no recogen. Un modelo al que llamas cada 1,5 segundos debe ser lo bastante pequeño como para permanecer residente, lo bastante rápido como para que la respuesta llegue antes del siguiente fotograma y lo bastante permisivo como para poder distribuirlo. El 1B cumple las tres condiciones. LFM3-VL-2B ocupa 1,25 GB en Q4 y tarda 2,2 segundos por captura de pantalla en la prueba independiente, lo cual está bien para un pipeline por imagen y es demasiado lento para un umbral de 1,5 segundos en el mismo hardware.

Si quieres un endpoint alojado en lugar de un archivo local, ninguno de los dos modelos está hoy en el catálogo de OrcaRouter, así que la respuesta honesta es que el 1B se ejecuta donde lo pongas y el 35B se ejecuta en la propia API de OpenBMB. Lo que sí ofrece un router es la arquitectura que lo rodea: una clave para más de 200 modelos, 0% de recargo sobre los precios de lista de los proveedores, y conmutación por error automática, que es cómo mantienes vivo un pipeline de dos modelos cuando la parte costosa es un único endpoint externo. No hace que un modelo no alojado pase a estar alojado, y vale la pena decirlo claramente.

¿Cuál elegir?

Si estás creando un pipeline de imágenes de un solo modelo y quieres el generalista de clase 2B más potente en los benchmarks que publican ambos laboratorios, LFM3-VL-2B es la elección defendible, con la salvedad de licencia anotada. Si estás creando un agente que mira pantallas en bucle, la prueba independiente de navegador sitúa al MiniCPM 1B por delante tanto en puntuación como en latencia, y su disciplina de formato es lo que hay que corregir en tu parser, no en el modelo.

Si necesitas un modelo que pueda leer un documento de 262.144 tokens, ver un vídeo y estar a la altura en MMMU, ninguno de los dos modelos pequeños es la respuesta: ese es el nivel 35B-A3B, donde OpenBMB reporta 80,2 en MMMU, 91,2 en OCRBench y 68,9 en LongVideoBench, todo reportado por el proveedor y nada reproducido de forma independiente. La verdadera decisión no es qué 2B gana. Es si tu pipeline puede permitirse hacer una pregunta pequeña de forma barata y una pregunta difícil rara vez, y si puede, el diseño de dos modelos es más barato que cualquier modelo único que intente ser bueno en ambas cosas.

Una última calibración. La brecha de 13,9 puntos que publica Liquid es real en la suite de Liquid, y la brecha de 23,5 puntos que publica WebBrain es real en la suite de WebBrain, y apuntan en direcciones opuestas porque miden tareas diferentes. Cualquiera que cite una sin la otra te está vendiendo una conclusión. La pregunta útil no es qué modelo es mejor; es cuántas veces al día necesitas preguntar y cuánto estás dispuesto a pagar por la respuesta.