SingVL_S1_4B vs LFM2.5-VL-3B: Probabilidades frente a párrafos

Preguntar si SingVL_S1_4B supera a LFM2.5-VL-3B es una pregunta mal formulada, y la forma más rápida de perder una semana es responderla de todos modos. Uno de estos modelos escribe párrafos sobre imágenes; el otro devuelve una probabilidad para cada opción que se le pasa y nunca emite una palabra propia. Esa diferencia no es una brecha de calidad que se resuelva en una tabla de clasificación. Determina cuáles de tus flujos de trabajo pueden usar qué modelo, antes de consultar cualquier evaluación comparativa. Así que la comparación honesta va en la otra dirección: parte de lo que tu código necesita recibir y mira qué modelo puede producirlo.

Dos tipos de retorno diferentes

El LFM2.5-VL-3B de Liquid AI es un modelo de visión y lenguaje en el sentido habitual. Al darle una imagen y una pregunta, genera una respuesta token por token, lo que significa que puede describir una escena, mantener una conversación multiturno, llamar a una función, transcribir una página de texto con anotaciones de maquetación o devolver cajas delimitadoras para los objetos que se le indiquen. Se publicó el 12 de agosto de 2026, está construido sobre el modelo troncal de lenguaje LFM2.5-2.6B con un codificador visual SigLIP2 NaFlex y está orientado explícitamente al despliegue en dispositivo: 228 tokens por segundo en un Apple M5 Max con menos de 3,3 GB de memoria, con compilaciones GGUF, ONNX y MLX publicadas junto al checkpoint nativo.

El SingVL_S1_4B de inclusionAI, subido discretamente el 11 de noviembre de 2026, hace una sola cosa y la hace en una única pasada hacia adelante. Le das un estado —texto, JSON, hasta cuatro imágenes— y un diccionario de preguntas con nombre, cada una de las cuales declara un tipo (elección, sí/no bajo la etiqueta "noul", o una puntuación ordenada de 2 a 10 niveles) y sus respuestas candidatas. Devuelve una probabilidad por candidato. No hay paso de muestreo, ni temperatura que configurar, ni salida que analizar. La propia tarjeta del modelo está escrita con ese vocabulario de principio a fin, hasta los ejemplos de API.

Si tu endpoint necesita devolver "la factura es de Acme, fechada en marzo, total 1.240,00", LFM2.5-VL-3B puede hacerlo y SingVL_S1_4B no. Si tu endpoint necesita {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, se cumple lo contrario. Esa es toda la decisión, y todo lo que sigue tiene que ver con sus casos límite.

La ficha técnica, lado a lado sin una tabla

• Parámetros — SingVL_S1_4B tiene aproximadamente 4,54B en BF16 repartidos en dos fragmentos que suman 9,1 GB; LFM2.5-VL-3B es de 3,1B, con un backbone de lenguaje de 2,6B.

Salida — SingVL_S1_4B devuelve probabilidades por opción a partir de una sola pasada hacia adelante; LFM2.5-VL-3B devuelve texto generado, llamadas a herramientas o anotación de diseño estructurada.

Contexto — SingVL_S1_4B acepta 65.536 tokens de entrada solo para texto, y baja a 10.000 cuando se adjuntan imágenes; LFM2.5-VL-3B anuncia 32.768 tokens de extremo a extremo.

• Imágenes por solicitud — SingVL_S1_4B admite un máximo de cuatro, con un máximo del procesador de 1.806.336 píxeles cada una; LFM2.5-VL-3B acepta entradas de una sola imagen y de varias imágenes, y divide las imágenes grandes en parches de 512×512 más una miniatura.

• Idiomas — LFM2.5-VL-3B enumera quince, del árabe al vietnamita; la ficha de SingVL_S1_4B no hace ninguna declaración de idiomas.

• Licencia — LFM2.5-VL-3B se distribuye bajo la LFM Open License v1.0, con derivados cuantizados ya circulando; SingVL_S1_4B se distribuye sin campo de licencia y sin archivo LICENSE.

• Despliegue — LFM2.5-VL-3B dispone de compilaciones nativas, GGUF, ONNX y MLX, además de una demo WebGPU y rutas para vLLM, SGLang y llama.cpp; SingVL_S1_4B significa clonar el repositorio y ejecutar su propio servidor FastAPI en el puerto 8173.

• Ecosistema — LFM2.5-VL-3B lleva en el Hub desde agosto y ha recibido cuantizaciones y adaptaciones de la comunidad; SingVL_S1_4B tenía un día de antigüedad en el momento de escribir esto, con cero descargas.

Dos de esas líneas son más decisivas de lo que parecen. La línea de la licencia es la primera: un repositorio sin licencia no otorga a nadie el derecho a redistribuir ni a entregar, y «el proveedor no se ha pronunciado» no es un permiso que puedas poner en una revisión de cumplimiento. La línea del despliegue es la segunda: una compilación ONNX que se ejecuta en un teléfono y un servidor Python que espera un dispositivo CUDA no compiten por el mismo hueco en tu arquitectura, digan lo que digan los recuentos de parámetros.

Por qué los números del benchmark no se pueden restar

Las dos tarjetas reportan puntuaciones sobre conjuntos de datos cuyos nombres se solapan, y ese solapamiento es una trampa. SingVL_S1_4B reporta 82,17 en RealWorldQA, 72,11 en BLINK, 50,17 en MMMU-Pro vision y 96,31 en InfographicVQA. LFM2.5-VL-3B reporta 73,1 en RealWorldQA, 61,5 en BLINK, 30,5 en MMMU Pro y 81,3 en ChartQA. Puestas en fila, parece una paliza. No es una comparación de nada.

La primera razón es el modo de respuesta. Cada cifra de SingVL_S1_4B se produce puntuando un conjunto de opciones suministradas y tomando la de mayor probabilidad, lo cual es una tarea fundamentalmente más fácil que generar una respuesta de forma libre que luego un evaluador tiene que emparejar. El Decision Index mide exactamente esto y lo dice: sus puntuaciones están corregidas por azar, así que adivinar no otorga crédito, pero el modelo aún nunca tiene que producir la cadena — solo clasificar candidatos que alguien más escribió. Un modelo generativo que responde la misma pregunta desde cero hace más trabajo para el mismo punto en el gráfico.

La segunda razón es quién lo ejecutó. Ambos conjuntos los reportan los proveedores, en el arnés de pruebas propio de cada proveedor. Ninguno ha sido reproducido por un laboratorio neutral. SingVL_S1_4B además tiene solo un día de antigüedad, sin ningún envío al kit público de reproducción de Decision Index — la ficha incluye las instrucciones para crear uno, lo cual indica intención y no demuestra nada. LFM2.5-VL-3B lleva tres meses siendo ejecutado por gente, lo que no equivale a una cifra auditada, pero sí significa que sus cifras al menos han sido revisadas por desconocidos.

El tercero es la deriva de versiones. La propia ficha de LFM2.5-VL-3B indica que su cifra de OCRBench v2 corresponde al subconjunto solo en inglés. La fila de InfographicVQA de SingVL_S1_4B se reporta dentro de una suite con su propia normalización. Dos números con el mismo nombre de conjunto de datos y subconjuntos distintos no son el mismo número, y lo honesto es dejar de restarlos.

La afirmación de eficiencia pertenece a un solo lado.

Lo más destacado de LFM2.5-VL-3B no es la precisión, sino el rendimiento dentro de un límite de memoria: por debajo de 3,3 GB, 228 tokens por segundo en un M5 Max, 116 en un Ryzen AI Max+ 395 y 20 en un Galaxy S26 Ultra. Esa última cifra es la que importa para el diseño de producto, porque es la diferencia entre una función que se ejecuta en el dispositivo y una que necesita una ida y vuelta. Nada en el repositorio SingVL_S1_4B presenta una afirmación comparable, y no hay ninguna versión cuantizada con la que hacer una: obtienes fragmentos BF16 y un script de servidor.

La otra cara de la moneda es que una sola pasada hacia adelante tiene un perfil de costos que un modelo generativo no puede igualar. Puntuar cuatro opciones para una pregunta es una pasada; generar una descripción de 200 tokens son 200 pasadas secuenciales. Si tu tarea es genuinamente una clasificación —¿este documento es un recibo?, ¿este fotograma contiene una persona?, ¿este listado cumple las normas?—, el diseño de SingVL_S1_4B debería ser más económico por decisión, y devuelve un número calibrado sobre el que un umbral puede actuar en lugar de una frase que un analizador tenga que interpretar. Esa ventaja es estructural y no depende de que el benchmark del proveedor sea correcto. Además, nadie fuera del laboratorio la ha medido, así que trátala como una expectativa y no como un hecho.

Cuánto cuesta averiguarlo

LFM2.5-VL-3B se puede evaluar en un portátil esta misma tarde. La compilación de MLX se ejecuta en Apple silicon, la compilación de GGUF se ejecuta en CPU mediante llama.cpp, y hay un entorno de pruebas alojado si quieres echar un vistazo antes de descargar nada. El coste del cambio es un identificador de modelo en un archivo de configuración, y el riesgo está acotado por el hecho de que los pesos tienen licencia y el formato es estándar.

SingVL_S1_4B cuesta una GPU y una tarde de configuración. Necesitas Python 3.12, una compilación de PyTorch compatible con tu tarjeta, los requisitos propios del repositorio y un puerto libre. El servidor expone una única ruta —POST /v1/systemone— con un cuerpo JSON plano, lo cual es inusualmente fácil de conectar para un artefacto de investigación, y la tarjeta incluye ejemplos funcionales de curl tanto para solicitudes de texto como de imagen. Lo que no puedes hacer es apuntar a él un cliente existente con formato OpenAI, porque no tiene ese formato. El endpoint está diseñado para el kit de evaluación Decision Index, y el kit está diseñado para él.

Esa asimetría es la respuesta práctica a «cuál debería probar primero». Si aún no ha comprobado que un modelo que devuelve probabilidades ayude a su pipeline, el experimento barato consiste en ejecutar el patrón contra algo que ya se esté sirviendo. OrcaRouter ofrece TypeSafe Jev 1.14 a $0,042 por millón de tokens de entrada con una sola clave, lo cual es un endpoint de decisión funcional con el que puede comparar su propia tarea en una hora, sin ningún checkpoint que alojar ni ninguna cuestión de licencia que escalar. SingVL_S1_4B no está disponible allí —no tiene ningún proveedor alojado—, así que la comparación que realmente puede hacer hoy es «¿la puntuación por decisión tipada supera a la generación en mis datos?», no «¿gana este nuevo checkpoint en concreto?». Obtenga la primera respuesta antes de gastar en la segunda.

Donde cada uno pertenece

• Documentos que debes leer y citar — LFM2.5-VL-3B. Produce la transcripción, con etiquetas de maquetación, y su fila de OCR es una capacidad real en lugar de una puntuación.

• Pantallas, formularios e interfaces gráficas — LFM2.5-VL-3B. ScreenSpot-v2 con 80.7 y las mejoras de grounding respecto a la generación anterior son lo más destacado de esta versión.

• Cualquier cosa que funcione en un teléfono o un portátil — LFM2.5-VL-3B, y no hay comparación, porque la alternativa necesita un servidor.

• Una compuerta frente a una llamada costosa — cualquiera de las dos, y la forma de SingVL_S1_4B es la que mejor encaja si puedes alojarlo, porque una probabilidad es lo que una compuerta necesita.

• Triaje multietiqueta sobre una taxonomía fija — SingVL_S1_4B, en principio. Sus tipos de pregunta de elección y de puntuación se corresponden directamente con taxonomías, mientras que un modelo generativo tiene que ser restringido de nuevo a una mediante prompts y posprocesamiento.

• Moderación — tampoco sin trabajo. La propia tarjeta de SingVL_S1_4B muestra que su fila de memes de odio cae de 71,64 a 43,28 cuando se aplica el prompt de habilidad, lo cual es una advertencia sobre la sensibilidad al prompt precisamente en el ámbito donde los falsos negativos son costosos.

• Despliegue comercial este trimestre — LFM2.5-VL-3B, únicamente por motivos de licencia.

La parte que aún no se ha medido

La pregunta interesante no es qué modelo es mejor, porque no están en la misma competición. Es si un clasificador de 4,5 mil millones de parámetros entrenado sobre una columna vertebral de visión puede igualar a un modelo de visión de propósito general en la franja estrecha de tareas donde solo necesitas una etiqueta y una confianza. Si puede, cambia el costo de muchos pipelines, porque una sola pasada hacia adelante es un orden de gasto distinto al de un párrafo generado. Nadie fuera de inclusionAI lo sabe todavía —el repositorio tiene un día, la licencia está en blanco y el benchmark es del propio laboratorio.

Mientras tanto, el modelo de propósito general está disponible, tiene licencia, está cuantizado, documentado y es lo bastante rápido como para ejecutarse en un teléfono. Cuando un equipo pregunta cuál de estos poner en producción, la respuesta por ahora es la aburrida, y la interesante es una hipótesis con un repositorio adjunto.