SingVL_S1_4B vs LFM2.5-VL-3B: Probabilidades Contra Parágrafos

Perguntar se SingVL_S1_4B vence LFM2.5-VL-3B é uma pergunta malformulada, e a maneira mais rápida de desperdiçar uma semana é respondê-la de qualquer jeito. Um desses modelos escreve parágrafos sobre imagens; o outro retorna uma probabilidade para cada opção que você lhe entrega e nunca emite uma palavra própria. Essa diferença não é uma lacuna de qualidade a ser resolvida em um ranking. Ela decide quais dos seus pipelines podem usar qual modelo, antes de qualquer benchmark ser consultado. Então a comparação honesta corre na direção oposta: comece pelo que seu código precisa receber e veja qual modelo consegue produzi-lo.

Dois tipos de retorno diferentes

O LFM2.5-VL-3B da Liquid AI é um modelo de visão-linguagem no sentido comum. Dê a ele uma imagem e uma pergunta e ele gera uma resposta token por token, o que significa que pode descrever uma cena, acompanhar uma conversa de múltiplos turnos, chamar uma função, transcrever uma página de texto com anotações de layout ou retornar caixas delimitadoras para objetos que você nomear. Foi lançado em 12 de agosto de 2026, construído sobre o backbone de linguagem LFM2.5-2.6B com um codificador de visão SigLIP2 NaFlex, e é explicitamente voltado para implantação no dispositivo — 228 tokens por segundo em um Apple M5 Max com menos de 3,3 GB de memória, com builds GGUF, ONNX e MLX publicados junto com o checkpoint nativo.

O SingVL_S1_4B da inclusionAI, enviado discretamente em 11 de novembro de 2026, faz uma coisa e a faz em uma única passagem direta. Você fornece a ele um estado — texto, JSON, até quatro imagens — e um dicionário de perguntas nomeadas, cada uma declarando um tipo (escolha, sim/não sob o rótulo "noul", ou uma pontuação ordenada de 2 a 10 níveis) e suas respostas candidatas. Ele retorna uma probabilidade por candidato. Não há etapa de amostragem, nenhuma temperatura a definir, nenhuma saída a analisar. O próprio cartão do modelo é escrito nesse vocabulário por toda parte, até nos exemplos de API.

Se o seu endpoint precisar retornar "a fatura é da Acme, datada de março, total 1.240,00", o LFM2.5-VL-3B consegue e o SingVL_S1_4B não. Se o seu endpoint precisar de {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, o inverso ocorre. Essa é a decisão completa, e tudo abaixo trata dos casos limítrofes dela.

A ficha de especificações, lado a lado sem uma tabela.

• Parâmetros — SingVL_S1_4B tem cerca de 4,54B em BF16 distribuídos em dois shards que totalizam 9,1 GB; LFM2.5-VL-3B tem 3,1B, com um backbone de linguagem de 2,6B.

• Saída — SingVL_S1_4B retorna probabilidades por opção a partir de uma única passagem forward; LFM2.5-VL-3B retorna texto gerado, chamadas de ferramentas ou anotação estruturada de layout.

• Contexto — SingVL_S1_4B aceita 65.536 tokens de entrada apenas para texto, caindo para 10.000 quando imagens são anexadas; LFM2.5-VL-3B anuncia 32.768 tokens de ponta a ponta.

• Imagens por solicitação — o SingVL_S1_4B limita a quatro, com máximo do processador de 1.806.336 pixels cada; o LFM2.5-VL-3B aceita entrada de imagem única e múltipla e divide imagens grandes em patches de 512×512 mais uma miniatura.

• Idiomas — LFM2.5-VL-3B lista quinze, do árabe ao vietnamita; o cartão do SingVL_S1_4B não faz nenhuma declaração sobre idiomas.

• Licença — o LFM2.5-VL-3B é distribuído sob a LFM Open License v1.0, com derivados quantizados já em circulação; o SingVL_S1_4B é distribuído sem campo de licença e sem arquivo LICENSE.

• Implantação — O LFM2.5-VL-3B tem builds nativos, GGUF, ONNX e MLX, além de uma demonstração WebGPU e caminhos vLLM, SGLang e llama.cpp; SingVL_S1_4B significa clonar o repositório e executar seu próprio servidor FastAPI na porta 8173.

Ecossistema — LFM2.5-VL-3B está no Hub desde agosto e recebeu quantizações e ports da comunidade; SingVL_S1_4B tinha um dia de idade no momento em que este texto foi escrito, com zero downloads.

Duas dessas linhas são mais decisivas do que parecem. A linha da licença é a primeira: um repositório sem licença não concede a ninguém o direito de redistribuir ou entregar, e «o fornecedor não disse» não é uma permissão que se possa incluir numa revisão de conformidade. A linha da implementação é a segunda: uma compilação ONNX que corre num telemóvel e um servidor Python que exige um dispositivo CUDA não estão a competir pela mesma posição na sua arquitetura, independentemente do que digam as contagens de parâmetros.

Por que os números do benchmark não podem ser subtraídos

Os dois cartões relatam pontuações em conjuntos de dados cujos nomes se sobrepõem, e a sobreposição é uma armadilha. SingVL_S1_4B relata 82,17 no RealWorldQA, 72,11 no BLINK, 50,17 no MMMU-Pro vision e 96,31 no InfographicVQA. O LFM2.5-VL-3B relata 73,1 no RealWorldQA, 61,5 no BLINK, 30,5 no MMMU Pro e 81,3 no ChartQA. Colocados em sequência, isso parece uma surra. Não é uma comparação de nada.

O primeiro motivo é o modo de resposta. Cada número do SingVL_S1_4B é produzido pela pontuação de um conjunto de opções fornecidas e pela escolha da opção de maior probabilidade, o que é uma tarefa fundamentalmente mais fácil do que gerar uma resposta de formato livre que um avaliador depois precisa fazer corresponder. O Decision Index mede exatamente isso e deixa isso claro: suas pontuações são corrigidas pelo acaso, então chutar não confere crédito, mas o modelo ainda nunca precisa produzir a string — apenas classificar candidatos que outra pessoa escreveu. Um modelo generativo que responde à mesma pergunta do zero está fazendo mais trabalho para o mesmo ponto no gráfico.

A segunda razão é quem o executou. Ambos os conjuntos são informados pelos fornecedores, no harness próprio de cada fornecedor. Nenhum foi reproduzido por um laboratório neutro. Além disso, o SingVL_S1_4B tem apenas um dia e não tem nenhuma submissão ao kit público de reprodução do Decision Index — o cartão inclui as instruções para fazer uma, o que indica intenção e não prova nada. O LFM2.5-VL-3B já passou três meses sendo executado por pessoas, o que não é o mesmo que um número auditado, mas significa que seus números pelo menos já foram vistos por estranhos.

A terceira é a deriva de versão. A própria ficha do LFM2.5-VL-3B marca o valor dele no OCRBench v2 como o subconjunto apenas em inglês. A linha InfographicVQA do SingVL_S1_4B é reportada dentro de uma suíte com normalização própria. Dois números com o mesmo nome de conjunto de dados e subconjuntos diferentes não são o mesmo número, e a atitude honesta é parar de subtraí-los.

A alegação de eficiência pertence apenas a um lado.

O destaque do LFM2.5-VL-3B não é a precisão, mas sim a vazão dentro de um envelope de memória: abaixo de 3,3 GB, 228 tokens por segundo em um M5 Max, 116 em um Ryzen AI Max+ 395 e 20 em um Galaxy S26 Ultra. Esse último número é o que importa para o design de produto, porque é a diferença entre um recurso que roda no dispositivo e um recurso que precisa de uma ida e volta. Nada no repositório SingVL_S1_4B faz uma alegação comparável, e não há uma versão quantizada com a qual fazer uma — você recebe shards BF16 e um script de servidor.

O outro lado é que uma única passagem direta tem um perfil de custo que um modelo generativo não consegue igualar. Pontuar quatro opções para uma pergunta é uma passagem; gerar uma descrição de 200 tokens são 200 passagens sequenciais. Se sua tarefa é genuinamente uma classificação — este documento é um recibo, este frame contém uma pessoa, esta listagem está em conformidade —, o design do SingVL_S1_4B deve ser mais barato por decisão, e ele retorna um número calibrado sobre o qual um limiar pode atuar, em vez de uma frase que um parser precisa conseguir processar. Essa vantagem é estrutural e não depende de o benchmark do fornecedor estar certo. Ela também não foi medida por ninguém fora do laboratório, então trate-a como uma expectativa, e não como um fato.

Quanto custa descobrir

O LFM2.5-VL-3B pode ser avaliado em um laptop nesta tarde. A build MLX roda em Apple silicon, a build GGUF roda em CPU via llama.cpp, e há um playground hospedado se você quiser dar uma olhada antes de baixar qualquer coisa. O custo de troca é um identificador de modelo em um arquivo de configuração, e o risco é limitado pelo fato de que os pesos têm licença e o formato é padrão.

SingVL_S1_4B custa uma GPU e uma tarde de configuração. Você precisa de Python 3.12, uma build do PyTorch compatível com sua placa, os requisitos próprios do repositório e uma porta livre. O servidor expõe uma única rota — POST /v1/systemone — com um corpo JSON plano, o que é incomumente fácil de integrar para um artefato de pesquisa, e a placa fornece exemplos curl funcionais tanto para requisições de texto quanto de imagem. O que você não pode fazer é apontar um cliente existente no formato OpenAI para ele, porque ele não tem esse formato. O endpoint foi projetado para o kit de avaliação Decision Index, e o kit foi projetado para ele.

Essa assimetria é a resposta prática para "qual devo tentar primeiro". Se você ainda não estabeleceu que um modelo que retorna probabilidades ajuda seu pipeline, o experimento barato é executar o padrão contra algo que já está sendo servido. O OrcaRouter oferece o TypeSafe Jev 1.14 a US$ 0,042 por milhão de tokens de entrada com uma única chave, o que é um endpoint de decisão funcional com o qual você pode comparar sua própria tarefa em uma hora, sem nenhum checkpoint para hospedar e nenhuma questão de licença para escalar. O SingVL_S1_4B não está disponível lá — ele não tem nenhum provedor hospedado — então a comparação que você pode realmente fazer hoje é "a pontuação de decisão tipada supera a geração nos meus dados", e não "este novo checkpoint específico vence". Obtenha a primeira resposta antes de gastar com a segunda.

Onde cada um pertence

• Documentos que você precisa ler e citar — LFM2.5-VL-3B. Ele produz a transcrição, com rótulos de layout, e sua linha de OCR é uma capacidade real, e não uma pontuação.

• Telas, formulários e GUIs — LFM2.5-VL-3B. ScreenSpot-v2 em 80,7 e as melhorias de grounding em relação à geração anterior são o foco do lançamento.

Qualquer coisa que funcione num telefone ou num laptop — LFM2.5-VL-3B, e não há competição, porque a alternativa precisa de um servidor.

• Um gate diante de uma chamada cara — qualquer um dos dois, e o formato do SingVL_S1_4B é a opção mais adequada se você puder hospedá-lo, porque uma probabilidade é o que um gate precisa.

• Triagem multirrótulo sobre uma taxonomia fixa — SingVL_S1_4B, em princípio. Seus tipos de pergunta de escolha e de pontuação mapeiam diretamente para taxonomias, ao passo que um modelo generativo precisa ser restringido de volta a uma com prompts e pós-processamento.

• Moderação — também não é sem esforço. O próprio cartão do SingVL_S1_4B mostra sua linha de memes de ódio caindo de 71,64 para 43,28 quando o prompt de habilidade é aplicado, o que é um alerta sobre a sensibilidade ao prompt exatamente no domínio em que falsos negativos são caros.

• Implantação comercial neste trimestre — LFM2.5-VL-3B, somente por questões de licenciamento.

A parte que ainda não foi medida

A pergunta interessante não é qual modelo é melhor, porque eles não estão na mesma competição. É se um classificador de 4,5 bilhões de parâmetros treinado sobre um backbone de visão consegue igualar um modelo de visão de uso geral na estreita faixa de tarefas em que você só precisa de um rótulo e uma confiança. Se conseguir, isso muda o custo de muitos pipelines, porque uma única passagem direta é uma ordem de despesa diferente de um parágrafo gerado. Ninguém fora da inclusionAI sabe ainda — o repositório tem um dia de vida, a licença está em branco e o benchmark é do próprio laboratório.

Enquanto isso, o modelo de propósito geral está disponível, licenciado, quantizado, documentado e rápido o suficiente para rodar em um celular. Quando uma equipe pergunta qual destes colocar em produção, a resposta por enquanto é a chata, e a interessante é uma hipótese com um repositório anexado.