MiniCPM-V 4.7 vs LFM3-VL-2B: A melhor pontuação de benchmark é o sensor errado

A Liquid AI colocou o MiniCPM-V 4.7 1B em sua própria tabela comparativa e depois o superou. Em uma suíte de 62 benchmarks executada pela Liquid, o LFM3-VL-2B tem média de 71,4 com raciocínio habilitado e 62,1 sem ele; o MiniCPM-V 4.7 1B tem média de 57,5. Essa é uma diferença de 13,9 pontos na categoria de modelos pequenos, e é o número no qual a maioria dos posts de comparação para. Também é o número menos útil para a decisão, porque os dois modelos não estão competindo pela mesma posição. Um é um modelo denso de 1,92 bilhão de parâmetros, criado para ser a resposta inteira. O outro é a metade barata de um sistema de dois modelos cuja metade cara é uma mistura de especialistas de 35 bilhões de parâmetros.

A versão desta comparação que importa depende de qual MiniCPM-V 4.7 você quer dizer. O 1B é um modelo denso de 1,55 bilhão de parâmetros que cabe em um arquivo Q4_K_M de 672 MB — 641 MiB, que é de onde vêm os 641 MB nos cards. O 35B-A3B tem 35,2 bilhões de parâmetros armazenados, com cerca de 3 bilhões ativos por token, e não aparece na tabela da Liquid em absoluto. O LFM3-VL-2B fica entre eles e é, segundo os próprios números da Liquid, um modelo de visão geral melhor que o MiniCPM pequeno e muito mais fraco que o MiniCPM grande. Tudo abaixo trata de quais desses fatos devem decidir sua arquitetura.

Três níveis fingindo ser dois modelos

O LFM3-VL-2B é um artefato. São 1,92 bilhão de parâmetros compostos por um backbone linguístico de 1,73B, um codificador visual próprio de 164M e um projetor de 25M, com contexto de 128K tokens, vídeo amostrado a dois quadros por segundo e um único conjunto de pesos que realiza detecção, OCR, gráficos e descrição. A Liquid anunciou a família LFM3 em 27 de outubro de 2026; o repositório do LFM3-VL-2B foi publicado em 19 de outubro.

O MiniCPM-V 4.7 é composto por dois artefatos com uma torre de visão compartilhada. O 1B é um backbone denso qwen3_5_text com 24 camadas, um contexto de 262.144 tokens e três camadas de atenção linear para cada camada de atenção completa. O 35B-A3B é um modelo esparso de 256 especialistas que roteia oito especialistas por token, mantém o mesmo contexto de 262.144 tokens e existe porque a OpenBMB queria um modelo grande capaz de transmitir especialistas do armazenamento em vez de mantê-los na memória. Ambos são Apache-2.0. Os pesos apareceram em 6 e 7 de outubro de 2026, o cartão do modelo veio em 12 de outubro, e a ModelBest emitiu um comunicado de imprensa em inglês em 15 de outubro.

Então, a formulação honesta não é “2B versus 1B”. É “um modelo que precisa fazer tudo” contra “uma família em que você escolhe quanto modelo cada pergunta merece”. Se o seu pipeline faz uma pergunta por imagem, o formato LFM3-VL-2B é mais simples e, no limite pequeno, mais forte. Se o seu pipeline faz dez mil perguntas baratas e uma cara, o formato MiniCPM é mais barato por construção.

O que a própria tabela da Liquid diz, e quanto custa lê-la

O conjunto de 62 benchmarks é da Liquid, executado no vLLM 0.27.1, normalizado para uma escala de 0 a 100, com o modo de raciocínio ativado para todos os modelos, exceto nas linhas marcadas de outra forma. Um fornecedor avaliar um rival é normal e vale a pena ler, mas o harness é do fornecedor, o conjunto de prompts é do fornecedor e o agregado é do fornecedor. Trate as linhas como alegações.

• MMMU — LFM3-VL-2B 55,7 com raciocínio e 48,6 sem, contra 51,0 do MiniCPM-V 4.7 1B no mesmo conjunto de colunas. A própria página da OpenBMB não reporta MMMU para o modelo 1B, portanto esta linha existe apenas na execução da Liquid.

• OCRBench v1 — LFM3-VL-2B 86,3 contra 82,1 do MiniCPM-V 4.7 1B na tabela da Liquid. A OpenBMB reporta 86,1 para o seu próprio 1B, o que é uma diferença de 4 pontos no mesmo benchmark com o mesmo nome e uma boa ilustração do que um harness diferente faz com um número.

• MathVista (mini) — 84,2 com raciocínio e 68,5 sem, para o LFM3-VL-2B, contra 71,2 do MiniCPM-V 4.7 1B na mesma tabela. A página da OpenBMB diz 74,3 para esse modelo.

• Raciocínio CharXiv — 70,2 para o LFM3-VL-2B contra 44,5 para o MiniCPM-V 4.7 1B. A página da OpenBMB afirma 48,8 para o mesmo modelo, então até a direção da diferença depende do harness.

• LongVideoBench — 53,4 para o MiniCPM-V 4.7 1B na página da OpenBMB. A tabela da Liquid não traz nenhuma linha de LongVideoBench, então não há nada com que compará-la.

O padrão é consistente: com o raciocínio ativado, o modelo denso de 2B é melhor em raciocínio visual de várias etapas e interpretação de gráficos, e praticamente equivalente em OCR simples. Com o raciocínio desativado, a diferença cai para cerca de 4,6 pontos, o que mostra que a maior parte da vantagem é obtida com tokens de tempo de teste, e não com parâmetros. Isso importa mais para a latência do que para a qualidade, e a latência é o eixo que essa comparação costuma ignorar.

O teste independente que inverte o ranking

No final de outubro, a WebBrain publicou um benchmark de 100 casos com capturas de tela de navegador, executado inteiramente offline em Q4_K_M GGUF em duas placas RTX 5060 Ti, com um conjunto fixo de capturas de tela, um prompt de produção e uma rubrica determinística. O MiniCPM-V 4.7 1B obteve 37 aprovações estritas de 100 e uma pontuação média de 68,2% na rubrica, a 1,30 segundo por captura de tela. O LFM3-VLD-2B — uma variante irmã do modelo Liquid, não o checkpoint exato LFM3-VL-2B — obteve 4 aprovações estritas e 44,7%, a 2,20 segundos.

A ressalva é importante e corta nos dois sentidos. Sob a regex estrita de títulos numerados, o MiniCPM obteve zero aprovações porque escreveu os títulos das seções como rótulos de texto em vez de dígitos. O número de 37 aprovações vem da reavaliação das mesmas saídas por nome de seção. Isso é uma falha real de formatação e, se o seu parser downstream espera títulos numerados, é desqualificante. Mas a pontuação de conteúdo não está próxima: 68,2 contra 44,7, a 60 por cento da latência, em uma tarefa — ler uma viewport densa do navegador — que está muito mais próxima da produção do que um benchmark de gráficos.

Esta é a única avaliação independente que qualquer um dos dois modelos tem neste nível, é um único harness em um par de GPUs, e o modelo Liquid testado é a variante VLD. Ainda assim, é mais informativa que o agregado de 62 benchmarks, porque mede o que você realmente faz com um modelo de visão pequeno: olhar para uma tela e responder rapidamente a uma pergunta fixa.

A licença é o fator decisivo silencioso

O MiniCPM-V 4.7 é distribuído sob a licença Apache-2.0, sem qualquer condição de receita. O LFM3-VL-2B é distribuído sob a LFM Open License v1.0, que a Liquid descreve como gratuita para uso comercial abaixo de 10 milhões de dólares de receita anual. Acima desse limite, os termos mudam e você precisa lê-los.

Para um projeto de hobby, a diferença é teórica. Para um produto, é a primeira coisa que um advogado vai perguntar, e é a única linha em qualquer tabela de comparação que nenhum benchmark consegue sobrepor. Um modelo que é quatro pontos melhor em raciocínio de gráficos e carrega um gatilho de receita não é automaticamente a melhor dependência. É também aqui que a escolha do Apache-2.0 em ambos os tamanhos do MiniCPM-V 4.7 faz mais do que os números de benchmark: elimina uma conversa.

Cadence: o número que nenhuma das tabelas informa

O monitor de gatos esp32-eye é o exemplo público mais claro de como o MiniCPM 1B é realmente usado. Ele roda como um GGUF Q4_K_M atrás do llama-server em um MacBook e é chamado no máximo uma vez a cada 1,5 segundos, condicionado por uma verificação de diferença de fundo para que a maioria dos quadros nunca chegue até ele. A mesma build considerou o 1B não confiável para distinguir quatro gatos semelhantes e transferiu a identificação para o 35B em vez de entregar um palpite.

Esse é o perfil de implantação que as tabelas de benchmark não capturam. Um modelo que você chama a cada 1,5 segundo precisa ser pequeno o suficiente para permanecer residente, rápido o suficiente para que a resposta chegue antes do próximo quadro e permissivo o suficiente para que você possa distribuí-lo. O 1B atende aos três. O LFM3-VL-2B tem 1,25 GB em Q4 e 2,2 segundos por captura de tela no teste independente, o que é adequado para um pipeline por imagem e lento demais para um gate de 1,5 segundo no mesmo hardware.

Se você quer um endpoint hospedado em vez de um arquivo local, nenhum dos dois modelos está no catálogo do OrcaRouter hoje, então a resposta honesta é que o 1B roda onde você o colocar e o 35B roda na própria API da OpenBMB. O que um roteador oferece é a arquitetura em volta: uma chave para mais de 200 modelos, 0% de markup sobre os preços de tabela dos provedores, e failover automático, que é como você mantém um pipeline de dois modelos ativo quando a etapa cara é um único endpoint externo. Ele não transforma um modelo não hospedado em hospedado, e vale dizer isso claramente.

Qual escolher

Se está a construir um pipeline de imagens com um único modelo e quer o generalista mais forte da classe 2B nos benchmarks que ambos os laboratórios publicam, o LFM3-VL-2B é a escolha defensável, com a ressalva de licença registada por escrito. Se está a construir um agente que observa ecrãs em ciclo, o teste independente de navegador coloca o MiniCPM 1B à frente tanto na pontuação como na latência, e a sua disciplina de formatação é aquilo que deve corrigir no seu parser, e não no modelo.

Se você precisa de um modelo que consiga ler um documento de 262.144 tokens, assistir a um vídeo e se manter competitivo no MMMU, nenhum dos modelos pequenos é a resposta: essa é a faixa 35B-A3B, em que a OpenBMB relata 80,2 no MMMU, 91,2 no OCRBench e 68,9 no LongVideoBench, todos divulgados pelo fornecedor e nenhum reproduzido de forma independente. A decisão real não é qual 2B vence. É se seu pipeline pode se dar ao luxo de fazer uma pergunta pequena a baixo custo e uma pergunta difícil raramente — e, se puder, o design de dois modelos é mais barato do que qualquer modelo único que tente ser bom nos dois.

Uma última calibração. A diferença de 13,9 pontos que a Liquid publica é real na suíte da Liquid, e a diferença de 23,5 pontos que a WebBrain publica é real na suíte da WebBrain, e elas apontam em direções opostas porque medem trabalhos diferentes. Quem cita uma sem a outra está lhe vendendo uma conclusão. A pergunta útil não é qual modelo é melhor; é quantas vezes por dia você precisa perguntar e quanto está disposto a pagar pela resposta.