LFM3-1.7B vs MiniCPM5-2B: Testando o placar 23 a 4 da Liquid

Em 27 de outubro de 2026, a Liquid AI publicou uma tabela de benchmark de 27 linhas colocando o LFM3-1.7B contra o MiniCPM5-2B. O modelo da Liquid vence 23 dessas linhas. O MiniCPM5 vence quatro. A contagem circulou rapidamente, o que é um problema, porque uma contagem de vitórias é a informação menos útil que se pode extrair de uma tabela em que um fornecedor escolheu os benchmarks, escreveu o harness e executou os dois modelos. Este é um teste do que esse 23–4 realmente lhe diz — e começa com uma admissão: a comparação que a Liquid está respondendo discretamente foi publicada neste blog um dia antes, e ele se absteve de fazer exatamente esse argumento. Esse artigo comparou os dois checkpoints base e concluiu que nenhum dos dois tinha avaliações utilizáveis. Aqui está a versão com os pesos pós-treinados dos dois lados.

O MiniCPM5-2B é o modelo de raciocínio denso de 2,52B da OpenBMB, lançado no início de setembro de 2026 sob a licença Apache 2.0. O LFM3-1.7B é o modelo de texto e de agente de 1,73B da Liquid AI, lançado em 27 de outubro de 2026 sob a LFM Open License v1.0. Eles pertencem à mesma classe de peso, disputam o mesmo espaço em dispositivos e foram criados para tarefas visivelmente diferentes.

Dois fornecedores, dois arneses, uma tabela

A contagem de 23–4 só existe porque a Liquid refez o teste do seu concorrente. Isso é uma coisa legítima e incomumente rigorosa de se fazer em um lançamento — a maioria dos fornecedores compara com um número de um ranking público e deixa a estrutura subjacente sem ser declarada. Mas refazer o teste de um concorrente na sua própria estrutura de avaliação não produz um resultado neutro, e a pista reveladora está nas linhas em que o mesmo benchmark aparece nos materiais dos dois fornecedores.

Considere o BFCL V4. A Liquid mede o MiniCPM5-2B em 62.65. O próprio card da OpenBMB reporta 66.6. Considere o Humanity's Last Exam: a Liquid obtém 8.20 para o MiniCPM5, e a OpenBMB alega 8.9. Essas diferenças são pequenas — dentro de quatro pontos numa escala de 0 a 100 — e sugerem que a diferença de harness é modesta em benchmarks padronizados. Agora considere o SWE-bench Verified, em que a OpenBMB reporta 46.4 para o MiniCPM5-2B e a Liquid reporta 43.40 para o LFM3-1.7B. Coloque esses dois números lado a lado e o MiniCPM5 vence. Coloque a própria linha do MiniCPM5 da Liquid ao lado da própria linha do LFM3 da Liquid e o LFM3 vence. Mesmo benchmark, mesmos dois modelos, resposta oposta, porque os números vieram de harnesses diferentes.

Aí está todo o problema num único exemplo. Nenhum dos fornecedores publicou a configuração do harness, a política de retry ou o scaffolding de prompt. Até que alguém rode os dois modelos através de um mesmo harness que não controla, cada linha entre fornecedores nesta comparação é um cara ou coroa disfarçado de medição.

Onde a lacuna é grande demais para ser ruído do harness

Algumas linhas não podem ser explicadas como se não existissem. A navegação web agêntica é o exemplo mais claro:

• WebArena-Verified — LFM3-1.7B 38,42 vs MiniCPM5-2B 9,11 no harness da Liquid.

• AutomationBench — 41,29 vs 4,71.

• RULER 128K — 65,56 vs 37,96.

• BFCL V4 — 71,39 vs 62,65.

Uma diferença de quatro pontos é estrutura de suporte. Uma diferença de vinte e nove pontos no WebArena-Verified, ou de trinta e sete pontos no AutomationBench, não é. Essas são diferenças quanto a se o modelo consegue ou não manter um plano de várias etapas minimamente coeso, e coincidem com o que cada fornecedor diz sobre si mesmo: a Liquid construiu o LFM3 em torno de mid-training agêntico com rastros de chamadas de ferramentas, e a documentação da própria OpenBMB aponta o MiniCPM5 como fraco em tarefas longas de várias etapas e propenso à repetição. Duas descrições independentes da mesma fraqueza, vindas de direções opostas, são a evidência mais forte de toda esta comparação.

A linha de contexto longo merece atenção separada porque é a que as pessoas vão interpretar mal. RULER 128K em 37,96 para o MiniCPM5 é uma pontuação de recuperação em 128K, não uma afirmação de que o modelo tem limite de 128K — o MiniCPM5-2B oferece suporte oficial a 131.072 tokens. Isso significa que, nesse comprimento, o MiniCPM5 encontra menos daquilo que você pede que ele encontre. O LFM3 marca 65,56 no mesmo comprimento. Se sua carga de trabalho é “pesquisar um documento longo e responder”, essa diferença é a decisão inteira.

As quatro linhas em que o MiniCPM5 vence — e por que elas importam

A tabela da Liquid concede ao MiniCPM5-2B quatro vitórias: τ³-bench com 69,44 contra 68,01, GPQA Diamond com 65,15 contra 63,37, HLE com 8,20 contra 7,17, e AA-Omniscience com 9,13 contra 7,07. Três das quatro são benchmarks de conhecimento. As margens são de um a dois pontos, o que está dentro do piso de ruído da maioria dos conjuntos de avaliação.

Mas o padrão é consistente com o design do MiniCPM5. A OpenBMB o treinou como um modelo de raciocínio com um modo de pensamento explícito, em uma cadeia que executou SFT de pensamento profundo sobre 400 bilhões de tokens e depois aprendizado por reforço com professores especialistas antes da destilação on-policy em um único checkpoint denso. Essa é uma receita voltada a extrair mais do conhecimento armazenado por parâmetro. O treinamento do LFM3 é voltado a chamadas de ferramentas e aderência a instruções. A vantagem de 1,8 ponto do MiniCPM5 no GPQA Diamond não é surpresa; é o aparecimento das duas filosofias de treinamento onde você esperaria.

A comparação muito mais interessante é aquela que a tabela da Liquid não consegue fazer. O MiniCPM5-2B tem um Índice de Inteligência da Artificial Analysis de 12. O LFM3-1.7B, em 28 de outubro de 2026, não tem sequer uma entrada na Artificial Analysis — nenhum índice, nenhuma velocidade medida de forma independente, nenhum valor neutro de latência. Portanto, o modelo que perde em 23 das 27 linhas é o que tem um ponto de dados independente, e o modelo que vence nelas é o que pede que se confie nele. Essa assimetria deveria pesar mais do que a contagem de vitórias.

As especificações que realmente se comparam de forma clara

Quando nenhum dos fornecedores está executando o benchmark do outro, os números são entediantes e confiáveis:

• Parâmetros — LFM3-1.7B 1,73B denso vs MiniCPM5-2B 2,52B no total, 1,98B sem embedding.

• Camadas — 24 híbridas (13 de convolução, 5 de janela deslizante, 6 globais) vs. 42 camadas padrão de transformer com atenção de consulta agrupada em 16 cabeças de consulta e 2 cabeças KV.

• Contexto — 256K vs 131,072.

• Cache KV a 128K — 1,6 GB vs 5,6 GB, segundo a medição da Liquid de ambos.

• Pegada em 4 bits — cerca de 1 GB contra cerca de 1,1 GB em relatos práticos.

• Vocabulário — 128K vs 130.560.

• Licença — LFM Open License v1.0, gratuita abaixo de US$ 10M de receita vs Apache 2.0, sem limite.

A linha do KV-cache é a que decide o hardware. Uma diferença de 3,5× no mesmo comprimento de contexto é a diferença entre um agente de contexto longo que cabe num telefone e um que não cabe. Também explica por que a LFM3 pode oferecer 256K onde a MiniCPM5 oferece 131K: a mistura de camadas tri-híbrida é mais barata por token de contexto, o que é exatamente o objetivo de construí-la.

A diferença de licença importa mais do que a diferença de memória para algumas equipes. A Apache 2.0 não tem limite de receita, nenhum acordo comercial a negociar e nenhuma ambiguidade quanto à redistribuição. A LFM Open License é gratuita abaixo de US$ 10 milhões em receita anual e exige uma conversa acima disso. Uma startup abaixo dessa linha obtém as duas de graça. Uma empresa acima dela obtém uma de graça e a outra após uma ligação, e isso é um custo real de aquisição, independentemente de qual modelo pontua mais.

O suporte ao ecossistema é onde o MiniCPM5 ainda lidera

Ambas as famílias entregaram amplo suporte de runtime logo no primeiro dia, então essa lacuna é menor do que era há um ano. O LFM3 lista vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama e LM Studio, com builds em BF16, FP8, NVFP4, GGUF, MLX e ONNX. O MiniCPM5-2B lista os mesmos runtimes, além de GPTQ e DSpark, um modelo draft de decodificação especulativa que acompanha o checkpoint principal.

A diferença prática é a maturidade, não a disponibilidade. O MiniCPM5-2B pode ser baixado desde o início de setembro, o que representa sete semanas de relatos de bugs da comunidade, experimentos de quantização e patches de frameworks que o LFM3 não teve. Um modelo lançado ontem terá arestas a serem aparadas na sua conversão para GGUF e no seu empacotamento para Ollama. Isso não é uma crítica à Liquid; é apenas como é o primeiro dia. Se você precisa do modelo em produção nesta semana, sete semanas de outras pessoas encontrando os problemas primeiro têm seu valor.

Como decidir e onde um roteador se justifica

Nenhum dos modelos está no catálogo do OrcaRouter — ambos são pesos abertos que você mesmo executa, e preferimos dizer isso de forma clara a sugerir o contrário. O roteador importa na fronteira. A forma honesta de conduzir esta avaliação é colocar ambos os modelos atrás de um único endpoint e enviar tráfego real para eles, e a forma honesta de rodar qualquer um deles em produção é não permitir que um modelo 2B seja a única coisa capaz de responder.

É para isso que serve o failover automático. Encaminhe uma solicitação para o LFM3-1.7B, deixe-o lidar com a chamada de ferramenta ou com a extração para a qual foi treinado e, quando a tarefa exigir mais etapas do que um modelo de 2B consegue comportar, recorra a um modelo hospedado. Como o OrcaRouter repassa o preço de tabela do provedor com 0% de margem, o caminho caro custa apenas o que o provedor cobra quando ele é realmente usado — a economia obtida ao rotear para um modelo local pequeno não é consumida pelo roteador. A DSL de roteamento permite expressar isso como uma regra em vez de uma reescrita: especialista primeiro, generalista em caso de falha ou de um limite de confiança.

A fusão de modelos é a opção subutilizada aqui. Quando dois modelos 2B discordam sobre uma classificação, ter ambos respondendo e reconciliar as respostas costuma ser mais barato do que escalar para um modelo 27B, e a própria taxa de discordância é um sinal útil sobre quais entradas são difíceis. Com um modelo não verificado em um dos lados do seu pipeline, esse tipo de verificação cruzada é mais barato do que confiar em uma tabela de fornecedor.

O que resolveria isso

Dentro de trinta dias, alguém deveria publicar o LFM3-1.7B e o MiniCPM5-2B por meio de um único harness, com a configuração commitada junto aos resultados. Se o LFM3 se mantiver em algum ponto próximo de 38 no WebArena-Verified e de 65 no RULER 128K, a contagem de 23–4 terá estado aproximadamente certa pelos motivos errados, e o gap agêntico é real. Se cair na direção dos números do MiniCPM5, então a tabela de lançamento estava medindo scaffolding.

Até lá, a posição defensável é mais estreita do que o marketing de qualquer um dos fornecedores. Se a sua carga de trabalho for de várias etapas, de chamada de ferramentas ou de documentos longos, o LFM3-1.7B é a melhor aposta, e a vantagem de memória faz dele o único dos dois que cabe em hardware restrito com folga. Se a sua carga de trabalho for de recuperação de conhecimento ou raciocínio de turno único, ou se precisar de uma licença inequívoca e de um modelo com uma pontuação independente associada, o MiniCPM5-2B é a escolha mais segura, e as quatro linhas que ele vence apontam exatamente nessa direção. A contagem de 23–4 não é tanto incorreta quanto imerecida — e a contagem de modelos numa tabela de lançamento não é a mesma coisa que um resultado.