LFM3-1.7B vs Gemma 4 12B: Quando o modelo sete vezes menor vence um benchmark de programação

LFM3-1.7B é um modelo de texto de 1,73 bilhão de parâmetros que a Liquid AI publicou no Hugging Face em 26 de outubro de 2026 e anunciou no dia seguinte como parte do lançamento da família LFM3. Gemma 4 12B é um modelo denso de 11,95 bilhões de parâmetros que o Google DeepMind lançou em 3 de junho de 2026, e ele lê imagens e áudio, além de texto. No único benchmark de programação que ambos os fornecedores publicam — LiveCodeBench v6 —, o modelo menor pontua 73,46 e o maior pontua 72,0. Leia isso duas vezes, porque é exatamente o motivo pelo qual esta página existe e também o número mais fácil de ser mal interpretado na internet. O roteamento não acrescenta margem ao preço de tabela de um provedor. 0% de markup Veja os preços de repasse em nossa página de preços.

Ambos os números são relatados pelos fornecedores. Nenhum foi reproduzido por um avaliador independente. Eles foram produzidos por equipes diferentes, em harnesses diferentes, com meses de diferença, e a Liquid não publicou nenhuma nota de metodologia explicando como sua execução no LiveCodeBench foi configurada. Portanto, a versão honesta da frase acima não é "um modelo de 1,7B supera um modelo de 12B em código". É: dois fornecedores relatam pontuações quase idênticas em um benchmark cujo nome compartilham, e a diferença de nove pontos no GPQA Diamond na direção oposta sugere que os dois modelos não são nem de longe equivalentes.

O que é genuinamente comparável, e o que não é

A maioria das páginas "X vs Y" coloca duas tabelas de fornecedores lado a lado e chama isso de comparação. Isso só funciona se as tabelas se sobrepuserem. Entre o post de lançamento do LFM3 da Liquid e a ficha do modelo Gemma 4 do Google, exatamente dois nomes de benchmark aparecem dos dois lados com definições compatíveis: LiveCodeBench v6 e GPQA Diamond. Todo o resto é reportado por um fornecedor e não pelo outro, e uma célula em branco não é um zero.

Nesses dois eixos compartilhados, o resultado é uma divisão limpa. O LFM3-1.7B obtém 73,46 no LiveCodeBench v6 contra 72,0. O Gemma 4 12B obtém 78,8 no GPQA Diamond contra 63,37 — uma margem de 15,4 pontos, que não é ruído em uma avaliação com algumas centenas de perguntas.

Vale a pena nomear esse padrão em vez de diluí-lo na média. O LiveCodeBench mede a capacidade de um modelo de resolver problemas de programação competitiva, uma habilidade estreita e repleta de padrões na qual um modelo pequeno treinado com os dados certos pode se sair bem. O GPQA Diamond mede raciocínio científico de nível de pós-graduação que depende da amplitude de conhecimento — exatamente o que a contagem de parâmetros proporciona. Um modelo de 1,7B pode ser competitivo no primeiro e vai perder no segundo, e isso é um resultado coerente, e não uma contradição.

O fornecedor pratica um preço abaixo do seu próprio melhor número

Aqui está a parte que deve mudar como você lê o 73.46. Role até o final do cartão do modelo LFM3-1.7B e a Liquid escreve, em linguagem simples, que o modelo foi projetado para agentes locais, chamadas de ferramentas e saídas estruturadas, e que ele não é recomendado para codificação agêntica ou raciocínio complexo em várias etapas devido ao seu tamanho reduzido.

É o fornecedor, não um concorrente, informando qual é o teto. Isso fica estranho ao lado de uma pontuação no LiveCodeBench que supera por pouco um generalista de 11,95B, e a conciliação é que esses medem coisas diferentes. Resolver um problema isolado de programação competitiva não é a mesma tarefa que manter um repositório em contexto e fazer vinte edições coordenadas. Um modelo pode ser forte na primeira e explicitamente inadequado para a segunda, e a Liquid está dizendo isso em vez de deixar o benchmark sugerir o contrário.

Acredite na palavra do fornecedor. Se sua carga de trabalho for codificação agêntica, esta comparação não deve terminar no LFM3-1.7B. Se sua carga de trabalho for chamada de ferramentas, extração estruturada, classificação ou um assistente local em um dispositivo que você possui, o aviso da ficha não se aplica a você, e a pegada de 1 GB se torna o argumento inteiro.

Onde o 12B é simplesmente uma classe diferente de coisa

O Gemma 4 12B é multimodal de uma forma que não pode ser adicionada ao LFM3-1.7B por ajuste fino. O card do Google descreve a entrada de imagem e áudio projetada diretamente no mesmo espaço dos tokens de texto, sem codificadores separados — áudio nativamente no 12B e em seus irmãos menores. O LFM3-1.7B é texto entra, texto sai. O recurso de visão da Liquid está no LFM3-VL-2B, um checkpoint separado com um codificador separado, e um modelo de texto não adquire um por meio de ajuste fino.

• Parâmetros — 1,73B densos para LFM3-1.7B; 11,95B densos para Gemma 4 12B. A proporção é de 6,9 para 1.

• Modalidade — somente texto em comparação com entrada de texto, imagem e áudio.

• Contexto — 262.144 tokens em ambos. Esta é a única linha em que o modelo pequeno não abre mão de nada, e é uma conquista real da arquitetura tri-híbrida, e não uma coincidência.

• Footprint — cerca de 1 GB em 4 bits contra aproximadamente 7 GB. Em um celular, essa diferença é a diferença entre enviar e não enviar.

• Idiomas — 16 idiomas nomeados em comparação com mais de 140 pré-treinados com forte suporte pronto para uso. Para um produto em escrita latina, a lacuna raramente pesa; para uma implantação regional, ela é decisiva.

• Licença — a LFM Open License v1.0 é gratuita para uso comercial abaixo de US$ 10 milhões em receita anual e exige uma licença paga acima desse valor. O Gemma 4 12B é Apache 2.0, sem gatilho de receita.

As duas faturas não estão denominadas na mesma moeda.

O Gemma 4 12B tem um preço de mercado porque terceiros o oferecem. A Artificial Analysis reporta uma mediana combinada de US$ 0,10 por milhão de tokens de entrada e US$ 0,30 por milhão de tokens de saída entre as plataformas que hospedam os pesos abertos — uma mediana entre fornecedores, não um preço de tabela, e que muda conforme a oferta varia. A esse preço, a maioria das equipes nunca pensa em executar um 12B por conta própria.

O LFM3-1.7B não tem esse preço. O card no Hugging Face afirma claramente que o modelo não é implantado por nenhum provedor de inferência, e isso é consistente com o que vemos do nosso lado: o OrcaRouter atualmente não roteia o LFM3-1.7B. Se você quiser chamá-lo, baixe 3,46 GB de pesos BF16 ou uma build de 4 bits de aproximadamente 1 GB e execute vLLM, SGLang, llama.cpp, MLX ou ONNX por conta própria. A própria API da Liquid vai servi-lo, e várias plataformas de terceiros também.

A comparação de custos, portanto, não é entre tokens e tokens. É uma conta de ajuste fino e serving versus uma conta por chamada. Em baixo volume, a API vence sem disputa; em volume sustentado em hardware que você já possui, um modelo de 1 GB que deixa o restante da GPU livre tem uma configuração econômica completamente diferente. Essa assimetria — e não a diferença de quatro pontos no LiveCodeBench — é o verdadeiro motivo para considerar o modelo pequeno.

Para que cada um realmente serve

Escolha o LFM3-1.7B quando o alvo de implantação é a restrição: um telefone, um laptop, uma única GPU pequena que também precisa executar outros trabalhos. O contexto de 256K é genuinamente incomum neste tamanho, o vocabulário de 16 idiomas cobre a maioria dos produtos regionais, e o suporte a inferência de seis vias significa que você não está apostando em um único ambiente de execução. Aceite que você está comprando um modelo de chamada de ferramentas e extração, não um modelo de raciocínio, e planeje a recuperação em torno da lacuna de conhecimento que o próprio fornecedor sinaliza.

Escolha o Gemma 4 12B quando a tarefa exigir abrangência, quando a entrada for uma captura de tela ou uma gravação, ou quando a Apache 2.0 for importante para um processo de aquisição. Ele obtém 15 pontos a mais em raciocínio científico de nível de pós-graduação, lê imagens nativamente e está disponível a um preço mediano publicado desde o primeiro dia. O custo é memória: 7 GB em 4 bits é um laptop ou uma GPU modesta, não um celular.

Escolha ambos quando você tiver um caminho estreito de alto volume e um caminho amplo de baixo volume. Encaminhe o caminho amplo para um generalista hospedado e mantenha o modelo pequeno no dispositivo para as chamadas estreitas e sensíveis à latência. O OrcaRouter foi criado para a primeira metade dessa divisão — uma única chave para mais de 200 modelos, preços de tabela dos provedores repassados com 0% de markup, para que uma mudança de preço entre em vigor no mesmo dia, e failover automático se um provedor apresentar degradação. Ele não ajuda você a hospedar o LFM3-1.7B, porque não servimos esse modelo, e seria desonesto insinuar o contrário.

O que resolveria isso

Uma avaliação independente do LFM3-1.7B em um harness que ele não escolheu faria mais do que esta página inteira. A tabela de lançamento da Liquid é detalhada e internamente consistente, e este blog a trata como relatada pelo fornecedor, e não como verificada — que é o que ela é. Os pontos específicos que vale a pena observar são uma execução de LiveCodeBench ou SWE-bench por terceiros que reproduza o 73,46, um perfil do Artificial Analysis que colocaria ambos os modelos na mesma escala, e qualquer relato de o modelo lidar com uma tarefa de repositório real — exatamente o uso contra o qual a ficha adverte.

Até lá, a leitura defensável é mais estreita do que a manchete. Um modelo de 1,73B com contexto de 256K, pegada de 1 GB e um perfil forte de chamada de ferramentas alcançou um generalista de 12B em um benchmark isolado de programação e fica bem atrás dele em conhecimento. Isso não é uma zebra. São dois modelos criados para trabalhos diferentes, e a pergunta útil é qual trabalho você tem.