ARTEMIS vs Gemma 4 12B: um arnês e um cérebro não são a mesma compra

O ARTEMIS e o Gemma 4 12B do Google não competem, e a maneira mais rápida de desperdiçar uma semana é colocá-los numa tabela comparativa e escolher um vencedor. O ARTEMIS, cujo código foi aberto pelo Google em agosto de 2026 sob a licença Apache 2.0, é uma estrutura de automação para Android: ele recebe uma frase, controla um telefone real via ADB e relata o que aconteceu. O Gemma 4 12B, lançado pelo Google DeepMind em 3 de junho de 2026, é um modelo multimodal denso de 12 bilhões de parâmetros com pesos abertos — um cérebro que você consegue executar num notebook, não um sistema capaz de tocar numa tela. Um deles não consegue ver, decidir ou agir sem que o outro tipo de componente esteja acoplado; o outro não consegue segurar um dispositivo de forma alguma. Mas vale a pena fazer a comparação, porque a questão por trás dela é a que toda equipe de dispositivos móveis está se perguntando atualmente: um modelo aberto pequeno que é totalmente seu consegue fazer automação no Android, ou você precisa de um modelo de fronteira hospedado por trás de uma estrutura como o ARTEMIS? Essa pergunta tem uma resposta real, e ela não é a que o post de lançamento de nenhum dos dois fornecedores sugere.

Primeiro, o erro de categoria, dito de forma clara

O ARTEMIS não contém nenhum modelo. Seu próprio selo diz "Multi-Modelo — Gemini | Claude | GPT-4o | Qwen-VL", e o arquivo que decide qual deles você usa é code>config/artemis.jsonc/code>. É um loop de controle: um localizador que prioriza acessibilidade, uma verificação de segurança que limpa popups antes que seu toque seja registrado, um registro de sessão que comprime capturas de tela antigas em resumos visuais, e dois perfis de execução — Flash a cerca de 3–5 segundos por passo, Pro a cerca de 15–40 segundos por passo, com um Planejador, um Operador e um Verificador somente leitura. Tudo o que ele sabe sobre o mundo chega por meio de um modelo de visão e linguagem que ele não escreveu.

Gemma 4 12B é o tipo oposto de objeto. É um checkpoint. Não tem conexão com dispositivo, nem ADB, nem serviço de acessibilidade, nem noção de que um toque seja algo que possa ser executado. Dê a ele uma captura de tela e pergunte o que fazer em seguida, e ele responderá — possivelmente bem —, mas o ato de responder é toda a extensão de sua agência. Tudo entre "o modelo disse para tocar em (540, 1180)" e "o telefone executou o toque em (540, 1180)" é trabalho de ARTEMIS, e é a maior parte do trabalho.

Então, o enquadramento honesto desta disputa não é ARTEMIS contra Gemma. É: o que um modelo aberto de 12B oferece a você como camada de raciocínio de um agente Android, e quando você precisa pagar por algo maior?

O que o Gemma 4 12B realmente traz

Para um modelo de porte médio, ele é excepcionalmente bem especificado, e três de suas propriedades importam para qualquer coisa relacionada a mobile.

• É genuinamente multimodal na camada de entrada. Texto, imagem, áudio e vídeo entram; texto sai. É o primeiro Gemma de porte médio sem codificadores multimodais separados e o primeiro da família a ingerir áudio nativamente — o que não é um recurso de automação de UI, mas é um recurso real se os seus cenários de teste envolverem notas de voz, notificações que falam ou caminhos de acessibilidade baseados em sinais de áudio.

• É um 12B que você consegue segurar. A Artificial Analysis o lista com 12B de parâmetros totais sob Apache 2.0 — sem barreira de receita, sem cláusula de pesquisa, uma licença sobre a qual você pode construir um produto sem pedir permissão a ninguém — com janela de contexto de 256K, raciocínio habilitado e velocidade de saída medida de 109,2 tokens por segundo. Relatos da comunidade colocam os pesos em cerca de 13,4 GB em SFP8 e aproximadamente 6,7 GB em Q4_0, o que é um laptop com 16 GB de memória.

• É barato, mas não é a opção mais barata da sua categoria.A Artificial Analysis lista-o a $0,10 por milhão de tokens de entrada e $0,30 por milhão de saída — e assinala no mesmo painel que isto está do lado caro para um modelo de pesos abertos de tamanho semelhante, onde a mediana se situa em $0,05 na entrada e $0,15 na saída. As leituras de cache ficam perto de $0,03.

O panorama dos benchmarks é a confusão habitual dos modelos de porte médio e merece ser apresentado com cuidado, porque os números nos sites de monitoramento discordam entre si. A Artificial Analysis pontua a configuração de raciocínio com um Índice de Inteligência de 14, colocando-a em 21º lugar entre os 142 modelos de pesos abertos de sua classe — o que é uma posição intermediária respeitável na tabela e muito longe da fronteira. O posicionamento da própria Google é que o 12B quase iguala o maior Gemma 4 26B-A4B e supera o Gemma 3 27B da geração anterior em tarefas de raciocínio, ciência e documentos. Agregadores de terceiros o situam em cerca de 72% no LiveCodeBench v6 e 77,2% no MMLU-Pro, com o GPQA Diamond variando de 66% a 79%, dependendo de qual rastreador e de qual configuração você consulta. Esses são números respeitáveis para um 12B. Eles também são agregados não auditados e autodeclarados e, quando quatro sites divergem em treze pontos, você deve ficar com o intervalo, e não com o ponto.

O que o ARTEMIS traz, em um parágrafo, porque não é o assunto aqui.

ARTEMIS traz tudo o que o modelo não consegue: um localizador dynamic-first que usa índices de elementos de acessibilidade quando eles existem e recorre a visão e coordenadas quando não existem, o que significa que não há XPath para manter nem IDs que fiquem obsoletos em uma superfície Compose ou Flutter. Ele traz uma Safety Net que intercepta o popup do sistema que seu toque estava prestes a atingir, verificação de checkpoint com quatro níveis, de code>off/code> a code>strict/code>, pilhas de crash automáticas, capturas de tela de keyframe e relatórios de diagnóstico, um console web, um SDK Python para pytest e CI, e — o motivo de ele ter se espalhado tão rápido — um servidor MCP nativo que expõe tudo isso ao Antigravity, Claude Code, Codex e qualquer outro assistente compatível com MCP como cinco ferramentas. Sua taxa de conclusão alegada de 99%+ no benchmark AndroidWorld do Google Research o coloca em 99,1% no leaderboard público em 11 de setembro de 2026, contra 80% de desempenho humano. Esse número é autorrelatado e o leaderboard não verifica as submissões, então trate-o como uma forte alegação do fornecedor, e não como uma auditoria.

O único ponto em que os dois realmente se sobrepõem

Existe uma arquitetura real na qual uma Gemma pequena faz todo o trabalho, e vale a pena analisá-la porque mostra pelo que o modelo na nuvem está realmente pagando. Um framework de agente Android de código aberto chamado Orion roda inteiramente no dispositivo: o MediaProjection captura a tela, uma Gemma-4-E4B-it quantizada rodando na NPU Hexagon da Qualcomm via LiteRT-LM escolhe a próxima ação, e o Android Accessibility Service dispara os toques. Nenhuma API de nuvem, nenhuma cobrança por token, e a tela nunca sai do aparelho. Ele é validado em um Galaxy S25 Ultra e, segundo sua própria descrição, só faz sentido em hardware com uma NPU Hexagon — o modelo precisa de cerca de 3 GB de armazenamento e o framework tem como alvo o QNN HTP v79 em arm64.

Esse é o formato de um agente Android de modelo pequeno que funciona hoje, e observe o que custa chegar até lá. O modelo é quantizado e mapeado para NPU. O espaço de ação é composto por pixels, porque um modelo baseado apenas em capturas de tela não consegue interpretar "índice do elemento 12". Todo o design é uma pilha vertical — modelo, runtime, silício, framework — e é por isso que ele é um framework, e não um substituto direto para a sua suíte de testes. O Gemma 4 12B tem aproximadamente três vezes o número de parâmetros do E4B nessa pilha e não é distribuído em um formato executável em celular; um 12B com quantização de quatro bits é uma estação de trabalho ou um endpoint servido, e não algo que reside na NPU.

Onde cada um realmente vence

• Custo em escala — um Gemma 4 12B auto-hospedado não tem preço por token algum, em comparação com uma chamada de visão por etapa para cada etapa de uma execução do ARTEMIS. Em uma suíte de regressão de 500 testes executada todas as noites, essa diferença se acumula mais rápido do que qualquer lacuna de benchmark.

• Privacidade — O Gemma 4 12B no seu próprio hardware nunca envia uma captura de tela para lugar nenhum; o assistente de acessibilidade do ARTEMIS é explicitamente executado no dispositivo e não envia nada, mas a chamada ao modelo que ele faz a cada captura de tela vai para o provedor que você configurou.

• Confiabilidade de tarefas em um app real — ARTEMIS, por uma margem ampla, porque é um harness com rede de segurança, verificação de checkpoints e recuperação. Nada de um modelo melhor substitui isso.

• Áudio e documentos extensos — Gemma 4 12B, com entrada de áudio nativa na ficha de especificações técnicas e uma janela de contexto de 256K tokens. ARTEMIS não tem opinião sobre nenhum dos dois.

• Tempo até o primeiro teste passar — ARTEMIS, por uma margem enorme. Clone, code>./start.sh/code>, conecte um dispositivo com depuração USB, espere a primeira tarefa instalar o auxiliar de acessibilidade. Construir o equivalente com um checkpoint básico é um projeto de vários meses, e o exemplo Orion acima é como esse projeto se parece quando está concluído.

• Liberdade para modificar a camada de raciocínio — Gemma 4 12B, cujos pesos são Apache 2.0 e podem ser ajustados com o vocabulário da sua própria interface. O ARTEMIS é código Apache 2.0, mas o raciocínio fica onde o seu modelo estiver.

As versões deste emparelhamento que estão realmente disponíveis hoje

Deixe claro o que você pode implantar esta semana. A lista de backends testados do ARTEMIS é Gemini, Claude, GPT-4o e Qwen-VL — o Gemma 4 12B não aparece nela, e não há avaliação publicada do Gemma 4 12B conduzindo uma sessão do ARTEMIS. O arquivo de configuração aceita um endpoint de modelo, então o pareamento é plausível, mas não comprovado, e se você tentar, estará fazendo trabalho original em vez de seguir a documentação. Vale dizer claramente: o roadmap do ARTEMIS tem um item de "VLMs leves no dispositivo", e o modelo que ocupará esse item não será um 12B.

O Gemma 4 12B também não está no nosso catálogo — roteamos os outros tamanhos do Gemma 4, o Gemma 4 26B-A4B e o Gemma 4 31B, e não o 12B, portanto, se é esse o checkpoint que você quer, você o obtém da distribuição própria do fornecedor e dos habituais hosts de terceiros. Um catálogo roteado serve para a outra metade deste problema: se o seu plano é o ARTEMIS num modelo de visão hospedado, esse modelo é um item de linha que escala com cada passo de cada execução, e a alavanca útil não é o preço de tabela, mas o preço do cache. Uma execução Pro relê um contexto crescente a cada passo, então um modelo com leitura de cache barata muda a aritmética muito mais do que um modelo com entrada nova barata. É também por isso que o failover de provedor pertence à configuração e não ao seu registro de incidentes — uma sessão longa do Android mantém o contexto num único endpoint, e um soluço do provedor no passo 74 custa-lhe a execução.

Qual deles é o seu próximo movimento?

Se você tem um aplicativo móvel e uma suíte de regressão, você quer o ARTEMIS, e o Gemma 4 12B não é substituto para nenhuma parte dele — é, na melhor das hipóteses, o mecanismo que você pode trocar depois, sem documentação, no seu tempo livre. Se você está criando um produto que precisa rodar em um aparelho sem rede e sem custo por chamada, você quer um modelo pequeno, e o Gemma 4 12B provavelmente é grande demais para o fator de forma que você realmente tem; veja o que a Orion fez com um Gemma da classe 4B em uma NPU antes de presumir que um 12B caberá.

As duas decisões só colidem num único ponto, e é uma questão de custo, não de capacidade: quantas chamadas de visão por dia você está disposto a comprar? Responda com honestidade — conte seus testes, conte seus passos, conte suas execuções noturnas — e a escolha entre um harness em um modelo hospedado e uma stack auto-hospedada se resolve sozinha.

A finalidade de um catálogo roteado é a outra metade deste problema: se o seu plano é ARTEMIS em um modelo de visão hospedado, esse modelo é um item de linha que escala com cada etapa de cada execução