ARTEMIS vs Gemma 4 12B: un'imbracatura e un cervello non sono lo stesso acquisto

ARTEMIS e Gemma 4 12B di Google non competono, e il modo più veloce per sprecare una settimana è metterli in una tabella di confronto e scegliere un vincitore. ARTEMIS, reso open source da Google in agosto 2026 con licenza Apache 2.0, è un harness di automazione Android: prende una frase, guida un telefono reale tramite ADB e riporta cosa è successo. Gemma 4 12B, rilasciato da Google DeepMind il 3 giugno 2026, è un modello multimodale denso a pesi aperti da 12 miliardi di parametri — un cervello che puoi eseguire su un laptop, non un sistema che può toccare uno schermo. Uno dei due non può vedere, decidere o agire senza che gli sia collegato l'altro tipo di cosa; l'altro non può affatto tenere in mano un dispositivo. Ma vale la pena fare il confronto, perché la domanda che c'è sotto è quella che ogni team mobile si sta ponendo in questo momento: un piccolo modello aperto che possiedi completamente può fare automazione Android, o ti serve un modello frontier ospitato dietro un harness come ARTEMIS? Quella domanda ha una risposta concreta, e non è quella che implica il post di lancio di nessuno dei due fornitori.

Innanzitutto, l'errore di categoria, detto chiaramente

ARTEMIS non contiene alcun modello. Il suo stesso badge recita "Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL", e il file che decide quale usi è code>config/artemis.jsonc/code>. È un ciclo di controllo: un localizzatore accessibility-first, un controllo di sicurezza che elimina i popup prima che il tuo tocco vada a segno, un registro di sessione che comprime le vecchie schermate in riepiloghi visivi, e due profili di esecuzione — Flash a circa 3–5 secondi per passo, Pro a circa 15–40 secondi per passo con un Planner, un Operator e un Checker di sola lettura. Tutto ciò che sa del mondo arriva attraverso un modello linguistico-visivo che non ha scritto.

Gemma 4 12B è l'opposto come tipo di oggetto. È un checkpoint. Non ha alcuna connessione a un dispositivo, nessun ADB, nessun servizio di accessibilità, nessuna nozione che un tap sia qualcosa che può essere eseguito. Dagli uno screenshot e chiedigli cosa fare dopo, e ti risponderà — magari anche bene — ma il rispondere è l'intera estensione della sua agentività. Tutto ciò che sta tra "il modello ha detto di toccare a (540, 1180)" e "il telefono ha toccato a (540, 1180)" è compito di ARTEMIS, ed è la maggior parte del lavoro.

Quindi l'inquadramento onesto di questo confronto non è ARTEMIS contro Gemma. È: che cosa ti offre un modello aperto da 12B come livello di ragionamento di un agente Android, e quando hai bisogno di pagare per qualcosa di più grande?

Cosa porta davvero Gemma 4 12B

Per un modello di medie dimensioni è insolitamente ben specificato, e tre delle sue proprietà sono importanti per qualsiasi cosa mobile.

• È realmente multimodale a livello di input. In ingresso entrano testo, immagini, audio e video; in uscita esce testo. È il primo Gemma di medie dimensioni senza encoder multimodali separati, e il primo della famiglia ad acquisire audio in modo nativo — che non è una funzionalità di automazione dell'interfaccia utente, ma è una funzionalità reale se i tuoi scenari di test coinvolgono note vocali, notifiche che parlano o percorsi di accessibilità basati su segnali audio.

• È un 12B che puoi tenere in mano. Artificial Analysis lo elenca a 12B parametri totali sotto Apache 2.0 — nessun vincolo sui ricavi, nessuna clausola di ricerca, una licenza su cui puoi costruire un prodotto senza chiedere nulla a nessuno — con una finestra di contesto da 256K, reasoning abilitato e una velocità di output misurata di 109,2 token al secondo. Le segnalazioni della community collocano i pesi a circa 13,4 GB a SFP8 e circa 6,7 GB a Q4_0, ossia un laptop con 16 GB di memoria.

• È economico, ma non è il più economico della sua categoria.Artificial Analysis lo indica a 0,10 $ per milione di token in input e 0,30 $ per milione in output — e segnala nello stesso pannello che questo è piuttosto caro per un modello open-weights di dimensioni simili, dove la mediana si colloca a 0,05 $ in input e 0,15 $ in output. Le letture dalla cache si aggirano intorno a 0,03 $.

Il quadro dei benchmark è il solito guazzabuglio delle dimensioni medie e merita di essere esposto con cautela, perché i numeri sui siti di monitoraggio non concordano tra loro. Artificial Analysis assegna alla configurazione di ragionamento un Intelligence Index di 14, classificandola al 21º posto tra i 142 modelli open-weights della sua classe — una posizione rispettabile di metà classifica e molto lontana dalla frontiera. Secondo il posizionamento di Google, il 12B è quasi alla pari con il più grande Gemma 4 26B-A4B e batte il Gemma 3 27B della generazione precedente in compiti di ragionamento, scienza e documenti. Gli aggregatori di terze parti lo collocano a circa il 72% su LiveCodeBench v6 e al 77,2% su MMLU-Pro, con GPQA Diamond che varia dal 66% al 79% a seconda del tracker e della configurazione che si consulta. Sono numeri rispettabili per un 12B. Sono anche aggregati non verificati e autodichiarati, e quando quattro siti divergono di tredici punti conviene attenersi all'intervallo anziché al valore puntuale.

Che cosa apporta ARTEMIS, in un paragrafo, dato che non è l'argomento qui

ARTEMIS porta tutto ciò che il modello non può: un locator dynamic-first che usa gli indici degli elementi di accessibilità quando esistono e ricade su visione e coordinate quando non esistono, il che significa nessun XPath da mantenere e nessun ID che diventi obsoleto su una superficie Compose o Flutter. Porta una Safety Net che intercetta il popup di sistema su cui il tuo tap stava per atterrare, la verifica dei checkpoint con quattro livelli da code>off/code> a code>strict/code>, stack di crash automatici, screenshot keyframe e report diagnostici, una console web, un SDK Python per pytest e CI, e — il motivo per cui si è diffuso così in fretta — un server MCP nativo che espone tutto quanto ad Antigravity, Claude Code, Codex e a qualsiasi altro assistente compatibile con MCP come cinque tool. Il suo tasso di completamento dichiarato del 99%+ sul benchmark AndroidWorld di Google Research lo colloca al 99,1% nella classifica pubblica all'11 settembre 2026, contro l'80% delle prestazioni umane. Quel dato è auto-dichiarato e la classifica non verifica le submission, quindi trattalo come una forte affermazione del fornitore più che come un audit.

L'unico punto in cui i due si sovrappongono davvero

Esiste un'architettura reale in cui una piccola Gemma svolge l'intero lavoro, e vale la pena esaminarla perché mostra per cosa sta effettivamente pagando il modello cloud. Un framework agentico open-source per Android chiamato Orion funziona interamente on-device: MediaProjection cattura lo schermo, una Gemma-4-E4B-it quantizzata in esecuzione sulla NPU Qualcomm Hexagon tramite LiteRT-LM sceglie l'azione successiva, e il Servizio Accessibilità di Android invia i tocchi. Nessuna API cloud, nessuna fattura per token, e lo schermo non lascia mai il dispositivo. È validato su un Galaxy S25 Ultra e, secondo la sua stessa descrizione, ha senso solo su hardware dotato di NPU Hexagon — il modello richiede circa 3 GB di spazio di archiviazione e il framework è pensato per QNN HTP v79 su arm64.

Questa è la forma di un agente Android basato su un modello piccolo che funziona oggi, e nota quanto costa arrivarci. Il modello è quantizzato e mappato su NPU. Lo spazio delle azioni è composto da pixel, perché un modello basato solo su screenshot non può interpretare "indice dell'elemento 12". L'intero design è uno stack verticale — modello, runtime, silicio, framework — motivo per cui è un framework e non un drop-in per la tua suite di test. Gemma 4 12B ha all'incirca tre volte il numero di parametri dell'E4B in quello stack e non viene distribuito in un formato eseguibile su telefono; un 12B con quantizzazione a quattro bit è una workstation o un endpoint servito, non un residente su NPU.

Dove ciascuno vince davvero

• Costo su larga scala — un Gemma 4 12B self-hosted non ha alcun costo per token, rispetto a una chiamata di visione per ogni step di un'esecuzione ARTEMIS. Su una suite di regressione di 500 test eseguita ogni notte, quella differenza si accumula più in fretta di qualsiasi divario nei benchmark.

• Privacy — Gemma 4 12B sul tuo hardware non invia mai uno screenshot da nessuna parte; l'helper di accessibilità di ARTEMIS è esplicitamente on-device e non invia nulla, ma la chiamata al modello che effettua con ogni screenshot va al provider che hai configurato.

• Affidabilità delle attività su un'app reale — ARTEMIS, con un margine ampio, perché è un harness con una rete di sicurezza, verifica dei checkpoint e ripristino. Nessun modello migliore può sostituire questo.

• Audio e documenti lunghi — Gemma 4 12B, con input audio nativo sulla scheda tecnica e una finestra di contesto di 256K token. ARTEMIS non ha un'opinione su nessuno dei due.

• Tempo al primo test superato — ARTEMIS, con un margine enorme. Clona, code>./start.sh/code>, collega un dispositivo con debug USB, attendi che la prima attività installi l'helper di accessibilità. Costruire l'equivalente con un checkpoint grezzo è un progetto di più mesi, e l'esempio Orion sopra è ciò che quel progetto diventa una volta completato.

• Libertà di modificare il livello di ragionamento — Gemma 4 12B, ovvero pesi Apache 2.0 che puoi fine-tunare sul vocabolario della tua UI. ARTEMIS è codice Apache 2.0, ma il ragionamento è dove vive il tuo modello.

Le versioni di questo abbinamento che sono effettivamente disponibili oggi

Sii chiaro su ciò che puoi mettere in produzione questa settimana. La lista dei backend testati di ARTEMIS comprende Gemini, Claude, GPT-4o e Qwen-VL — Gemma 4 12B non compare, e non esiste alcuna valutazione pubblicata di Gemma 4 12B che conduca una sessione ARTEMIS. Il file di configurazione accetta un endpoint di modello, quindi l'abbinamento è plausibile ma non provato, e se lo provi stai facendo un lavoro originale anziché seguire la documentazione. Vale la pena dirlo chiaramente: la roadmap di ARTEMIS prevede una voce "VLM leggeri on-device", e il modello che la coprirà non sarà un 12B.

Anche Gemma 4 12B non è nel nostro catalogo — instradiamo le altre dimensioni di Gemma 4, Gemma 4 26B-A4B e Gemma 4 31B, e non la 12B, quindi se è quello il checkpoint che vuoi, lo stai prendendo dalla distribuzione del fornitore stesso e dai soliti host di terze parti. A cosa serve un catalogo instradato è l'altra metà di questo problema: se il tuo piano è ARTEMIS su un modello visivo ospitato, quel modello è una voce di costo che scala con ogni passo di ogni esecuzione, e la leva utile non è il prezzo di listino ma il prezzo della cache. Un'esecuzione Pro rilegge un contesto che cresce a ogni passo, quindi un modello con una lettura della cache economica cambia l'aritmetica molto più di un modello con un input fresco economico. È anche per questo che il failover tra provider appartiene alla configurazione e non al tuo registro degli incidenti — una lunga sessione Android mantiene il suo contesto su un solo endpoint, e un intoppo del provider al passo 74 ti costa l'esecuzione.

Qual è la tua prossima mossa?

Se hai un'app mobile e una suite di regressione, vuoi ARTEMIS, e Gemma 4 12B non è un sostituto per nessuna delle sue parti — è al massimo il motore che potresti inserire in seguito, non documentato, nel tuo tempo libero. Se stai costruendo un prodotto che deve girare su un dispositivo portatile senza rete e senza alcun costo per chiamata, vuoi un modello piccolo, e Gemma 4 12B è probabilmente troppo grande per il fattore di forma che hai effettivamente; guarda cosa ha fatto Orion con un Gemma di classe 4B su una NPU prima di presumere che un 12B possa entrare.

Le due decisioni entrano in collisione in un solo punto, e si tratta di una questione di costi più che di capacità: quante chiamate di visione al giorno sei disposto a comprare? Rispondi onestamente — conta i tuoi test, conta i tuoi passaggi, conta le tue esecuzioni notturne — e la scelta tra un harness su un modello hosted e uno stack self-hosted si fa da sé.

L'utilità di un catalogo instradato è l'altra metà di questo problema: se il tuo piano prevede ARTEMIS su un modello di visione ospitato, quel modello è una voce di costo che cresce con ogni passo di ogni esecuzione