ARTEMIS vs Qwen3.8: lo stesso benchmark, due lavori diversi

ARTEMIS di Google e Qwen3.8-Flash sono entrambi misurati su AndroidWorld, e questa coincidenza è il singolo fatto più fuorviante nella copertura del lancio di entrambi i progetti. ARTEMIS è un harness di automazione per Android — reso open source da Google in agosto 2026 con licenza Apache 2.0, prende un'istruzione in linguaggio naturale, pilota un vero smartphone tramite ADB e dichiara un tasso di completamento superiore al 99% sul benchmark AndroidWorld di Google Research con 116 attività, mostrando il 99,1% sulla classifica pubblica all'11 settembre 2026. Qwen3.8-Flash è il modello multimodale mixture-of-experts di Alibaba, rilasciato e reso open source il 26 agosto 2026, il cui materiale di lancio sostiene che supera Claude Opus 4.6 di 22,5 punti su AndroidWorld. Uno di quei numeri è il punteggio di un sistema. L'altro è il contributo di un modello a un sistema scritto da qualcun altro. Leggili come rivali e concluderai la cosa sbagliata su entrambi; leggili come due metà di un unico stack e la domanda interessante — quanto costa davvero una lunga esecuzione su Android — ha finalmente una risposta.

Cos'è Qwen3.8, per ciascuna dimensione

"Qwen3.8" è una famiglia, non un checkpoint, e il membro che conta qui non è l'ammiraglia.

• Qwen3.8-Max — la fascia di punta, posizionata in competizione con i modelli hosted di frontiera.

• Qwen3.8-27B — il fratello denso aperto di medie dimensioni.

• Qwen3.8-Flash — un MoE multimodale su una nuova architettura "Next": 125B parametri transformer con solo 6B attivati per token, Qwen Sparse Attention fusa con GDN in uno schema di attenzione ibrido per velocizzare i contesti lunghi quando si verifica un cache hit, un Gated Residual che suddivide il canale informativo in quattro vie, e 51B parametri di embedding N-gram. Alibaba descrive l'architettura Next come il prototipo per la Qwen4 di prossima generazione.

• Contesto — nativamente ampio, con la maggior parte delle schede a 1M token e alcune fonti che descrivono 262K nativi estesi a 1M. L'output massimo è di circa 131K.

• Prezzo — la tariffa API pubblicata è di ¥1 per milione di token in input e ¥3 per milione in output, che nel nostro catalogo corrisponde a 0,15 $ / 0,47 $, con le letture dalla cache a 0,018 $ e le scritture nella cache a 0,230 $. Secondo la stessa Alibaba, è un prezzo per gli hit della cache fino a ¥0,1 per milione a rendere sostenibili i flussi di lavoro degli agenti con input lunghi, e i numeri lo confermano: una lettura dalla cache costa circa un dodicesimo di un token di input fresco.

• La questione dei pesi aperti — i pesi di Flash sono stati pubblicati su Hugging Face e ModelScope il giorno del rilascio. Da notare come viene conteggiata la famiglia: Alibaba afferma che la serie Qwen3.8 ha reso open source tre dimensioni — Max, 27B e Flash — per un totale di 2.4T parametri, una cifra cumulativa dell'intera serie e non il numero di parametri di un singolo modello.

Le affermazioni sui benchmark sono ampie e, secondo il materiale di lancio di Alibaba stesso, tutti delta anziché valori assoluti: SWE-bench Pro +9,1 rispetto a Opus 4.6, JobBench circa +20, MathVision +25,1, ERQA +31,5, AndroidWorld +22,5. I delta rispetto a una configurazione non nominata di un modello concorrente non sono la stessa categoria di prova di una voce in una classifica, e nessuno di questi è stato riprodotto in modo indipendente. La tesi di punta dell'azienda — una ridefinizione della "kill line" dei costi del settore dal prezzo per token al costo totale per attività completata — è l'affermazione che conta davvero per questo confronto, ed è anche quella che puoi verificare da te.

Che cosa apporta ARTEMIS, e perché i due numeri non sono comparabili

ARTEMIS non contiene alcun modello. Il suo badge riporta "Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL" e la sua configurazione risiede in code>config/artemis.jsonc/code>. Ciò che porta è la parte che trasforma l'ipotesi di un modello in un'azione verificata: un localizzatore dynamic-first che legge l'albero di accessibilità quando può e ripiega su visione e coordinate quando una superficie Compose o Flutter non gli offre nulla, una Safety Net che elimina i popup di sistema interferenti prima che il tap vada a segno, una verifica dei checkpoint su quattro livelli da code>off/code> a code>strict/code>, e un registro di sessione che comprime le vecchie schermate in riepiloghi visivi affinché un contesto di cento passaggi resti sostenibile.

Include anche un server MCP nativo. code>uv run artemis mcp --install all/code> espone code>mobile_run_task/code>, code>mobile_manage_task/code>, code>mobile_get_device_state/code>, code>mobile_inspect_trace/code> e code>mobile_diagnose/code> ad Antigravity, Claude Code, Codex e qualsiasi altra cosa che parli MCP — che è ciò che ha fatto viaggiare il progetto così velocemente, e che è l'affermazione più chiara di ciò a cui serve. ARTEMIS è uno strumento che un agente chiama. Lo è anche un modello, ed è per questo che metterli nella stessa colonna è un errore di categoria.

L'unica cosa a cui fare attenzione quando si legge il 99,1% di ARTEMIS: la classifica di AndroidWorld dichiara esplicitamente di non verificare in modo indipendente le submission. Ogni dato che vi compare, incluso quello di ARTEMIS, è autodichiarato dal team che lo ha prodotto. Lo stesso avvertimento vale a maggior ragione per un delta citato in un post di lancio.

Leggere "vs" in due modi

Ci sono due letture oneste di questa sfida e puntano in direzioni opposte.

Come rivali, il confronto in realtà è: "dovrei usare un modello hosted più un harness, o dovrei usare un modello abbastanza bravo nelle attività su mobile da poter scrivere io stesso l'harness?" In quest'ottica ARTEMIS vince di default, perché un modello non è un harness — e il delta di +22,5 punti su AndroidWorld non ti dice se Qwen3.8-Flash può sopravvivere al passo 74 di un'esecuzione di cento passi quando un popup di sistema si mangia il suo tap. Nulla in una tabella di benchmark misura la Safety Net.

Come stack, il confronto è quello utile: ARTEMIS è il ciclo di controllo, Qwen3.8-Flash è un motore plausibile per esso, e la questione diventa quella del costo e dell'affidabilità alla lunga. L'intero discorso di Alibaba a favore del tier Flash — ossia che il numero importante è il costo totale per attività completata anziché il prezzo per token — è esattamente la metrica su cui viene valutata una suite di automazione per Android, ed è una metrica che puoi misurare sul tuo set di test in un giorno.

Il dettaglio scomodo che si frappone: Qwen3.8-Flash non è nell'elenco dei backend testati di ARTEMIS, che comprende Gemini, Claude, GPT-4o e Qwen-VL. Qwen-VL è un modello diverso. L'harness accetta un endpoint di modello e l'abbinamento è tecnicamente plausibile, ma nessuno ha pubblicato una valutazione al riguardo, e se lo esegui stai facendo un lavoro originale invece di seguire la documentazione.

L'aritmetica che lo decide

Ecco il calcolo che vale la pena fare prima che l'uno o l'altro post di lancio ti convinca di qualcosa. È un modello con assunzioni dichiarate, non una misurazione, e dovresti sostituire i tuoi numeri — ma il punto è la sua forma.

Prendi una Pro run da 100 passaggi. Pro funziona a circa 15–40 secondi per passaggio, quindi il tempo reale è compreso tra 25 minuti e un'ora, e ogni passaggio invia uno screenshot più un prompt che cresce. Ipotizza 8.000 token di prompt e 300 token di output per passaggio — un budget conservativo per screenshot e istruzioni, ben al di sotto di quanto costa un frame grezzo a piena risoluzione. Sono 800.000 token di input e 30.000 token di output per un singolo test.

• Ai prezzi di Qwen3.8-Flash di $0,15 / $0,47, quella esecuzione costa circa $0,12 in input e $0,014 in output — all'incirca tredici centesimi.

• A una tariffa ospitata frontier di poche unità per milione di input e intorno ai quindici per milione di output, la stessa esecuzione si attesta sull'ordine dei dollari, non dei centesimi. Le due tariffe qui sono volutamente lasciate nel vago, perché la cifra esatta dipende da quale modello frontier si sceglie e ciò che conta è il rapporto: è un ordine di grandezza, in ogni test, in ogni esecuzione.

• E poiché ARTEMIS rilegge a ogni passo un contesto sempre più ampio, il rapporto migliora ulteriormente per qualunque modello abbia la lettura della cache meno costosa. La lettura della cache di Qwen3.8-Flash costa 0,018 $ per milione contro 0,15 $ di input fresco — un dodicesimo del prezzo, ed è il motivo per cui Alibaba continua a insistere sui tassi di cache hit quando parla di carichi di lavoro degli agenti.

Ora moltiplica per la tua suite. Una regressione di 500 test eseguita ogni notte equivale a 400 milioni di token di input a notte, e la differenza tra tredici centesimi e tre dollari per test è la differenza tra un harness che puoi permetterti di eseguire in modo continuo e uno che pianifichi su base settimanale.

Eseguirlo, e dove conta l'infrastruttura

Se vuoi verificare quell'aritmetica sulla tua app, la strada onesta è puntare ARTEMIS su un endpoint del modello e misurare. Qwen3.8-Flash è nel nostro catalogo ai prezzi pubblicati di $0.15 / $0.47 con letture dalla cache a $0.018 e scritture in cache a $0.230, sulla stessa chiave e sulla stessa fattura degli altri modelli Qwen3.8 e di tutto il resto che instradiamo — ed è proprio questo che conta quando il flusso di lavoro di cui stai calcolando il costo è un harness che effettua un centinaio di chiamate per test anziché una persona che ne fa una. La pagina del modello riporta anche i numeri operativi che ti servono prima di affidargli una suite: un contesto da 1M di token con un output massimo di 131K, un tempo p50 al primo token di 7.12 secondi e un p95 di 10.00, e circa 2.3 miliardi di token di traffico transitati negli ultimi sette giorni. Quest'ultimo dato è nostro e non di un fornitore, ed è un proxy ragionevole per capire se altre persone stanno già eseguendo workload di agenti di lunga durata su questo endpoint.

Il dettaglio infrastrutturale che a questa scala smette di essere teorico è ciò che accade allo step 74. Un'esecuzione Pro mantiene il proprio contesto su un unico endpoint per buona parte di un'ora; un incidente del provider nel bel mezzo di quella finestra non degrada l'esecuzione: la termina, e tu paghi per i 73 step che non hanno prodotto alcun risultato. Instradare una lunga sessione di agente attraverso uno strato che esegue il failover verso un altro provider dello stesso modello è la differenza tra una suite instabile e una suite interrotta. Questa è una proprietà ingegneristica banale, ed è quella che decide se il tuo costo misurato per task completato sopravvive al contatto con una settimana di esecuzioni reali.

A cosa serve ciascuno in realtà

Se hai un'app Android e una suite di test, vuoi ARTEMIS, e Qwen3.8-Flash è un motore candidato per ARTEMIS più che un'alternativa ad ARTEMIS — non documentato, che merita un esperimento di un pomeriggio, con un prezzo tale che l'esperimento non ti costa nulla di misurabile. Se stai scegliendo un modello per un agente mobile che stai scrivendo tu stesso, il delta di +22,5 punti su AndroidWorld è un motivo per prendere in considerazione Qwen3.8-Flash, non un motivo per crederci, perché è un delta dichiarato dal fornitore, senza alcun punteggio assoluto associato e senza riproduzione indipendente.

La cosa su cui entrambi i progetti stanno discutendo in sordina è la stessa, e nessuno dei due la dice chiaramente. Google sostiene che sia l'harness a rendere affidabile un agente mobile, e lo rilascia in open source affinché l'affermazione possa essere verificata. Alibaba sostiene che il costo per attività completata sia l'unico numero che conti, e applica i prezzi di conseguenza. Entrambi probabilmente hanno ragione, ed è per questo che la configurazione interessante non è ARTEMIS o Qwen3.8 — è ARTEMIS su Qwen3.8-Flash, misurata sulla tua app, con la traccia lasciata attiva.

E poiché ARTEMIS rilegge un contesto crescente a ogni passo, il rapporto migliora ulteriormente per qualunque modello abbia la lettura della cache meno costosa.