ARTEMIS vs Qwen3.8: dezelfde benchmark, twee verschillende taken

De ARTEMIS van Google en Qwen3.8 worden beide gemeten op AndroidWorld, en die toevallige overeenkomst is het meest misleidende feit in de lanceringsberichtgeving van beide projecten. ARTEMIS is een Android-automatiseringsharness — in augustus 2026 door Google open-source gemaakt onder Apache 2.0, neemt een instructie in natuurlijke taal, bestuurt een echte telefoon via ADB, en claimt een voltooiingspercentage van meer dan 99% op de AndroidWorld-benchmark van 116 taken van Google Research, met 99,1% op het openbare leaderboard op 11 september 2026. Qwen3.8-Flash is Alibaba's multimodale mixture-of-experts-model, uitgebracht en open-source gemaakt op 26 augustus 2026, waarvan het lanceringsmateriaal claimt dat het Claude Opus 4.6 met 22,5 punten verslaat op AndroidWorld. Een van die getallen is de score van een systeem. Het andere is de bijdrage van een model aan een systeem dat iemand anders heeft geschreven. Lees je ze als rivalen, dan concludeer je het verkeerde over beide; lees je ze als twee helften van één stack, dan heeft de interessante vraag — wat een lange Android-run werkelijk kost — eindelijk een antwoord.

Wat Qwen3.8 is, per grootte

"Qwen3.8" is een familie, geen checkpoint, en het lid dat hier van belang is, is niet het vlaggenschip.

• Qwen3.8-Max — het vlaggenschipniveau, gepositioneerd tegen toonaangevende gehoste modellen.

• Qwen3.8-27B — het open middelgrote dense broertje.

• Qwen3.8-Flash — een multimodale MoE op een nieuwe "Next"-architectuur: 125B transformerparameters waarvan slechts 6B per token wordt geactiveerd, Qwen Sparse Attention gefuseerd met GDN in een hybride attentieschema voor snelheidswinst bij lange contexten wanneer de cache wordt geraakt, een Gated Residual die het informatiekanaal in vier richtingen splitst, en 51B parameters aan N-gram-embeddings. Alibaba beschrijft de Next-architectuur als het prototype voor de volgende generatie Qwen4.

• Context — van nature groot, waarbij de meeste vermeldingen op 1M tokens staan en sommige bronnen 262K native beschrijven, uitgebreid naar 1M. De maximale uitvoer is ongeveer 131K.

• Prijs — het gepubliceerde API-tarief is ¥1 per miljoen inputtokens en ¥3 per miljoen output, wat in onze catalogus neerkomt op $0,15 / $0,47, met cachereads voor $0,018 en cachewrites voor $0,230. Alibaba's eigen framing is dat cache-hit-prijzen vanaf ¥0,1 per miljoen zijn wat lang-input-agentworkflows levensvatbaar maakt, en de cijfers ondersteunen dat: een cacheread kost ongeveer een twaalfde van een vers inputtoken.

• De open-weightsvraag — de Flash-gewichten werden op de releasedag gepubliceerd op Hugging Face en ModelScope. Let op hoe de familie wordt geteld: Alibaba zegt dat de Qwen3.8-serie drie formaten open source heeft gemaakt — Max, 27B en Flash — voor in totaal 2,4T parameters, wat een cumulatief cijfer over de serie is en niet het parameteraantal van één bepaald model.

De benchmarkclaims zijn breed en, volgens Alibaba's eigen lanceermateriaal, allemaal delta's in plaats van absolute waarden: SWE-bench Pro +9,1 ten opzichte van Opus 4.6, JobBench rond +20, MathVision +25,1, ERQA +31,5, AndroidWorld +22,5. Delta's ten opzichte van een niet nader genoemde configuratie van een concurrerend model zijn niet dezelfde categorie bewijs als een leaderboardvermelding, en geen enkele hiervan is onafhankelijk gereproduceerd. De headline-framing van het bedrijf — een herdefinitie van de 'kill line' voor kosten in de sector, van prijs per token naar totale kosten per voltooide taak — is de claim die er voor deze vergelijking echt toe doet, en het is ook degene die je zelf kunt testen.

Wat ARTEMIS bijdraagt, en waarom de twee getallen niet vergelijkbaar zijn

ARTEMIS bevat geen model. Op het badge staat "Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL" en de configuratie staat in code>config/artemis.jsonc/code>. Wat het toevoegt is juist dat deel dat de gok van een model omzet in een geverifieerde actie: een dynamic-first locator die de accessibility tree leest wanneer dat kan en terugvalt op vision en coördinaten wanneer een Compose- of Flutter-oppervlak niets biedt, een Safety Net dat storende systeempop-ups opruimt voordat de tap landt, checkpoint-verificatie op vier niveaus van code>off/code> tot code>strict/code>, en een session ledger die oude screenshots comprimeert tot visuele samenvattingen zodat een context van honderd stappen betaalbaar blijft.

Het wordt ook geleverd met een native MCP-server. code>uv run artemis mcp --install all/code> biedt code>mobile_run_task/code>, code>mobile_manage_task/code>, code>mobile_get_device_state/code>, code>mobile_inspect_trace/code> en code>mobile_diagnose/code> aan Antigravity, Claude Code, Codex en al het andere dat MCP spreekt — wat ervoor zorgde dat het project zich zo snel verspreidde, en wat de zuiverste formulering is van waar het voor dient. ARTEMIS is een tool die een agent aanroept. Dat geldt ook voor een model, en daarom is het een categoriefout om ze in dezelfde kolom te plaatsen.

Het enige waar je op moet letten bij het lezen van het 99,1%-cijfer van ARTEMIS: de ranglijst van AndroidWorld verifieert inzendingen expliciet niet onafhankelijk. Elk cijfer erop, inclusief dat van ARTEMIS, is zelfgerapporteerd door het team dat het heeft geproduceerd. Dezelfde waarschuwing geldt in nog sterkere mate voor een delta die in een lanceringsbericht wordt genoemd.

"vs" op twee manieren lezen

Er zijn twee eerlijke lezingen van deze matchup, en ze wijzen in tegengestelde richtingen.

Als rivalen, is de vergelijking eigenlijk: "moet ik een gehost model plus een harnas gebruiken, of moet ik een model gebruiken dat goed genoeg is voor mobiele taken dat ik het harnas zelf kan schrijven?" Zo bekeken wint ARTEMIS automatisch, omdat een model geen harnas is — en het verschil van +22,5 punten op AndroidWorld vertelt je niet of Qwen3.8-Flash stap 74 van een run van honderd stappen kan overleven wanneer een systeempop-up zijn tik opeet. Niets in een benchmarktabel meet het Vangnet.

Als stack is de vergelijking de nuttige: ARTEMIS is de regelkring, Qwen3.8-Flash is een plausibele engine ervoor, en de vraag wordt er een van kosten en betrouwbaarheid bij langdurige inzet. Alibaba's hele pitch voor de Flash-tier — dat het belangrijkste getal de totale kosten per voltooide taak zijn in plaats van de prijs per token — is precies de metriek waarop een Android-automatiseringssuite wordt beoordeeld, en het is een metriek die je binnen een dag op je eigen testset kunt meten.

Het lastige detail dat in de weg staat: Qwen3.8-Flash staat niet op de lijst met geteste backends van ARTEMIS, die Gemini, Claude, GPT-4o en Qwen-VL vermeldt. Qwen-VL is een ander model. De harness accepteert een model-endpoint en de combinatie is technisch gezien plausibel, maar niemand heeft er een evaluatie van gepubliceerd, en als je het uitvoert, doe je origineel werk in plaats van documentatie te volgen.

Het rekenwerk dat het beslist

Hier is de berekening die de moeite waard is om te maken voordat een van beide lanceringsposts je ergens van overtuigt. Het is een model met vermelde aannames, geen meting, en je moet je eigen cijfers invullen — maar de vorm ervan is waar het om gaat.

Neem een Pro-run van 100 stappen. Pro werkt met ongeveer 15–40 seconden per stap, dus de kloktijd ligt ergens tussen 25 minuten en een uur, en elke stap verstuurt een screenshot plus een groeiende prompt. Ga uit van 8.000 prompttokens en 300 outputtokens per stap — een conservatief budget voor screenshot en instructies, ruim onder wat een onbewerkt frame op volledige resolutie kost. Dat is 800.000 inputtokens en 30.000 outputtokens voor één test.

• Bij Qwen3.8-Flash's $0,15 / $0,47 kost die run ongeveer $0,12 aan input en $0,014 aan output — ongeveer dertien cent.

• Bij een gehost frontier-tarief van enkele eenheden per miljoen input en rond de vijftien per miljoen output, komt dezelfde run uit in dollars, niet in centen. De twee tarieven worden hier bewust vaag gehouden, omdat het exacte cijfer afhangt van welk frontier-model je kiest en de verhouding is wat telt: het is een orde van grootte, bij elke test, elke run.

• En omdat ARTEMIS bij elke stap een groeiende context opnieuw leest, wordt de verhouding nog gunstiger voor welk model dan ook dat de goedkopere cache-read heeft. De cache-read van Qwen3.8-Flash is $0,018 per miljoen tegenover $0,15 voor nieuwe invoer — een twaalfde van de prijs, en de reden dat Alibaba blijft wijzen op cache-hitpercentages wanneer het over agentworkloads praat.

Vermenigvuldig dat nu met je suite. Een regressierun van 500 tests die 's nachts draait is 400 miljoen inputtokens per nacht, en het verschil tussen dertien cent en drie dollar per test is het verschil tussen een testharnas dat je je kunt veroorloven continu te laten draaien en een dat je wekelijks inplant.

Het draaien ervan, en waar de onderliggende techniek ertoe doet

Als je die berekening op je eigen app wilt testen, is de eerlijke route om ARTEMIS op een model-endpoint te richten en te meten. Qwen3.8-Flash staat in onze catalogus tegen de gepubliceerde prijs van $0,15 / $0,47 met cache-reads tegen $0,018 en cache-writes tegen $0,230, op dezelfde sleutel en dezelfde factuur als de andere Qwen3.8-formaten en al het overige dat we routeren — wat het deel is dat ertoe doet wanneer de workflow die je prijst een harness is die honderd aanroepen per test doet in plaats van een persoon die er één doet. De modelpagina bevat ook de operationele cijfers die je wilt voordat je er een suite op richt: een context van 1M tokens met een maximale output van 131K, een p50-tijd tot het eerste token van 7,12 seconden en een p95 van 10,00, en ongeveer 2,3 miljard tokens aan verkeer erdoorheen in de afgelopen zeven dagen. Dat laatste cijfer is van ons, niet van een leverancier, en het is een redelijke proxy voor de vraag of andere mensen al langdurige agent-workloads op dit endpoint draaien.

Het technische detail dat op deze schaal ophoudt theoretisch te zijn, is wat er bij stap 74 gebeurt. Een Pro-run houdt zijn context het grootste deel van een uur op één endpoint; een incident bij een provider halverwege verzwakt de run niet, maar beëindigt hem, en je betaalt voor de 73 stappen die geen resultaat hebben opgeleverd. Een lange agentsessie routeren via een laag die failovert naar een andere provider van hetzelfde model, is het verschil tussen een onbetrouwbare suite en een onderbroken suite. Dat is een alledaagse engineeringeigenschap, en het is degene die bepaalt of je gemeten kosten per voltooide taak bestand zijn tegen een week met echte runs.

Waar elk exemplaar eigenlijk voor is

Als je een Android-app en een testsuite hebt, wil je ARTEMIS, en Qwen3.8-Flash is eerder een kandidaat-engine ervoor dan een alternatief ervoor — een ongedocumenteerde, een middag experimenteren waard, geprijsd zodat het experiment je niets meetbaars kost. Als je een model kiest voor een mobiele agent die je zelf schrijft, is de +22,5-punts AndroidWorld-delta een reden om naar Qwen3.8-Flash te kijken en geen reden om het te geloven, want het is een door de leverancier gerapporteerde delta zonder absolute score en zonder onafhankelijke reproductie.

Het ding waarover beide projecten stilletjes redetwisten, is hetzelfde, en geen van beide zegt het ronduit. Google beweert dat de harness is wat een mobiele agent betrouwbaar maakt, en maakt die open source zodat de bewering kan worden gecontroleerd. Alibaba beweert dat de kosten per voltooide taak het enige getal zijn dat ertoe doet, en prijst dienovereenkomstig. Beide hebben waarschijnlijk gelijk, en daarom is de interessante configuratie niet ARTEMIS of Qwen3.8 — het is ARTEMIS op Qwen3.8-Flash, gemeten op je eigen app, terwijl de trace ingeschakeld blijft.

En omdat ARTEMIS bij elke stap een groeiende context opnieuw leest, verbetert de ratio verder voor welk model dan ook de goedkopere cache-read heeft.