Google's ARTEMIS brengt Android-automatisering als open source uit: wat de 99%-AndroidWorld-bewering daadwerkelijk omvat

De nieuwste commit op google/artemis is geen functie. Het is een naamsvermelding — "fix: complete README and relevant file headers per Apache 2.0 requirements," gepusht op 12 september 2026, drie dagen nadat Minitap een bericht publiceerde met de titel Ik had beter verwacht van Google. Google's ARTEMIS is het onlangs open-source gemaakte Android-automatiseringsagent van het bedrijf: het zet een instructie in gewoon Engels om in echte tikken, swipes, typen en verificatie op een fysiek Android-apparaat of een emulator, legt onderweg de logs en screenshots vast, en rapporteert een voltooiingspercentage van meer dan 99% op de AndroidWorld-benchmark van Google Research. Het werd deze augustus gepubliceerd door Google's Pixel Test Engineering Fusion-team onder Apache 2.0, en het is echt de moeite waard om er een middag aan te besteden. Het is sinds medio september ook het middelpunt van een opensource-attributiestrijd die meer zegt over hoe mobiele agents worden gebouwd dan het benchmarkcijfer. Beide verhalen zijn waar. Slechts één ervan is de reden waarom de laatste commit van de repository een licentiefix was.

Wat er daadwerkelijk is uitgebracht

ARTEMIS is geen model en geen chatbot-wrapper. Het is een besturingsharnas — een Python 3.12+-systeem dat tussen een visie-taalmodel en een echte telefoon staat. Je geeft het een taak in het Engels; het observeert het scherm, besluit een actie, voert die uit via ADB, controleert wat er is gebeurd en gaat door. Vijf dingen zaten in de doos:

• Een CLI en een Python-SDK. code>./start.sh/code> zet ADB, scrcpy, FFmpeg en de uv-omgeving op; code>uv run artemis run "…" --profile flash/code> voert een taak headless uit; de code>artemis-client/code> SDK verpakt dezelfde aanroep voor pytest en CI, en retourneert code>succeeded/code>, code>status/code>, code>device_serial/code> en een code>trace_id/code> die je later kunt achterhalen.

• Een webconsole. code>uv run artemis ui/code> serveert een visuele testconsole op code>localhost:8000/code> waar je de loop stap voor stap kunt volgen.

• Een native MCP-server. Dit is het onderdeel dat ervoor zorgde dat het zich verspreidde. code>uv run artemis mcp --install all/code> maakt code>mobile_run_task/code>, code>mobile_manage_task/code>, code>mobile_get_device_state/code>, code>mobile_inspect_trace/code> en code>mobile_diagnose/code> beschikbaar voor elke assistent die MCP ondersteunt, met eersteklas installatieroutes voor Antigravity, Claude Code en Codex, plus het genereren van configuraties voor Cursor, Windsurf, VS Code en Cline/Roo. Vanuit een assistent die de server verbonden heeft, is "bouw de APK, installeer hem, open instellingen, schakel vliegtuigmodus in, maak een schermafbeelding van het resultaat" geen script meer, maar een zin.

• Een toegankelijkheidshulp. De eerste taak installeert de Artemis Accessibility Helper, die de schermindeling uitleest zonder de UiAutomation-verbinding vast te houden — bewust, zodat andere op UiAutomator gebaseerde tooling op hetzelfde apparaat niet wordt onderdrukt. Deze draait op de telefoon en verstuurt niets van het toestel weg, en valt terug op UIAutomator2 wanneer hij zich niet kan aankoppelen, waarbij die terugval in de taaktijdlijn zichtbaar wordt gemaakt.

• Log- en trace-vastlegging.Crashstacks, keyframe-screenshots en een diagnostisch rapport worden automatisch verzameld in plaats van er door de aanroeper aan te worden geplakt — de reden dat het bruikbaar is als regressiesuite en niet alleen als demo.

Flash en Pro zijn twee verschillende producten die één naam delen

Het allerbelangrijkste om te begrijpen voordat je ARTEMIS tegen wat dan ook benchmarkt, is dat code>--profile flash/code> en code>--profile pro/code> zijn geen snelheidsinstelling op één agent. Het zijn twee agents.

Flash — een reactieve observeer-en-handel-lus van ongeveer 3–5 seconden per stap, geen plan, geen notities, geen veiligheidscontrole vóór uitvoering, geen checkpointverificatie, geen eindrapport en geen ADB-shell. De lus is standaard onbegrensd omdat de geschiedenis wordt gecomprimeerd in plaats van opgebouwd.

• Pro — een multi-agentgraaf met ongeveer 15–40 seconden per stap, opgebouwd uit een Planner die een levend Markdown-plan onderhoudt met expliciete code>verify/code> en code>assert/code>-items, een Operator met de volledige toolset, en een alleen-lezen Checker die checkpoints valideert en een exitreview uitvoert. code>--verification-level/code> accepteert code>off/code>, code>final/code> (de standaard), code>checkpoints/code> of code>strict/code>.

Dat is een vijf- tot tienvoudig latentieverschil voor dezelfde taakomschrijving, en het is het verschil tussen een smoke test en een verkennende run van 100+ stappen. Googles eigen framing is dat Pro bedoeld is voor langdurig werk en continue code>[Loop:continuous]/code> monitoring; Flash is voor routinematige, deterministische UI-klusjes. Als je een review leest die staptimings citeert zonder te vermelden welk profiel ze heeft geproduceerd, vertelt die je niets.

De lokalisatiestrategie is de echte engineering.

De meeste mobiele automatiseringsframeworks bezwijken op selectors. ARTEMIS is dynamic-first gebouwd: als er een accessibility-elementindex bestaat, gebruikt het die; als die er niet is — een Canvas, een Compose-surface, een Flutter-view, een game — valt het terug op coördinaten en vision. Er is geen XPath-laag om te onderhouden en geen ID die verouderd kan raken, wat ertoe doet omdat de applicaties die je het liefst wilt testen juist degenen zijn die wekelijks nieuwe builds uitbrengen.

Het Pro-profiel voegt een Safety Net toe: elke actie ondergaat een controle vóór uitvoering, XML-first met een pixel-fallback, die de systeempopup opvangt die op het punt staat je tik op te slokken. Fouten openen een "execution incident" dat in de context blijft tot een latere succesvolle uitvoering het oplost, in plaats van een aparte reparatie-agent te spawnen. Lange sessies worden gecomprimeerd — oude screenshots worden visuele samenvattingen, voltooide stappen worden opgedeeld in terugroepbare era's die code>search_history/code> en code>replay_steps/code> kunnen terugroepen — en dat is wat voorkomt dat een context van 100 stappen onbetaalbaar wordt.

99,1% op de ranglijst, en het voorbehoud dat de lanceringsposts overslaan

De belangrijkste claim van ARTEMIS is een voltooiingspercentage van meer dan 99% op AndroidWorld, de benchmark van Google Research met 116 realistische taken verdeeld over zo'n 20 apps, gescoord als Pass@1. Op 11 september 2026 vermeldde het AndroidWorld-klassement ARTEMIS op 99,1% tegenover Minitap's mobile-use op 91,4%, met menselijke prestaties op 80%. In de tabel is dat state of the art onder de openbaar gerapporteerde resultaten.

Twee dingen horen naast dat getal. Ten eerste verifieert het AndroidWorld-klassement inzendingen expliciet niet onafhankelijk — elk cijfer erop, inclusief dat van ARTEMIS, is zelfgerapporteerd door het team dat het heeft geproduceerd, en een robuustheidsanalyse heeft aangetoond dat alleen al taakvariaties de score van een agent aanzienlijk kunnen beïnvloeden. Behandel 99,1% als een sterke leveranciersclaim op een openbare, controleerbare benchmark, wat een echt en nuttig iets is, en niet als een geauditeerde meting, wat het niet is. Ten tweede doet de vorm van de vergelijking ertoe: de benchmark is een vaste takenreeks, en naar verluidt liet de gepubliceerde vergelijkingsgrafiek van ARTEMIS mobiel gebruik weg, terwijl er andere vermeldingen in stonden. Een benchmark waarin het sterkste eerdere resultaat ontbreekt in de grafiek is een zwakkere claim dan het ruwe percentage suggereert.

Het geschil, dat deze maand het eigenlijke nieuws is

Op zijn blog en in een publieke issue op de repository beweerde Minitap — een startup voor mobiel testen wier open-sourceproject mobile-use hetzelfde doet voor Android en iOS — dat 228 van ARTEMIS' 229 bestanden identiek waren aan die van Minitap zelf. De details die het publiceerde zijn ongewoon concreet: Android-apparaatverbindingscode die overeenkomt met zijn implementatie, het woord voor woord hergebruiken van instructies van een agent genaamd "Hopper", en een WhatsApp-voorbeeld dat nieuwjaarsberichten naar Alice, Bob en Charlie stuurt, gereproduceerd met dezelfde opmerkingen, dezelfde opschoonstappen en dezelfde bug. Het beweert verder dat een bestand met de namen van drie Minitap-auteurs — Pierre-Louis Favreau, Jean-Pierre Lo en Nicolas Dehandschoewercker — in augustus via force-push werd vervangen, waarbij de namen werden verwijderd en een andere auteur werd ingevoegd.

De licentiekwestie is niet onduidelijk. mobile-use is Apache 2.0, en Apache 2.0 staat precies dit soort hergebruik toe — commercieel, afgeleid, gesloten — mits je de copyrightvermeldingen behoudt en aangeeft wat je hebt gewijzigd. Wat het niet toestaat, is de code verschepen met de vermeldingen verwijderd. Sinds de beschuldigingen opdoken, bevat de repository de regel "This project includes source code developed by Minitap, Inc." en links naar minitap-ai/mobile-use, en de commit van 12 september die die naamsvermelding voltooit, is op het moment van schrijven de meest recente wijziging op code>main/code>. Minitap heeft geen bewijs gepubliceerd dat het verwijderen van de naamsvermelding in verband brengt met zijn eigen onbeantwoorde leaderboard-inzendingen, en Google heeft geen gedetailleerde publieke reactie gegeven. De eerlijke lezing: de code die wordt gedeeld is legitiem en was altijd toegestaan; het papierwerk was dat een tijdlang niet, en dat is nu gecorrigeerd.

Het onderdeel dat niemand doorrekent: de rekening van het model.

ARTEMIS wordt geleverd met een badge met de tekst "Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL", en het configuratiebestand op code>config/artemis.jsonc/code> is de plek waar je het richt op het visionmodel waarvoor je inloggegevens hebt. Niets in dat bestand is gebruikersgericht totdat je Pro op een echte workflow draait en ziet wat een lange agent daadwerkelijk kost.

Doe de rekensom voor de profielen. Een Pro-run van 100 stappen bij 15–40 seconden per stap duurt ergens tussen 25 minuten en iets meer dan een uur kloktijd, en elk van die stappen is minstens één aanroep van een visionmodel met een screenshot. Flash is goedkoper per stap, maar raakt vaker in een lus, en omdat de context wordt gecomprimeerd in plaats van afgekapt, gaat hij vrolijk voorbij de beurtlimiet die je als plafond beschouwde. Welk profiel je ook kiest, het model is de kostenpost die meeschaalt met je testsuite, niet de licentie of de hardware.

Dit is het punt waarop een routeringslaag ophoudt een abstractie te zijn. Een visionmodel dat een lange Android-sessie aanstuurt, is een workload met twee lastige eigenschappen: hij is langdurig, en hij verdraagt geen hapering bij een provider midden in stap 74, omdat de context van de run op de endpoint van die provider staat. ARTEMIS op één OpenAI-compatibele base-URL richten en onze failover de run laten verplaatsen naar een andere provider van hetzelfde model is het verschil tussen een flaky test en een verloren middag. Qwen3.8-Flash is de interessante kandidaat om als eerste te proberen — een multimodale MoE met 6B actieve parameters en een context van 1M tokens, in onze catalogus vermeld voor $0.15 per miljoen inputtokens en $0.47 per miljoen outputtokens, met cachereads voor $0.018 en cachewrites voor $0.230. Die prijs voor cachereads is hier de relevante, want een Pro-run herleest bij elke stap een groeiende context.

Wees echter precies over wat dat betekent: Qwen3.8-Flash staat niet op de lijst met geteste backends van ARTEMIS, waarop Gemini, Claude, GPT-4o en Qwen-VL staan. Het is een model dat aannemelijk in de harness past, en de harness is er expliciet op gebouwd om er een te accepteren. Niemand heeft een benchmark van die combinatie gepubliceerd, en je moet iedereen die er een claimt, behandelen als iemand die die verzonnen heeft.

De roadmap, en hoeveel ervan dragend is

Er staan vier items op de gepubliceerde roadmap: een Android Studio-integratie met debugging in de editor, testopname en apparaatbesturing; iOS-ondersteuning; lichtgewicht vision-languagemodellen op het apparaat voor werk met lage latency en privacy voorop; en realtime duplex-spraakinteractie.

De eerste is degene die je moet geloven, want het is het natuurlijke volgende artefact van een Pixel-test-engineeringteam en er is geen onderzoeksrisico aan verbonden — de agent bestuurt al een apparaat, er is alleen nog een paneel in de IDE nodig. iOS is een veel grotere claim dan het van buitenaf lijkt: de hele lokaliseringsstrategie leunt op de toegankelijkheidsservice van Android, en iOS heeft geen equivalent oppervlak met hetzelfde permissiemodel, dus verwacht een herschrijving van de perceptielaag in plaats van een port. Het on-device-VLM-item is het item dat nauwlettend in de gaten moet worden gehouden, want het is het enige item op de lijst dat de API-kosten per stap zou wegnemen die momenteel een grote testsuite domineren — en het impliceert een klein, snel model met visionmogelijkheden dat een UI-taak coherent kan uitvoeren, wat een veel nauwer doel is dan "een klein model dat goed is in toolgebruik."

Wat ermee te doen deze week

Kloon het, voer code>./start.sh/code> uit tegen één emulator, en geef Flash een taak die je bestaande Espresso-suite dekt. Dat vertelt je binnen een uur of de dynamic-first locator je app's Compose-oppervlakken overleeft, en dat is de vraag die bepaalt of de rest er überhaupt toe doet. Voer daarna dezelfde taak uit op Pro en vergelijk de twee traces — het verschil tussen 3–5 en 15–40 seconden per stap is waar je budget zit, en je kunt niet over de kosten van ARTEMIS redeneren zonder dat.

Terwijl je de code leest, lees de headers. De commit van 12 september die de Minitap-attributie toevoegde, is de meest recente in de repository, wat betekent dat de bestandsheaders die je leest vier dagen oud zijn en dat het project in het openbaar actief wordt gerepareerd. Dat is geen reden om het te vermijden. Het is een reden om te controleren welke versie van het verhaal je in handen hebt voordat je een succespercentage in een dia citeert.

ARTEMIS op één OpenAI-compatibele base-URL richten en onze failover de run naar een andere provider van hetzelfde model laten verplaatsen is het verschil tussen een onbetrouwbare test en een verloren middag.