ARTEMIS milik Google menjadikan otomasi Android sebagai open source: apa yang sebenarnya dicakup oleh klaim AndroidWorld 99%

Commit terbaru di google/artemis bukanlah sebuah fitur. Itu adalah baris kredit — "fix: complete README and relevant file headers per Apache 2.0 requirements," yang di-push pada 12 September 2026, tiga hari setelah Minitap menerbitkan sebuah tulisan berjudul Saya mengharapkan yang lebih baik dari Google. ARTEMIS milik Google adalah agen otomasi Android yang baru saja di-open-source-kan oleh perusahaan itu: ia mengubah instruksi dalam bahasa Inggris biasa menjadi ketukan, gesekan, pengetikan, dan verifikasi nyata pada perangkat Android fisik atau emulator, menangkap log dan tangkapan layar sepanjang prosesnya, serta melaporkan tingkat penyelesaian tugas 99%+ pada tolok ukur AndroidWorld dari Google Research. Ia diterbitkan pada Agustus ini oleh tim Pixel Test Engineering Fusion Google di bawah Apache 2.0, dan sungguh layak menyita waktu satu sore Anda. Ia juga, per pertengahan September, menjadi pusat pertikaian atribusi sumber terbuka yang lebih banyak bercerita tentang bagaimana agen seluler dibangun dibandingkan angka tolok ukurnya. Kedua kisah itu nyata. Hanya satu di antaranya yang menjadi alasan commit terakhir repositori itu adalah perbaikan lisensi.

Apa yang sebenarnya dirilis

ARTEMIS bukanlah model dan bukan pembungkus chatbot. Ini adalah harness kendali — sistem Python 3.12+ yang berada di antara model penglihatan-bahasa dan ponsel sungguhan. Anda memberinya tugas dalam bahasa Inggris; ia mengamati layar, memutuskan tindakan, menjalankannya melalui ADB, memeriksa apa yang terjadi, dan terus berjalan. Ada lima hal yang disertakan:

• CLI dan SDK Python. code>./start.sh/code> menginisialisasi ADB, scrcpy, FFmpeg, dan lingkungan uv; code>uv run artemis run "…" --profile flash/code> menjalankan tugas secara headless; SDK code>artemis-client/code> membungkus panggilan yang sama untuk pytest dan CI, mengembalikan code>succeeded/code>, code>status/code>, code>device_serial/code> dan code>trace_id/code> yang dapat Anda lacak nanti.

• Konsol web. code>uv run artemis ui/code> menyajikan konsol pengujian visual di code>localhost:8000/code> tempat Anda mengamati loop langkah demi langkah.

• Server MCP native. Inilah bagian yang membuatnya menyebar luas. code>uv run artemis mcp --install all/code> mengekspos code>mobile_run_task/code>, code>mobile_manage_task/code>, code>mobile_get_device_state/code>, code>mobile_inspect_trace/code> dan code>mobile_diagnose/code> ke asisten mana pun yang mendukung MCP, dengan jalur instalasi kelas satu untuk Antigravity, Claude Code dan Codex, serta pembuatan konfigurasi untuk Cursor, Windsurf, VS Code dan Cline/Roo. Dari asisten yang telah terhubung ke server, "build APK, pasang, buka pengaturan, alihkan mode pesawat, ambil tangkapan layar hasilnya" tidak lagi menjadi skrip dan menjadi sebuah kalimat.

• Alat bantu aksesibilitas. Tugas pertama memasang Artemis Accessibility Helper, yang membaca tata letak layar tanpa menahan koneksi UiAutomation — dengan sengaja, sehingga perkakas lain berbasis UiAutomator di perangkat yang sama tidak diblokir. Ini berjalan di ponsel dan tidak mengirim apa pun keluar darinya, serta beralih ke UIAutomator2 saat tidak dapat terpasang, dengan fallback yang ditampilkan di linimasa tugas.

• Pengambilan log dan jejak.Tumpukan crash, tangkapan layar keyframe, dan laporan diagnostik dikumpulkan secara otomatis, bukan sekadar ditambahkan oleh pemanggil — inilah alasan ia dapat digunakan sebagai suite regresi dan bukan sekadar demo.

Flash dan Pro adalah dua produk berbeda yang berbagi satu nama

Satu hal terpenting yang perlu dipahami sebelum Anda melakukan benchmark ARTEMIS terhadap apa pun adalah bahwa code>--profile flash/code> dan code>--profile pro/code> bukan pengaturan kecepatan pada satu agen. Mereka adalah dua agen.

• Flash — loop observasi-dan-aksi reaktif dengan sekitar 3–5 detik per langkah, tanpa rencana, tanpa catatan, tanpa pemeriksaan keamanan pra-eksekusi, tanpa verifikasi titik pemeriksaan, tanpa laporan akhir, dan tanpa ADB shell. Loop ini tak terbatas secara default karena riwayat dikompresi, bukan diakumulasi.

• Pro — graf multi-agen dengan sekitar 15–40 detik per langkah, dibangun dari Planner yang memelihara rencana Markdown hidup dengan code>verify/code> dan code>assert/code> item yang eksplisit, sebuah Operator dengan perangkat alat lengkap, dan Checker hanya-baca yang memvalidasi checkpoint dan menjalankan tinjauan akhir.code>--verification-level/code> menerima code>off/code>, code>final/code> (default), code>checkpoints/code> atau code>strict/code>.

Itu adalah perbedaan latensi lima hingga sepuluh kali lipat untuk deskripsi tugas yang sama, dan itu adalah perbedaan antara smoke test dan run eksplorasi 100+ langkah. Pandangan Google sendiri adalah bahwa Pro ditujukan untuk pekerjaan jangka panjang dan berkelanjutan code>[Loop:continuous]/code> pemantauan; Flash ditujukan untuk tugas UI rutin dan deterministik. Jika Anda membaca ulasan yang mengutip waktu langkah tanpa memberi tahu Anda profil mana yang menghasilkannya, itu tidak memberi tahu Anda apa pun.

Strategi penentuan lokasi adalah rekayasa yang sesungguhnya

Sebagian besar framework otomasi seluler gagal pada selektor. ARTEMIS dibangun dengan pendekatan dynamic-first: ketika indeks elemen aksesibilitas tersedia, ia menggunakannya; ketika tidak ada — Canvas, permukaan Compose, tampilan Flutter, game — ia beralih ke koordinat dan visi. Tidak ada lapisan XPath yang perlu dipelihara dan tidak ada ID yang menjadi usang, hal ini penting karena aplikasi yang paling ingin Anda uji adalah aplikasi yang merilis build baru setiap minggu.

Profil Pro menambahkan Jaring Pengaman: setiap tindakan melewati pemeriksaan pra-eksekusi, XML-first dengan fallback piksel, yang menangkap popup sistem yang hampir menelan ketukan Anda. Kegagalan membuka "insiden eksekusi" yang tetap berada dalam konteks hingga keberhasilan di kemudian hari menyelesaikannya, alih-alih memunculkan agen perbaikan terpisah. Sesi panjang dikompresi — tangkapan layar lama menjadi ringkasan visual, langkah-langkah yang selesai dipotong menjadi era yang dapat dipanggil kembali yang code>search_history/code> dan code>replay_steps/code> dapat tarik kembali — itulah yang menjaga konteks 100 langkah agar tidak menjadi terlalu mahal.

99,1% di papan peringkat, dan catatan penting yang dilewatkan oleh unggahan peluncuran

Klaim utama ARTEMIS adalah tingkat penyelesaian 99%+ pada AndroidWorld, tolok ukur Google Research yang terdiri atas 116 tugas realistis di 20-an aplikasi, dinilai sebagai Pass@1. Per 11 September 2026, papan peringkat AndroidWorld mencantumkan ARTEMIS pada 99,1% versus mobile-use milik Minitap pada 91,4%, dengan performa manusia di 80%. Dalam tabel tersebut, itu adalah yang tercanggih di antara hasil yang dilaporkan secara publik.

Ada dua hal yang perlu disandingkan dengan angka itu. Pertama, papan peringkat AndroidWorld secara eksplisit tidak memverifikasi kiriman secara independen — setiap angka di dalamnya, termasuk milik ARTEMIS, dilaporkan sendiri oleh tim yang menghasilkannya, dan analisis ketahanan telah menunjukkan bahwa variasi tugas saja dapat mengubah skor agen secara substansial. Perlakukan 99,1% sebagai klaim vendor yang kuat pada tolok ukur publik yang dapat diperiksa, yang merupakan hal nyata dan berguna, dan bukan sebagai pengukuran yang diaudit, karena memang bukan itu. Kedua, bentuk perbandingannya penting: tolok ukurnya adalah kumpulan tugas tetap, dan grafik perbandingan yang diterbitkan ARTEMIS dilaporkan menghilangkan mobile-use sementara menyertakan entri lain. Tolok ukur yang hasil sebelumnya terkuat tidak ada dari grafiknya adalah klaim yang lebih lemah daripada yang ditunjukkan oleh persentase mentahnya.

Perselisihan itu, yang menjadi berita sesungguhnya bulan ini

Di blognya dan dalam issue publik di repositori, Minitap — startup pengujian seluler yang proyek open-source mobile-use-nya melakukan pekerjaan yang sama untuk Android dan iOS — menuduh bahwa 228 dari 229 file ARTEMIS identik dengan miliknya sendiri. Rincian yang dipublikasikannya luar biasa konkret: kode koneksi perangkat Android yang cocok dengan implementasinya, penggunaan kembali kata per kata atas instruksi milik agen bernama "Hopper", dan contoh WhatsApp yang mengirim pesan Tahun Baru kepada Alice, Bob, dan Charlie, yang direproduksi dengan komentar yang sama, langkah pembersihan yang sama, dan bug yang sama. Ia lebih lanjut menuduh bahwa sebuah file yang memuat nama tiga penulis Minitap — Pierre-Louis Favreau, Jean-Pierre Lo, dan Nicolas Dehandschoewercker — digantikan melalui force-push pada Agustus, dengan nama-nama dihapus dan penulis lain disubstitusikan.

Pertanyaan lisensi ini tidak ambigu. mobile-use adalah Apache 2.0, dan Apache 2.0 mengizinkan persis jenis penggunaan ulang seperti ini — komersial, turunan, tertutup — asalkan Anda mempertahankan pemberitahuan hak cipta dan menyatakan apa yang Anda ubah. Yang tidak diizinkannya adalah mendistribusikan kode tersebut dengan pemberitahuan yang dihapus. Sejak tuduhan itu muncul, repositori ini telah memuat baris "This project includes source code developed by Minitap, Inc." dan tautan ke minitap-ai/mobile-use, dan commit 12 September yang melengkapi atribusi tersebut adalah, pada saat penulisan ini, perubahan terbaru di code>main/code>. Minitap belum menerbitkan bukti yang mengaitkan penghapusan atribusi itu dengan kiriman papan peringkatnya yang belum terjawab, dan Google belum mengeluarkan tanggapan publik yang terperinci. Bacaan yang jujur: kode yang dibagikan itu sah dan memang selalu diizinkan; dokumennya, selama suatu periode, tidak, dan kini telah diperbaiki.

Bagian yang tidak ada yang memperhitungkan biayanya: tagihan model

ARTEMIS hadir dengan lencana bertuliskan "Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL", dan file konfigurasinya di code>config/artemis.jsonc/code> adalah tempat Anda mengarahkannya ke model visi apa pun yang kredensialnya Anda miliki. Tidak ada apa pun di dalam file itu yang terlihat oleh pengguna sampai Anda menjalankan Pro pada alur kerja nyata dan menyaksikan berapa biaya sebenarnya dari agen yang berjalan panjang.

Lakukan perhitungan pada profil-profil itu. Pro run 100 langkah dengan 15–40 detik per langkah berarti antara 25 menit hingga sedikit lebih dari satu jam waktu nyata, dan setiap langkah tersebut setidaknya merupakan satu panggilan model visi yang membawa tangkapan layar. Flash lebih murah per langkah tetapi lebih sering berulang, dan karena konteksnya dikompresi alih-alih dipotong, ia akan dengan senang hati melewati batas giliran yang Anda anggap sebagai plafon. Profil mana pun yang Anda pilih, model adalah pos biaya yang berskala dengan rangkaian pengujian Anda, bukan lisensi atau perangkat keras.

Inilah titik ketika lapisan routing berhenti menjadi sekadar abstraksi. Model visi yang menjalankan sesi Android yang panjang adalah beban kerja dengan dua sifat yang merepotkan: berumur panjang, dan tidak toleran terhadap gangguan penyedia di tengah langkah ke-74, karena konteks prosesnya berada di endpoint penyedia tersebut. Mengarahkan ARTEMIS ke satu URL dasar yang kompatibel dengan OpenAI dan membiarkan failover kami memindahkan proses ke penyedia lain untuk model yang sama adalah perbedaan antara uji yang tidak stabil dan kehilangan waktu seharian. Qwen3.8-Flash adalah kandidat menarik untuk dicoba terlebih dahulu — MoE multimodal aktif 6B dengan konteks 1M token, tercantum di katalog kami pada $0.15 per juta token input dan $0.47 per juta token output, dengan pembacaan cache pada $0.018 dan penulisan cache pada $0.230. Harga pembacaan cache itulah yang relevan di sini, karena Pro run membaca ulang konteks yang terus bertambah pada setiap langkah.

Namun, bersikap tepatlah tentang apa artinya: Qwen3.8-Flash tidak ada dalam daftar backend yang diuji ARTEMIS, yang menyebut Gemini, Claude, GPT-4o, dan Qwen-VL. Ini adalah model yang secara masuk akal cocok dengan harness tersebut, dan harness itu secara eksplisit dibangun untuk menerima satu model. Belum ada yang menerbitkan tolok ukur untuk pasangan tersebut, dan Anda harus menganggap siapa pun yang mengklaimnya sebagai mengarangnya.

Peta jalan, dan seberapa banyak darinya yang benar-benar menopang

Empat item ada di peta jalan yang telah dipublikasikan: integrasi Android Studio dengan debugging di dalam editor, perekaman pengujian, dan kontrol perangkat; dukungan iOS; model visi-bahasa ringan di perangkat untuk pekerjaan berlatensi rendah yang mengutamakan privasi; dan interaksi suara dupleks waktu nyata.

Yang pertama adalah yang patut dipercaya, karena itu adalah artefak berikutnya yang wajar dari tim rekayasa pengujian Pixel dan tidak ada risiko riset yang melekat — agen tersebut sudah mengendalikan perangkat, ia hanya membutuhkan panel di IDE. iOS adalah klaim yang jauh lebih besar daripada yang terlihat dari luar: seluruh strategi pelokasian bertumpu pada layanan aksesibilitas Android, dan iOS tidak memiliki permukaan yang setara dengan model izin yang sama, jadi perkirakan penulisan ulang lapisan persepsi, bukan port. Butir VLM di perangkat adalah yang layak dicermati secara saksama, karena itu satu-satunya butir dalam daftar yang akan menghilangkan biaya API per langkah yang saat ini mendominasi suite pengujian besar — dan itu menyiratkan model kecil, cepat, dan berkemampuan visi yang dapat menjaga tugas UI tetap utuh, yang merupakan target yang jauh lebih sempit daripada "model kecil yang pandai menggunakan alat."

Apa yang harus dilakukan dengan ini minggu ini

Kloning, jalankan code>./start.sh/code> terhadap satu emulator, dan beri Flash tugas yang sudah dicakup oleh suite Espresso Anda yang ada. Itu akan memberi tahu Anda dalam satu jam apakah locator dynamic-first bertahan di permukaan Compose aplikasi Anda, yang merupakan pertanyaan yang menentukan apakah bagian lainnya penting. Lalu jalankan tugas yang sama di Pro dan bandingkan kedua trace — selisih antara 3–5 dan 15–40 detik per langkah adalah tempat anggaran Anda berada, dan Anda tidak dapat menalar biaya ARTEMIS tanpa itu.

Saat Anda membaca kode, bacalah header-nya. Commit 12 September yang menambahkan atribusi Minitap adalah yang paling baru di repositori, yang berarti header berkas yang Anda baca berusia empat hari dan proyek ini sedang aktif diperbaiki secara terbuka. Itu bukan alasan untuk menghindarinya. Itu alasan untuk memeriksa versi cerita mana yang Anda pegang sebelum Anda mengutip tingkat keberhasilan di sebuah slide.

Mengarahkan ARTEMIS ke satu base URL yang kompatibel dengan OpenAI dan membiarkan failover kami memindahkan prosesnya ke penyedia lain untuk model yang sama adalah perbedaan antara uji yang tidak stabil dan waktu yang terbuang percuma.