HiRO-ACEv2 vs Gemma 4 12B: Perbandingan Ini Baru Masuk Akal Setelah Anda Berhenti Menghitung Parameter

HiRO-ACEv2 dan Gemma 4 12B keduanya adalah unduhan Apache 2.0 dengan angka di namanya dan laporan teknis di belakangnya, dan kurang lebih di situlah kemiripannya berakhir. Gemma 4 12B adalah model bahasa multimodal 11,95 miliar parameter milik G​oogle — teks, gambar, dan audio masuk, teks keluar, jendela konteks 256K token, dirilis pada Juni 2026 dan telah diunduh lebih dari satu juta kali. HiRO-ACEv2 adalah emulator iklim generasi kedua dari Ai2, diunggah ke repositori Hugging Face pada 12 Oktober 2026 dengan sekitar 10,9 GB checkpoint dan data forcing, tanpa pengumuman, dan makalah yang muncul keesokan harinya. Yang satu adalah model serbaguna yang Anda panggil; yang lain adalah kerangka kerja fisika yang Anda pasang dan jalankan di mesin Anda sendiri.

Jika dibingkai sebagai adu kualitas secara head-to-head, pertandingan ini tidak bermakna, dan berpura-pura sebaliknya akan menjadi kegagalan mudah dari halaman seperti ini. Jika dibingkai sebagai pertanyaan tentang apa yang sebenarnya bisa Anda dapatkan dari bobot terbuka pada 2026, ini sungguh instruktif — karena kedua rilis berada di ujung berlawanan dari spektrum keterbukaan meskipun keduanya membawa label lisensi yang sama, dan perbedaannya muncul dalam jam pertama saat mencoba menggunakan salah satunya.

Untuk apa masing-masing, dalam satu kalimat masing-masing

Gemma 4 12B menerima prompt — teks, gambar, klip audio, atau kombinasi keduanya — dan menghasilkan teks. Model ini memiliki arsitektur tanpa vision tower dan tanpa encoder yang memproyeksikan patch gambar dan bentuk gelombang audio langsung ke ruang embedding model bahasa melalui lapisan linear, 48 lapisan, kosakata 262K, jendela geser 1024 token yang dicampur dengan attention global, dan sekitar 11,95 miliar parameter dalam bf16. Model ini secara eksplisit merupakan model dense, dan rilisnya menyertakan tabel benchmark vendor yang lengkap.

HiRO-ACEv2 mengambil keadaan iklim beresolusi 100 km dan menghasilkan medan 3 km — curah hujan, angin 10 meter ke arah timur dan utara, serta tekanan permukaan laut rata-rata, pada frekuensi enam jam sekali. Ini adalah sistem dua tahap: emulator autoregresif dari X-SHIELD yang diperkasar ke 100 km, diikuti oleh model difusi yang menurunskalakan hasilnya ke 3 km. Ini mengeluarkan medan bergrid bergaya NetCDF, bukan teks, dan sama sekali tidak memiliki tabel tolok ukur.

Itulah keseluruhan perbandingan secara struktural. Yang satu memetakan bahasa ke bahasa. Yang lain memetakan atmosfer kasar ke atmosfer halus.

Satu-satunya dimensi di mana keduanya benar-benar sebanding

Parameter adalah sumbu yang keliru, dan panjang konteks tidak bermakna untuk salah satunya. Dimensi yang benar-benar dapat ditransfer adalah seberapa banyak rilis tersebut yang sudah selesai.

• Kerangka kerja yang dapat memuatnya — Gemma 4 12B berjalan di Transformers, vLLM, SGLang, llama.cpp, MLX dan sederet panjang build komunitas terkuantisasi; HiRO-ACEv2 berjalan melalui fme paket Python milik Ai2 sendiri, dengan konfigurasi yang menyasar repositori ai2cm/ace dan tidak yang lain.

• Harga satu jawaban — Gemma 4 12B dilayani dengan tarif sekitar $0,10 per juta token masukan dan $0,30 per juta token keluaran oleh penyedia yang menawarkannya; HiRO-ACEv2 tidak memiliki daftar tarif, karena tidak ada yang bersifat per permintaan padanya. Biayanya adalah jam GPU pada perangkat keras Anda sendiri, dan klaim makalah tersebut adalah bahwa jam-jam itu mencapai lebih dari 300 kali lebih sedikit daripada model numerik global resolusi badai konvensional.

• Siapa yang sudah mereproduksinya — Angka-angka Gemma 4 12B dilaporkan oleh vendor, tetapi penerapannya tidak: ratusan ribu unduhan dan banyaknya karya praktisi independen mendasari setiap klaim tentang perilakunya; angka-angka HiRO-ACEv2 milik para penulisnya sendiri, baru berumur dua hari, dan repositori tersebut belum memiliki unduhan sama sekali pada saat tulisan ini dibuat.

• Pada apa tag lisensi melekat — keduanya adalah Apache 2.0. Pemberian lisensi Gemma 4 12B adalah lisensi biasa; lisensi HiRO-ACEv2 disertai Pedoman Penggunaan Bertanggung Jawab dari Ai2 yang menyebutkan niat penelitian dan pendidikan, serta ketentuan penggunaan yang berlaku miliknya sendiri yang ditumpangkan di atasnya.

• Output yang dapat diperiksa secara mekanis — jawaban Gemma 4 12B diperiksa dengan membacanya, atau dengan rangkaian tes yang Anda tulis; bidang HiRO-ACEv2 diperiksa terhadap suatu distribusi, itulah sebabnya makalah ini membahas persentil ke-99,9999 alih-alih skor rata-rata.

Tabel benchmark adalah perbedaan yang paling mencolok

Google menerbitkan tabel lengkap untuk Gemma 4 12B Unified. MMLU Pro sebesar 77,2%, AIME 2026 tanpa alat sebesar 77,5%, LiveCodeBench v6 sebesar 72,0%, ELO Codeforces sebesar 1659, GPQA Diamond sebesar 78,8%, MMMLU sebesar 83,4%, MMMU Pro sebesar 69,1%, MATH-Vision sebesar 79,7%, dan angka MRCR v2 eight-needle sebesar 43,4% pada 128k. Ini adalah angka milik vendor sendiri, yang belum direproduksi oleh para pesaing Google, dan peringatan standar tetap berlaku: tolok ukur kartu model adalah klaim tentang suatu konfigurasi, bukan pengukuran model yang akan Anda jalankan. Namun setiap baris dalam tabel itu adalah angka yang bisa coba dibantah oleh pihak ketiga dalam waktu satu sore, dan beberapa di antaranya mengukur kemampuan yang muncul dalam penggunaan biasa.

Kartu HiRO-ACEv2 tidak memuat tabel semacam itu. Dokumen ini membuat satu pernyataan kuantitatif — bahwa downscaler mereproduksi distribusi laju presipitasi permukaan, angin 10 meter, dan tekanan permukaan laut hingga persentil ke-99,9999 — lalu mencantumkan keterbatasan yang lebih informatif daripada sebagian besar tabel tolok ukur. Sembilan tahun data pelatihan, 2014 hingga 2022. Keluaran yang mereproduksi X-SHIELD alih-alih observasi. Tidak berlaku di luar 66°S hingga 70°N, dan tidak mampu berjalan di luar 88°S atau 88°N. Diskontinuitas batas patch di wilayah yang lebih besar daripada patch pelatihan satu derajat berukuran 16 kali 16. Sebuah catatan bahwa checkpoint ACE2S-X-SHIELD yang disertakan kurang diuji secara ketat dibandingkan lini ACE2-ERA5 sebelumnya.

Tidak ada satu pun dari kedua sikap itu yang tidak jujur. G​oogle menjual sebuah model, jadi mereka mengiklankan skor yang dicapai model itu. Ai2 menerbitkan artefak penelitian, jadi mereka mengiklankan apa yang tidak dapat dilakukan artefak itu. Pembaca yang menganggap tidak adanya tabel benchmark sebagai bukti model yang lemah memiliki penalaran yang terbalik — pembacaan yang benar adalah bahwa evaluasi yang dibutuhkan kerangka kerja ini bersifat distribusional dan tidak ada papan peringkat publik yang menjalankannya.

Di mana mereka bertemu dalam pipeline nyata

Ada satu tempat di mana keduanya benar-benar pantas berada dalam sistem yang sama, dan itu bukan persaingan. Alur kerja emulasi iklim menghasilkan banyak teks dan kode di sekitar model: skrip yang menjalankan ansambel selama puluhan tahun waktu simulasi, perkakas yang memvalidasi bentuk NetCDF sebelum suatu eksekusi menghabiskan jam-GPU, agregasi statistik distribusi di seluruh ratusan rollout, dan pekerjaan biasa mengubah makalah menjadi daftar periksa. Tidak ada satu pun dari itu yang merupakan downscaling, dan semuanya adalah pekerjaan model bahasa — jenis pekerjaan di mana memanggil model per permintaan, alih-alih menghostingnya, adalah default yang masuk akal.

Itulah lapisan yang dicakup oleh OrcaRouter. HiRO-ACEv2 tidak ada dalam katalog kami dan tidak mungkin ada — tidak ada endpoint berbayar per token untuk downscaler difusi — jadi tidak ada apa pun di sini yang boleh dibaca sebagai klaim ketersediaan untuknya. Gemma 4 12B juga bukan salah satu model G​emma yang kami layani saat ini; katalog kami memuat checkpoint Gemma 4 26B-A4B dan 31B, dan jalur inferensi 12B akan berasal dari mana pun Anda meng-host-nya. Yang kami tawarkan adalah lapisan di sekitarnya: satu kunci API untuk lebih dari dua ratus model, harga daftar penyedia diteruskan tanpa tambahan markup, dan failover otomatis antarpenyedia sehingga pipeline multi-dekade yang juga memanggil model bahasa tidak macet hanya karena satu upstream mengalami jam yang buruk.

Cara memutuskan dalam waktu kurang dari satu menit

Tanyakan bentuk jawaban Anda. Jika keluarannya adalah teks, ekstraksi terstruktur, perubahan kode, atau takarir, Anda menginginkan Gemma 4 12B — atau salah satu varian yang lebih besar — dan 12B secara khusus adalah pilihan yang tepat ketika Anda membutuhkan masukan multimodal pada ukuran yang muat dalam satu akselerator dengan ruang untuk konteks panjang. Jika keluarannya adalah bidang grid 3 km yang menggambarkan presipitasi, angin, dan tekanan selama beberapa dekade iklim yang disimulasikan, tidak ada model bahasa yang akan menghasilkannya dan Gemma 4 tidak relevan dengan masalah Anda; Anda menginginkan HiRO-ACEv2, unduhan 10,9 GB, lingkungan Python, dan GPU.

Jebakan dalam perbandingan khusus ini adalah jumlah parameter. Gemma 4 12B memilikinya; HiRO-ACEv2 tidak mempublikasikan jumlah itu, dan 10,9 GB penyimpanan repositori sebagian besar berupa data forcing dan kondisi awal, bukan bobot — kedua checkpoint tersebut jika digabungkan sekitar 4,3 GiB. Menilai kedua model ini secara berdampingan berdasarkan ukuran, atau berdasarkan angka tunggal mana pun, menghasilkan jawaban dengan penuh keyakinan atas pertanyaan yang tidak pernah diajukan siapa pun.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.