
Aion-1.0-Instruct-2.3B vs Gemma 4 12B: Lima Kali Lipat Bobot dan Sepuluh Kali Lipat Bukti
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 188 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 205 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 97 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 124 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 210 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 110 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 168 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Letakkan Aion-1.0-Instruct-2.3B di samping Gemma 4 12B dan selisih parameter adalah hal yang paling tidak menarik tentang keduanya. Checkpoint Microsoft memiliki 2,29 miliar parameter dan diunggah ke Hugging Face pada 18 November 2026 tanpa pengumuman; milik Google DeepMind memiliki 11,95 miliar parameter, berlisensi Apache 2.0, dan dapat diunduh sejak Mei 2026 dengan model card yang mencantumkan tabel evaluasi lengkap serta komunitas yang telah mengunduh bobotnya lebih dari satu juta kali. Selisih yang menarik adalah bahwa salah satu model ini telah diperiksa oleh pihak luar dan satunya lagi belum diperiksa oleh siapa pun.
Ini adalah perbandingan dua rilis terbuka, bukan dua API, sehingga setiap klaim di bawah ini dapat diperiksa dengan mengunduh sesuatu. Angka Aion-1.0-Instruct-2.3B berasal dari kartu model dan config.json di repositorinya, keduanya dibaca langsung hari ini. Angka Gemma 4 12B berasal dari kartu model Google, dan angka benchmark-nya adalah milik vendor sendiri — dilaporkan, bukan direproduksi secara independen, yang merupakan perbedaan penting bagi kedua model di sini.
Tabel perbandingan yang tidak bisa diisi secara merata oleh siapa pun
Enam dimensi, kedua sisi, dan catatan ketika salah satu sisi sama sekali tidak punya apa pun untuk dimasukkan ke dalam sel.
• Parameter — Aion-1.0-Instruct-2.3B adalah ~2,29B dense dengan embedding terikat; Gemma 4 12B adalah 11,95B dense di seluruh 48 lapisan.
• Lisensi — MIT untuk Aion, Apache 2.0 untuk Gemma. Secara komersial, keduanya pada dasarnya tidak dibatasi; MIT sedikit lebih sederhana untuk dipatuhi karena tidak membawa hibah paten yang perlu dipertimbangkan.
• Konteks — 32,768 token dibandingkan 256K, perbedaan delapan kali lipat yang menentukan apakah seluruh repositori muat dalam satu prompt.
• Input — hanya teks versus teks, gambar, dan audio, dengan trik khas Gemma 4 12B adalah tidak memiliki encoder terpisah: patch gambar dan gelombang audio diproyeksikan langsung ke ruang embedding decoder.
• Bahasa — delapan untuk Aion (Inggris, Jerman, Spanyol, Portugis, Italia, Prancis, Tionghoa, Jepang, dengan data multibahasa sekitar 6% dari pelatihan); 140 lebih diklaim untuk Gemma.
• Evaluasi yang dipublikasikan — Aion: 11 benchmark pada harness bernama, semuanya dijalankan vendor. Gemma: 15+ benchmark plus baris visi, audio, dan konteks panjang, semuanya dijalankan vendor.
Apa yang dikatakan sebelas angka Microsoft
Kartu Aion lebih blak-blakan daripada kebanyakan rilis yang senyap. Di situ dinyatakan bahwa benchmark dijalankan pada lm-evaluation-harness milik EleutherAI jika tersedia implementasi tugasnya, dan jika tidak, pada repositori masing-masing benchmark; bahwa GPT-4o menilai yang bergantung pada penilai; lalu skornya dicetak: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.
Dua di antaranya membawa kualifikasi di kolom catatan — GSM8K adalah "pencocokan longgar", IFBench adalah "longgar tingkat prompt" — dan kartu tersebut tidak menyembunyikannya. Itu adalah jenis pengungkapan yang akan dihapus oleh tim pemasaran dan dibiarkan oleh tim evaluasi. Itu juga berarti angka-angka tersebut harus dibaca sebagai batas bawah, bukan sebagai promosi: 33,35 pada MMLU-Pro dan 28,18 pada GPQA bukanlah angka yang akan dipilih siapa pun untuk dijadikan pembuka.
Kartu ini sama lugasnya tentang apa yang tidak dapat dilakukan model. Bagian keterbatasannya menyatakan bahwa model kecil seukuran ini "dapat melewatkan detail rinci, memberikan pernyataan yang keliru, atau menunjukkan ketidakmampuan mengikuti penalaran multi-langkah yang kompleks", dan bagian rekomendasinya menyatakan bahwa model tersebut "tidak dilatih untuk unggul dalam pengetahuan dunia". Itu adalah kata-kata vendor, bukan kata-kata kami, dan semuanya selaras dengan skor, bukan bertentangan dengannya.
Ke mana sebenarnya tambahan sembilan miliar parameter Gemma pergi
Kartu Gemma 4 12B mencantumkan MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 tanpa alat 77,5, LiveCodeBench v6 72,0, ELO Codeforces 1659, Tau2 yang dirata-ratakan dari tiga kali percobaan sebesar 69,0, BigBench Extra Hard 53,0, dan MMMLU 83,4. Kartu itu juga mencantumkan MMMU Pro 69,1 dan MATH-Vision 79,7 untuk visi, CoVoST 38,5 dan FLEURS 0,069 untuk audio, serta 55,3 pada RULER di 128K.
Membandingkan hal-hal itu langsung dengan tabel Aion akan tidak jujur, karena hampir tidak ada benchmark yang dipakai bersama, harness yang digunakan berbeda, dan satu model khusus teks dinilai terhadap model multimodal pada tugas-tugas yang memberi imbalan pada pelatihan yang berbeda. Yang bisa dikatakan bersifat menunjukkan arah dan terus terang: pada dua baris ketika nama benchmark-nya sama, MMLU-Pro dan MMMLU, Gemma melaporkan masing-masing 43,8 dan 37,9 poin lebih tinggi. Itu bukan keanehan dalam penilaian. Itulah hasil dari tambahan 9,7 miliar parameter dan tujuh bulan lebih lama pasca-pelatihan.
Observasi yang lebih berguna adalah apa yang dilakukan Gemma dengan ukurannya. Attention hybrid-nya menyelang-seling lapisan sliding-window lokal pada 1.024 token dengan attention global penuh, dan lapisan global berbagi key serta value dan menerapkan RoPE proporsional — rekayasa yang diarahkan tepat untuk menjaga memori konteks panjang tetap datar. Aion melakukan hal serupa pada skala lebih kecil dengan sliding window 2.048 token di 21 dari 28 lapisannya. Kedua model memecahkan masalah yang sama; satu memiliki anggaran lima kali lipat untuk menyelesaikannya.
Footprint adalah satu-satunya kolom yang dimenangkan Aion secara mutlak.
Pada bfloat16, Aion-1.0-Instruct-2.3B berukuran sekitar 4,6 GB. Gemma 4 12B kira-kira 24 GB sebelum Anda menyentuh kuantisator, yang menempatkannya di GPU workstation atau laptop dengan kuantisasi berat dan sepenuhnya di luar jangkauan ponsel. Itu bukan kritik terhadap Gemma — model itu memang tidak pernah ditujukan untuk ponsel — tetapi itulah alasan utama model Microsoft ini ada. Kartu ini membingkainya sebagai Windows on-device: tugas teks dan sistem operasi, di mesin itu sendiri, dengan data yang tidak pernah meninggalkannya.
Catatan jujur yang perlu disampaikan adalah bahwa jendela 32K dicapai melalui penskalaan, bukan melalui pelatihan panjang. Konfigurasi mencatat original_max_position_embeddings sebesar 2.048 dengan faktor YaRN 16 hanya pada lapisan full-attention, dan belum ada evaluasi konteks panjang untuk model ini yang dipublikasikan. Jadi, "32K" adalah plafon yang dikonfigurasi, bukan kemampuan yang telah dibuktikan. 256K milik Gemma setidaknya memiliki satu baris RULER yang mendukungnya, dijalankan oleh vendor dan pada 55,3 — moderat, tetapi ada.
Keputusan factoring, bukan keputusan model
Keduanya berada di lapisan berbeda dari produk yang sama, dan itulah cara tim biasanya memakainya. Aion-1.0-Instruct-2.3B menangani proses di perangkat: menyunting, merangkum, menulis ulang, mengklasifikasi, dan menjaga dokumen tetap lokal. Gemma 4 12B menangani kasus yang memerlukan pembacaan tangkapan layar, transkripsi klip audio, basis kode 100K token yang dipertahankan dalam konteks, atau bahasa di luar delapan bahasa yang didukung Aion. Tidak ada yang menggantikan yang lain, dan kesalahan yang harus dihindari adalah memilih model kecil untuk pekerjaan yang membutuhkan model besar hanya karena model kecil itu gratis diunduh.
Ketika keduanya dipanggil dari satu basis kode, biaya operasionalnya bukanlah token — melainkan SDK kedua, kebijakan percobaan ulang kedua, dan set kredensial kedua. Di situlah sebuah router membuktikan kegunaannya: OrcaRouter menempatkan 200+ model di balik satu kunci dengan markup 0% di atas harga daftar penyedia, dengan failover otomatis dan DSL routing yang dapat mengirim permintaan menyusuri rantai model alih-alih ke satu model. Untuk lebih tepatnya tentang apa yang ada dan tidak ada dalam katalog kami saat ini: keluarga Gemma 4 sebagian sudah tersedia — varian 26B A4B dan 31B tercantum — sedangkan Gemma 4 12B dan Aion-1.0-Instruct-2.3B tidak, karena yang pertama adalah rilis bobot yang di-host sendiri dan yang kedua tidak memiliki endpoint ter-host di mana pun. Argumen routing berlaku untuk model saudara apa pun dari model-model ini yang akhirnya Anda campurkan dengan keduanya, bukan untuk kedua checkpoint ini sendiri.
Urutan peluncuran yang gagal dengan aman
Mulai dengan Gemma 4 12B pada beban kerja yang sudah Anda miliki, karena Anda dapat mengukurnya. Kartunya memberi Anda penyebut, bobotnya stabil, dan setiap regresi yang Anda lihat adalah regresi Anda sendiri, bukan artefak dari unggahan berusia tiga hari.
Lalu ambil Aion-1.0-Instruct-2.3B dan jalankan terhadap irisan sempit yang ingin Anda pindahkan ke perangkat — misalnya, peringkasan utas email atau penyensoran dokumen — menggunakan data Anda sendiri dan standar akurasi Anda sendiri. Jangan gunakan MMLU-nya sebagai proksi untuk tugas Anda; kartu model itu sendiri memperingatkan bahwa model tersebut tidak dilatih untuk pengetahuan dunia, dan nilai 55,15 pada MMLU lebih banyak memberi tahu Anda tentang trivia daripada tentang apakah ringkasan Anda lolos peninjauan.
Baru setelah itu putuskan apakah proses lokal menggantikan panggilan hosted atau berada di depannya. Pola yang berhasil adalah pola yang membosankan: model kecil melakukan proses pertama secara lokal, dengan penyaringan berdasarkan keyakinan, dan kasus-kasus sulit dieskalasi ke sesuatu yang lebih besar. Itu memberi Anda properti privasi pada mayoritas lalu lintas dan menjaga plafon kualitas di tempat yang seharusnya.

Kartu Google mencantumkan angka-angka yang belum bisa dibandingkan secara adil dengan kartu Aion: MMLU Pro 77.2, GPQA Diamond 78.8, MMMU Pro 69.1, dan jendela 256K, semuanya dilaporkan vendor.
Apa yang akan membuat ini menjadi artikel yang berbeda?
Uji harness independen terhadap Aion-1.0-Instruct-2.3B akan menjawabnya. Saat tulisan ini dibuat, repositori tersebut memiliki tiga suka dan nol unduhan tercatat, jadi sama sekali tidak ada bukti komunitas — tidak ada utas forum, tidak ada build terkuantisasi, tidak ada evaluasi pihak ketiga. Kartu model menjanjikan versi terkuantisasi akan menyusul; ketika GGUF tersedia, cerita lokal berhenti menjadi teoretis dan jumlah unduhan mulai berarti sesuatu.
Sampai saat itu, perbandingan ini tetap sebagaimana adanya: Gemma 4 12B adalah besaran yang sudah dikenal dengan biaya nyata, dan Aion-1.0-Instruct-2.3B adalah model yang sangat kecil, sangat baru, serta didokumentasikan secara jujur, yang properti paling berharganya adalah kemampuannya berjalan di tempat yang tidak terjangkau jaringan.

Kartu Microsoft adalah sumber untuk jumlah parameter 2.29B, delapan bahasa yang didukung, dan batas pengetahuan 2025-12; stempel waktunya adalah satu-satunya sinyal rilis yang ada.

Berdampingan: dimensi tempat Aion unggul (jejak) dan dimensi-dimensi tempat Aion tidak unggul (konteks, modalitas, bahasa, dan kedalaman bukti di balik angka-angka itu).
