HiRO-ACEv2 vs MathForm 8B: Dua Model Sempit, Dua Jenis Kebenaran Dasar

Baik HiRO-ACEv2 maupun MathForm-8B tidak berusaha menjadi model umum, dan keduanya dibangun oleh tim yang memutuskan bahwa masalah yang menarik lebih sempit daripada chatbot. HiRO-ACEv2 adalah emulator iklim generasi kedua dari Ai2, diposting ke Hugging Face pada 12 Oktober 2026 sebagai repositori 10,9 GB tanpa pengumuman, bersama pracetak bertanggal hari berikutnya. MathForm-8B adalah model autoformalisasi OpenBMB, dibuat pada 14 Agustus 2026 dengan basis Qwen3-8B, yang mengubah matematika berbahasa alami menjadi pernyataan Lean 4. Yang satu menghasilkan atmosfer dalam grid 3 km; yang lain menghasilkan kewajiban pembuktian formal. Alasan membandingkan keduanya bukanlah kemampuan — tidak ada penggunaan yang tumpang tindih — melainkan hal yang keduanya klaim, yang ternyata berarti sesuatu yang sangat berbeda dalam tiap kasus: bahwa sebuah mesin dapat mengetahui apakah keluarannya benar.

Apa yang sebenarnya dihasilkan oleh setiap model

HiRO-ACEv2 menjalankan pipeline dua tahap. Emulator autoregresif menghasilkan X-SHIELD, model resolusi badai global, yang dikasarkan ke 100 km; model difusi yang dilatih secara terpisah kemudian melakukan downscaling keadaan kasar tersebut ke 3 km, menghasilkan laju presipitasi permukaan rata-rata enam jam, angin timur dan utara 10 meter sesaat, serta tekanan permukaan laut. Repositori ini menyimpan downscaler sebagai HiROv2.ckpt sekitar 1,28 GiB dan emulator kasar sebagai ACE2S-X-SHIELD.ckpt sekitar 2,98 GiB, ditambah data forcing NetCDF sepuluh tahun, dua file kondisi awal, dan konfigurasi YAML yang menyatukan semuanya.

MathForm-8B mengeluarkan teks, tetapi jenis yang sangat khusus: pernyataan teorema Lean 4. Kartu tersebut mendeskripsikannya sebagai model autoformalization yang dilatih pada dataset FormalVerse milik OpenBMB, pertama dengan supervised fine-tuning lalu dengan reinforcement learning yang reward-nya berasal dari kompilasi Lean dan umpan balik konsistensi semantik. Model ini 8B dense, Apache 2.0, dan mewarisi skalanya dari basisnya — Qwen3-8B — bukan dari jumlah parameter terbitan miliknya sendiri. Pengaturan generasi yang direkomendasikan adalah temperature 0.6, top-p 0.95, dan 16.384 token baru, pada server Transformers, vLLM, atau SGLang; evaluasi memerlukan Kimina Lean Server yang berjalan dan Lean 4.21.0.

Keduanya sempit secara desain. Itulah kesamaan nyata yang pertama, dan di situlah sebagian besar kesamaan itu berakhir.

Dua jenis pemeriksaan, dan mengapa hanya satu di antaranya yang menyelesaikan suatu argumen

Sisi Lean memiliki pemverifikasi yang menentukan. Sebuah pernyataan teorema entah dapat dikompilasi di bawah Lean 4 atau tidak, dan pemeriksa tipe adalah kalkulus yang tetap — ia tidak mengenal hari baik dan hari buruk, dan tidak perlu dikalibrasi. Itulah sebabnya loop pelatihan MathForm-8B dapat menggunakan kompilasi sebagai sinyal imbalan. Angka yang dipublikasikan adalah tingkat Pass@8 di bawah dua rezim, yakni pemeriksaan sintaks dan pemeriksaan konsistensi, yang dievaluasi pada enam benchmark; angka yang diperiksa sintaksnya berada pada 88,06% dan angka yang diperiksa konsistensinya pada 72,37%. Itu adalah angka penulis sendiri, yang tidak direproduksi di sini, dan selisih enam belas poin di antara keduanya adalah hal paling informatif pada kartu tersebut: pernyataan yang dapat dikompilasi tidak sama dengan pernyataan yang mengatakan apa yang dimaksud soal asli.

Sisi iklim tidak memiliki pemverifikasi semacam itu. Kartu model HiRO-ACEv2 tidak memuat tabel tolok ukur. Satu-satunya klaim kuantitatifnya adalah bahwa downscaler tersebut mereproduksi distribusi curah hujan acuan, angin 10 meter, dan tekanan permukaan laut hingga persentil ke-99,9999, dan bahwa secara umum ia mengikuti distribusi intensitas siklon tropis acuan. Makalah tersebut menambahkan bahwa biaya inferensi lebih dari 300 kali lebih murah daripada model numerik global konvensional yang meresolusi badai.

Setiap dari hal-hal itu adalah klaim distribusional terhadap suatu acuan, bukan uji lulus-gagal terhadap suatu kalkulus. Perbedaan itulah yang menentukan berapa lama setiap klaim bertahan tanpa dibantah. Anda dapat memfalsifikasi angka MathForm-8B dengan menjalankan model terhadap benchmark menggunakan server Lean dan GPU. Memfalsifikasi angka HiRO-ACEv2 memerlukan kumpulan data forcing sepuluh tahun, simulasi acuan untuk dibandingkan, dan analis yang bersedia bekerja di ekor ekstrem. Yang pertama adalah pekerjaan seminggu bagi seorang mahasiswa pascasarjana. Yang kedua adalah sebuah makalah.

Apa yang akan dan tidak akan diberitahukan oleh para vendor kepada Anda

Dua kartu model tersebut memiliki temperamen yang berlawanan, dan membacanya secara berdampingan memberi wawasan tentang apa fungsi sebuah kartu.

Kartu OpenBMB adalah lembar klaim dengan bagian keterbatasan. Kartu ini memberikan korpus pelatihan, struktur reward, parameter sampling yang direkomendasikan, versi Lean yang tepat, dan sebuah gambar yang melaporkan Pass@8 di enam benchmark — meskipun yang perlu dicatat, angka-angkanya berada di dalam gambar, bukan di teks, sehingga siapa pun yang melakukan scraping halaman secara programatik akan menemukan metode yang dijelaskan dengan cermat dan hasilnya sama sekali tidak. Yang tidak diberikannya adalah tanggal rilis; satu-satunya sinyal tanggal di mana pun dalam metadata adalah pengenal arXiv 2608.14221 dan stempel waktu pembuatan repositori 14 Agustus 2026.

Kartu Ai2 pada dasarnya adalah daftar batasan. Sembilan tahun data pelatihan, 2014 hingga 2022, untuk kedua checkpoint. Output yang mereproduksi X-SHIELD alih-alih observasi, sehingga membawa bias simulasi referensi. Tidak ada ekspektasi generalisasi di luar kondisi forcing pelatihan — poin yang dipertegas oleh makalah v2 dengan mencatat bahwa kerangka kerja ini belum diuji di luar 66°S hingga 70°N dan tidak dapat berjalan melewati 88°S atau 88°N. Diskontinuitas tumpang tindih patch di wilayah yang lebih besar daripada ubin pelatihan satu derajat berukuran 16×16. Catatan bahwa checkpoint ACE2S-X-SHIELD yang disertakan kurang diuji secara ketat dibandingkan lini ACE2-ERA5 sebelumnya, dan bahwa ini bukan untuk prakiraan cuaca. Dan lisensi — Apache 2.0 — yang membawa Pedoman Penggunaan Bertanggung Jawab Ai2 dan kerangka penelitian-dan-pendidikan.

Satu kartu memberi tahu Anda skor yang diperoleh model. Kartu lainnya memberi tahu Anda apa yang tidak dapat dilakukannya. Tidak ada yang menyembunyikan apa pun, dan pembaca yang menganggap yang kedua sebagai rilis yang lebih lemah telah salah memahami untuk apa artefak ini dibuat.

Bagian yang benar-benar dapat dibandingkan: berapa nilai sebuah fork

Inilah satu-satunya sumbu di mana kedua rilis dapat diukur dengan cara yang sama, dan itu bergerak ke arah yang berlawanan.

• Dari mana tulang punggungnya berasal — MathForm-8B adalah fine-tune penuh dari Qwen3-8B, sehingga garis keturunannya terdokumentasi dalam metadata Hugging Face dan leluhurnya adalah model terbuka yang banyak digunakan; komponen HiRO-ACEv2 dilatih di dalam pipeline milik Ai2 sendiri, dengan data pelatihan yang diatribusikan kepada X-SHIELD, yang disediakan oleh GFDL, dan tidak ada checkpoint terbuka hulu di bawahnya.

• Berapa banyak runtime yang dapat memuatnya — MathForm-8B berjalan di Transformers, vLLM atau SGLang, dan komunitas sudah menghasilkan kuantisasi GGUF dan MLX untuk llama.cpp dan Apple silicon; HiRO-ACEv2 berjalan melalui paket Python fme milik Ai2 dengan konfigurasi yang mengarah ke repositori ai2cm/ace, dan tidak ada jalur alternatif.

• Betapa cepatnya ekosistem bergerak — dalam empat hari sejak repositori MathForm-8B muncul, build GGUF komunitas sudah daring, dan konversi MLX 4-bit, 6-bit, serta 8-bit menyusul dalam dua minggu; repositori HiRO-ACEv2 hanya punya satu suka dan tanpa unduhan dua hari setelah commit terakhirnya.

• Berapa biaya yang harus Anda keluarkan untuk mendapatkan bobotnya — MathForm-8B diunduh sebagai checkpoint model biasa dan dikuantisasi agar muat di perangkat keras konsumen; HiRO-ACEv2 adalah repositori berukuran 10,9 GB, sebagian besarnya berisi data forcing dan kondisi awal alih-alih bobot, dan ukurannya tidak menyusut.

Polanya adalah bahwa model bahasa khusus aplikasi mewarisi ekosistem dari backbone-nya, sedangkan emulator fisik khusus aplikasi tidak mewarisi apa pun. Untuk MathForm-8B, pekerjaan untuk menjalankannya sebagian besar sudah selesai sebelum model itu ada. Untuk HiRO-ACEv2, semuanya dimulai dari README.

Di mana lapisan perutean cocok, dan di mana tidak

Jawaban jujur di sini bersifat asimetris, dan ada baiknya dinyatakan secara terus terang alih-alih menyiratkan kedua model setara. MathForm-8B sendiri tidak ada dalam katalog kami — checkpoint hasil fine-tuning berasal dari distribusi OpenBMB sendiri dan perlu dijalankan di server Anda sendiri di samping instalasi Lean yang dipanggilnya. Nenek moyangnya juga tidak ada dalam katalog kami, yang perlu dikatakan karena asumsinya justru berlaku sebaliknya: checkpoint Qwen3-8B spesifik yang menjadi dasar fine-tuning-nya adalah rilis tahun 2025 dan bukan salah satu ID Qwen yang kami layani. Yang kami rutekan adalah generasi Qwen saat ini di sekitarnya — tier Qwen3.8 dan Qwen3.5, dan checkpoint Qwen3-VL-8B-Instruct yang berbagi skala 8B dan garis keturunan keluarga yang sama dengan $0.18 per juta token input dan $0.70 per juta token output dalam konteks 131,072 token.

Itu adalah lapisan yang sebenarnya dibutuhkan oleh pipeline formalisasi. Memecah buku teks menjadi pernyataan kandidat, mengekstrak teorema informal dari sebuah makalah sebelum dikirim ke autoformalizer, atau mengubah pesan kesalahan Lean menjadi diagnosis adalah panggilan model bahasa biasa, dan semuanya dapat dijalankan melalui kunci yang sama seperti yang lain. HiRO-ACEv2 tidak dapat dirutekan dan tidak akan pernah bisa dalam bentuknya saat ini, karena tidak ada permintaan berpatokan token untuk dirutekan — 10,9 gigabita checkpoint dan skrip shell bukanlah sebuah endpoint.

Apa yang Anda dapatkan dari satu kunci untuk lebih dari dua ratus model yang dirutekan, dalam pipeline yang dibangun di sekitar salah satu dari keduanya, adalah bahwa pekerjaan di sekitarnya menjadi sebuah panggilan, bukan proyek: harga daftar penyedia diteruskan tanpa tambahan markup, failover antarpenyedia otomatis, dan skrip yang menjalankan ansambel atau proses formalisasi tidak memerlukan kontrak vendor kedua untuk merangkum outputnya sendiri.

Yang perlu diperhatikan di kedua sisi

Angka yang penting di sisi Lean adalah reproduksi independen atas angka 88.06 dan 72.37 oleh kelompok yang tidak memiliki kepentingan dalam resep pelatihan, idealnya dipilah per benchmark alih-alih dirata-ratakan menjadi satu Pass@8 — sebab kegagalan autoformalisasi mengelompok menurut domain matematika, dan nilai rata-rata menyembunyikan persis pola yang dibutuhkan praktisi. Angka yang penting di sisi iklim adalah perbandingan terhadap model numerik yang meresolusi badai yang dijalankan pada perangkat keras yang sama oleh pihak selain penulis emulator, karena klaim inferensi 300 kali itulah yang menentukan apakah teknik ini diadopsi secara operasional.

Sampai saat itu, kedua model paling baik dibaca dengan cara yang dikehendaki oleh kartu masing-masing. MathForm-8B adalah autoformalizer yang kuat dengan kompiler yang berdiri di belakang keluarannya, dan pertanyaan menarik tentangnya adalah seberapa sering pernyataan yang dikompilasi mengatakan hal yang tepat, bukan sekadar hal yang benar. HiRO-ACEv2 adalah emulator riset yang baru saja menambahkan angin dan tekanan pada keluaran yang sebelumnya hanya berupa curah hujan, dan pertanyaan menariknya adalah apakah medan yang ditambahkan konsisten secara fisik dengan curah hujan yang disertakan di sampingnya — sesuatu yang tidak akan diberitahukan oleh tabel tolok ukur mana pun bahkan jika tabel semacam itu ada.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.