Solar Mini 4 vs MathForm 8B: Satu Model Menjawab Pertanyaannya, Model Lainnya Membuatnya Dapat Diperiksa

Letakkan Solar Mini 4 di samping MathForm 8B dan Anda sedang membandingkan dua model yang tidak bersaing untuk token yang sama. Solar Mini 4 adalah sparse mixture-of-experts 35 miliar parameter milik Upstage, dirilis 22 September 2026 dengan sekitar 3 miliar parameter aktif per token, dan ia menjawab pertanyaan: membaca dokumen panjang, menalar atasnya, mengembalikan hasil tertulis. MathForm 8B adalah autoformalizer 8 miliar parameter milik OpenBMB, dipublikasikan 14 Agustus 2026 di bawah Apache 2.0, dan ia melakukan sesuatu yang sama sekali tidak dilakukan model penalaran mana pun — ia mengambil pernyataan matematis berbahasa alami dan menulisnya ulang sebagai teorema Lean 4 yang akan diperiksa tipe oleh kompiler asisten pembuktian. Yang satu menghasilkan jawaban. Yang lain menghasilkan pertanyaan yang dapat diperiksa mesin, dan yang kedua adalah komoditas yang lebih langka.

Perbandingan itu tetap layak dilakukan karena keduanya berakhir di jenis pipeline yang sama, dan karena keduanya memiliki kekuatan yang berlawanan dengan cara yang membuat pilihannya luar biasa jelas. Model Upstage kuat pada dokumen panjang, lemah dalam penalaran sulit, dan mahal per tugas yang diselesaikan. Model OpenBMB sempit sampai tidak berguna di luar ceruknya, belum pernah dinilai sama sekali oleh evaluator independen, dan tidak memakan biaya untuk dijalankan setelah Anda memiliki GPU.

Berdampingan, pada hal-hal yang berbeda

• Apa itu — Solar Mini 4 adalah model penalaran umum dengan konteks 1 juta token (512K menurut dokumentasi Upstage sendiri) dan nilai terukur 24,1 pada Artificial Analysis Intelligence Index. MathForm 8B adalah autoformalizer tugas tunggal tanpa skor indeks yang dipublikasikan, tanpa evaluasi independen, dan tanpa klaim kemampuan umum.

• Parameter — 35B total / 3B aktif, jarang, untuk Solar Mini 4; 8,19B padat untuk MathForm 8B, disetel halus dari Qwen3-8B pada korpus FormalVerse milik OpenBMB yang berisi sekitar 367.000 contoh Lean 4 terverifikasi.

• Lisensi dan pengiriman — Solar Mini 4 bersifat proprietary, diakses melalui API Upstage dan platform pihak ketiga. MathForm 8B adalah bobot Apache-2.0 dengan template chat, empat shard safetensors, dan jalur deployment Transformers, vLLM, atau SGLang di balik endpoint yang kompatibel dengan OpenAI.

• Harga — Solar Mini 4 seharga $0.10 / $0.01 untuk cache / $0.40 per juta token, saat ini diskon 50% hingga 22 Oktober 2026. MathForm 8B tidak memiliki daftar harga; biayanya adalah GPU yang Anda pasang di bawahnya.

• Kecepatan — 204 token output per detik untuk Solar Mini 4 pada harness Artificial Analysis, dengan 88.300 token output per tugas indeks dan sekitar 430 detik kerja per tugas. Output MathForm 8B adalah satu header teorema Lean 4, paling banyak beberapa ratus token.

• Independensi angkanya — Solar Mini 4 telah dijalankan oleh pihak ketiga. MathForm 8B belum: setiap angka dalam makalahnya adalah milik penulisnya sendiri, dan model itu terlalu baru dan terlalu terspesialisasi sehingga belum menarik uji coba independen.

Di mana kedua model bertemu, dan di mana keduanya tidak

Mode kegagalan itulah yang membuat pasangan ini menarik, karena keduanya merupakan kebalikan yang tepat. Hasil terlemah yang dipublikasikan Solar Mini 4 adalah Terminal-Bench 4.0 sebesar 1%, dengan AutomationBench-AA sebesar 22,3% — ia buruk dalam memverifikasi pekerjaannya sendiri di lingkungan yang memberinya umpan balik. Seluruh premis desain MathForm 8B adalah verifikasi: OpenBMB membedakan Pemeriksaan Sintaks, yang menanyakan apakah pernyataan Lean 4 dapat dikompilasi, dari Pemeriksaan Konsistensi, yang menanyakan apakah pernyataan yang dikompilasi itu benar-benar berarti hal yang sama dengan masalah informal. Kegagalan klasik yang ingin dicegahnya adalah pernyataan yang lolos pemeriksaan tipe namun secara diam-diam melemahkan klaim tersebut.

Itu adalah perbedaan yang nyata dan perlu dinyatakan dengan tepat. Model penalaran yang menghasilkan pembuktian memiliki masalah verifikasi mandiri yang sudah dikenal: tidak ada apa pun dalam proses generasi yang memberi tahu Anda apakah jawabannya benar. Kompiler bisa. Jika alur kerja Anda adalah "mengubah bank soal menjadi sesuatu yang dapat diperiksa mesin," MathForm 8B mengerjakan separuh pekerjaan yang sama sekali tidak dapat dilakukan Solar Mini 4, dan sisanya bukanlah persoalan derajat.

Angka-angka vendor, yang dilabeli demikian: makalah OpenBMB melaporkan rata-rata Pass@8 sebesar 88,06% pada Syntax Check dan 72,37% pada Consistency Check di enam benchmark, dan mengklaim angka-angka itu mengalahkan beberapa autoformalizer 32B khusus. Tidak ada satu pun dari itu yang telah direproduksi oleh pihak ketiga. Penurunan 16 poin antara kedua pemeriksaan itu adalah angka yang lebih informatif — ini mengukur seberapa sering pernyataan yang dikompilasi tidak persis sama dengan masalah yang Anda tanyakan, dan itulah alasan Consistency Check ada sebagai kolom terpisah.

Mengapa sebuah tim akan menjalankan keduanya

Karena pipeline alaminya memiliki tahap murah bervolume tinggi dan tahap mahal bervolume rendah. MathForm 8B berjalan di perangkat keras Anda sendiri dan mengubah masalah informal menjadi header Lean 4, dengan compiler yang tersedia untuk menolak keluaran buruk sebelum manusia melihatnya. Solar Mini 4 menangani apa yang terjadi di sekitarnya: membaca makalah pendukung, mengekstrak asumsi, meringkas hasilnya dalam bahasa Korea atau Inggris, dan merutekan pekerjaan. Keduanya tidak pernah bersaing untuk permintaan yang sama, dan yang lebih kecil adalah yang memiliki bagian pekerjaan dengan sinyal lulus/gagal yang objektif.

Tidak ada dari kedua model itu yang bisa kami rutekan kepada Anda — model-model Upstage tidak ada di OrcaRouter, begitu pula milik OpenBMB — jadi jika Anda menginginkan Solar Mini 4, model itu berasal dari API milik Upstage sendiri, dan jika Anda menginginkan MathForm 8B, model itu berasal dari Hugging Face dan GPU Anda sendiri. Yang bisa kami lakukan adalah menempatkan sisa pipeline itu di balik satu kunci: lebih dari 200 model dengan markup 0% di atas harga daftar penyedia, failover otomatis antar penyedia, dan DSL routing yang memungkinkan Anda merangkai model-model menjadi satu panggilan. Dalam alur kerja di mana spesialis kecil mengerjakan langkah formalisasi dan generalis besar mengerjakan segala hal di sekitarnya, kemampuan untuk mengganti generalis hanya dengan menyunting string model — alih-alih merilis integrasi baru — adalah perbedaan antara perubahan yang memakan waktu dua minggu dan satu sore.

Apa yang bisa diambil

Jika pertanyaan Anda adalah "mana dari ini yang harus saya gunakan," jawaban jujurnya adalah bahwa itu bergantung pada apakah Anda membutuhkan jawaban atau formalisasi, dan tidak ada tolok ukur yang bisa menyelesaikannya. Jika pertanyaan Anda adalah "apakah MathForm 8B layak diunduh," jawabannya ya untuk satu pekerjaan yang sempit dan tidak untuk hal lain — ia adalah pemformalisasi, bukan pembukti, dan kewajiban pembuktian tetap terbuka dalam keluaran yang dihasilkannya. Jika pertanyaan Anda adalah "apakah Solar Mini 4 sepadan dengan $0.36 per tugas," jawabannya ya untuk dokumen panjang dalam jumlah besar dan tidak untuk apa pun yang mengharuskannya memeriksa pekerjaannya sendiri.

Sumber, sebagai penutup. Setiap angka Solar Mini 4 di atas adalah pengukuran independen oleh Artificial Analysis kecuali jendela konteks, yang merupakan angka milik Upstage sendiri dan tidak sesuai dengan angka mereka. Setiap angka MathForm 8B dilaporkan vendor dari arXiv 2608.14221 dan belum direproduksi, dan perilisannya tidak diumumkan — bobot, dataset FormalVerse, dan makalahnya semuanya muncul pada 14 Agustus 2026, tanpa posting blog vendor dan tanpa uji benchmark independen hingga saat ini.