Kartu judul yang dihasilkan berjudul 'Karpo Decision 31B' dengan subjudul 'Fine-tune Gemma 4 31B di puncak papan 307 model, tanpa pos peluncuran atas namanya', tiga chip bertuliskan 'bobot: 5 November 2026', 'Skor penuh: 73.9' dan 'pengumuman: tidak ada', linimasa horizontal empat titik bertuliskan '5 Nov repositori', '6 Nov proses penilaian', '12 Nov keluarga enam model' dan '16 Nov suntingan README', serta kartu bergaris luar bertuliskan 'tanpa harga', 'tanpa endpoint' dan 'tanpa baris Artificial Analysis'.
Guides & Insights

Karpo Decision 31B Memuncaki Papan 307 Model Tanpa Postingan Peluncuran Sama Sekali

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Pada 12 November 2026, Decision Index — papan peringkat komunitas yang melacak reproduksi terbuka Je​v milik TypeSafe — menempatkan Karpo Decision 31B di puncak skor Full-nya, 73,9, tertinggi dari 307 entri. Pada minggu yang sama, mulai beredar klaim bahwa model ini, hasil fine-tuning dari Gemma 4 31B terbuka milik Goog​le, mengalahkan Gem​ini Decision 1 milik Goog​le sendiri. Hanya satu dari dua pernyataan itu yang dapat diperiksa pembaca hari ini, dan perbedaan di antara keduanya adalah inti ceritanya. Papan yang menempatkan Karpo di posisi pertama bersifat publik, bertanggal, dan dapat direproduksi dari berkas hasil berukuran 45 MB yang diterbitkan laboratorium tersebut. Perbandingan head-to-head melawan Gem​ini Decision 1 belum pernah dijalankan: kedua model tidak berbagi satu papan peringkat pun, dan instrumen yang digunakan untuk menilai keduanya bukanlah instrumen yang sama.

Yang membuat paruh pertama terasa aneh bukanlah skornya. Yang aneh adalah keheningan di sekitarnya. MachinePulse Pte. Ltd., perusahaan Singapura di balik Karpo, membuat repositori Hugging Face pada 5 November 2026, menerbitkan repositori inferensi di GitHub pada hari yang sama, dan meluncurkan lima model saudara yang lebih kecil — 12B, 9B, 4B, 2B dan 0.8B — pada 12 November. Per saat penulisan ini, tidak ada halaman produk, tidak ada pos blog, tidak ada harga, tidak ada pengumuman model, dan tidak ada API. Situs perusahaan itu sendiri mengembalikan 404 di setiap jalur yang seharusnya memuatnya. Karpo ada sebagai bobot, README, paket Python, dan satu baris papan peringkat. Tulisan ini membahas apa yang dapat dan tidak dapat diberitahukan oleh keempat hal itu kepada Anda.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Tanggal-tanggal tersebut, dan mengapa itu lebih penting dari biasanya

Stempel pembuatan repositori adalah 5 November 2026 pukul 15.33 UTC. Kode inferensi GitHub dibuat dua puluh dua menit kemudian. Dataset Decision Index run — hal yang membuat 73.9 dapat diaudit — diunggah pada 6 November pukul 05.18 UTC. README masih diedit pada 16 November, dua commit terakhir tidak mengubah apa pun selain baris hak cipta dan pernyataan lisensi.

Itu adalah model berusia dua minggu dengan repositori yang aktif dan tanpa peluncuran. Ini bukan kebocoran, dan ini bukan penggantian nama dari sesuatu yang lebih lama: bobotnya baru, berkas lisensinya baru, dan keluarga enam model itu di-push dalam satu sore. Yang terjadi adalah sebuah lab yang memutuskan untuk menerbitkan artefak sebelum pemasaran.

Apa yang diukur oleh 73.9, tepatnya

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

Decision Index sebagaimana adanya saat ini adalah edisi 0.4.1. Skor Full-nya dihitung oleh para pengelola papan melalui tes privat: sekitar 60% tugas diambil dari keterampilan yang sama dengan suite publik dan 40% dari domain yang tidak dicakup suite publik. Baris Karpo tercatat 73,9 Full, dengan 70,7 pada porsi keterampilan yang sama dan 78,6 pada porsi domain baru. Dua angka terakhir itu berada dalam urutan yang tidak biasa — biasanya sebuah model tampil lebih buruk di wilayah yang tidak dikenalnya daripada pada keterampilan yang menjadi dasar penyetelannya — dan kartu tersebut melaporkannya tanpa komentar.

Papan peringkat menerbitkan satu peringkat untuk model dalam selisih 0,9 poin dari pemimpin, sehingga Karpo tidak sendirian di posisi pertama. GLiDE 27B, pada 73,4, berbagi slot #1. Di belakang mereka ada REAX 1.3 pada 72,6, Logits Sigma-1 Duo pada 72,3, Copernicus-31B pada 72,1 dan KnowLine 31B Gen1.5 pada 71,9. Ini adalah puncak yang padat, bukan dominasi mutlak.

Angka kedua pada kartu, 75,05, memiliki asal-usul yang berbeda dan layak dibaca secara berbeda. Itu adalah indeks publik, dan berasal dari eksekusi kit penilaian resmi oleh MachinePulse sendiri — 140.178 permintaan yang dinilai, sembilan di antaranya ditolak karena satu pertanyaan ditambah state-nya melebihi jendela 32.768 token. Dewan mengadopsi eksekusi tersebut. Alasan untuk lebih mempercayainya daripada angka vendor biasa adalah direktori eksekusinya bersifat publik: results.jsonl.gz, file skor per permintaan, manifes lingkungan. Siapa pun dapat menjalankan ulang kit tersebut dan membandingkan. Adopsi oleh dewan itu sendiri adalah langkah peninjauannya. Itu adalah standar yang lebih kuat daripada yang dipenuhi sebagian besar klaim peluncuran, dan tetap tidak sama dengan laboratorium independen yang menilai model pada perangkat kerasnya sendiri.

Dua label, kalau begitu, dan keduanya tidak boleh digabungkan: Skor Penuh dihitung oleh pihak ketiga dari pengujian privat; indeks publik dihitung oleh pihak pertama dari suite publik dan diadopsi. Keduanya bukan tolok ukur vendor dalam pengertian biasa. Keduanya bukan Artificial Analysis.

Mengapa "beats Gem​ini Decision 1" belum merupakan pernyataan yang terukur

Gem​ini Decision 1 memiliki angka. Artificial Analysis memberinya skor 65,98 pada Decision Index v2.1, sebuah komposit dari enam evaluasi yang diberi bobot pada keputusan dokumen, pemanggilan alat, pengetahuan, penalaran, dan invariansi. Di papan tersebut, ia berada di peringkat kesebelas di antara model keputusan yang diperingkat AA, di bawah d1.2-ultra pada 74,85, Drex Max v1.1 pada 72,62, dan SubQ Snap 1.2 pada 72,58, serta di atas Microsoft-Decision-1 pada 62,07. Penilaian tersebut adalah milik AA, pada perangkat keras AA, dan biayanya $345 per sejuta tugas untuk dijalankan.

Karpo sama sekali tidak muncul di papan itu. Artificial Analysis tidak memiliki halaman maupun baris untuknya. Gemini Decision 1 juga tidak muncul di pelacak Decision Index yang memuat Karpo — papan itu adalah daftar reproduksi terbuka, dan model Google adalah produk tertutup yang hanya tersedia melalui API tanpa bobot untuk direproduksi.

Jadi perbandingan yang dilakukan semua orang adalah inferensi dari dua angka yang dihasilkan oleh dua organisasi pada dua rangkaian uji dengan komposisi tugas berbeda, porsi uji privat berbeda, dan rumus penilaian berbeda. 73,9 tidak lebih besar dari 65,98 dalam pengertian apa pun yang tetap bertahan saat dihadapkan pada metodologi. Jika keduanya dijalankan dengan perangkat uji yang sama besok, Karpo bisa saja menang — profil per kategorinya kuat — tetapi belum ada yang menjalankannya, dan judul beritanya saat ini adalah hipotesis yang berlagak seperti hasil.

Ada satu detail tambahan yang perlu diketahui, karena hal itu justru melemahkan klaim tersebut, bukan mendukungnya. Pada lima rincian kategori pelacak, area terlemah Karpo adalah pengetahuan dan penalaran, dengan 65,5 keterampilan terkoreksi peluang. Area terkuatnya adalah alat dan otomasi, dengan 88,4. Di papan AA, satu-satunya komponen tempat Gemini Decision 1 mengalahkan hampir semua hal adalah komponen pengetahuan: 66,3 pada AA-Omniscience, tertinggi di antara empat model yang diperiksa di sini. Area tempat model Google paling unggul adalah area tempat fine-tune Gemma relatif paling lemah. Perbandingan langsung di sana akan menjadi kontes yang sesungguhnya, bukan kemenangan mudah, dan itulah tepatnya mengapa perbandingan yang tidak dijalankan tidak boleh dilaporkan sebagai kemenangan.

Bagian kartu yang lebih menarik daripada peringkatnya

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo bukan model chat dengan mode JSON. Ini adalah readout. Setiap opsi dalam pertanyaan mendapat kode opsi, dan head linear memberi skor pada 255 kode di slot tetap, lalu menerapkan softmax atas opsi yang benar-benar ditawarkan oleh pertanyaan. Tidak ada yang dihasilkan, sehingga jawabannya selalu salah satu pilihan yang Anda berikan dan biaya output secara struktural nol.

Arsitektur ini layak mendapat satu paragraf karena menjelaskan latensi. Satu permintaan terdiri dari satu state ditambah sejumlah pertanyaan, yang dikodekan sebagai satu rangkaian: pertanyaan lebih dulu, lalu state, lalu satu cabang per pertanyaan. Atensi bercabang memungkinkan suatu cabang membaca blok bersama dan dirinya sendiri, tidak pernah cabang lain. State dihitung sekali. Seratus pertanyaan tentang satu faktur karenanya membutuhkan kira-kira satu lintasan atas faktur tersebut, bukan seratus.

• Parameter — 31,3B dalam bf16, ditambah readout 255 × 5.376 dalam fp32; sekitar 62,5 GB di disk.

• Konteks — 32,768 token per sekuens; permintaan yang lebih panjang dipecah per pertanyaan, setiap bagian membawa status lengkap, dan pertanyaan yang masih tidak muat akan ditolak, bukan dipotong.

• Masukan — teks, JSON, dan gambar; tangkapan layar dapat diteruskan sebagai state.viewport_screenshot atau sebagai data URL.

• Jenis pertanyaan — choice dengan hingga 255 opsi, noul untuk benar/salah, score untuk level berurutan.

• Antarmuka — API Python dan server HTTP dalam bentuk System One, POST /v1/systemone.

• Lisensi — Apache-2.0 untuk bobot dan kode, dengan lisensi milik Gem​ma 4 sendiri disertakan bersama di repositori.

Latensi terukur pada perangkat keras referensi tracker, satu GPU dan satu permintaan dalam satu waktu, adalah median 94 ms. Itu tidak cukup cepat untuk tidak terlihat di dalam loop agen per langkah yang melakukan dua puluh panggilan kecil per giliran, dan cukup cepat untuk berada di balik gerbang pemanggilan alat yang aktif beberapa kali per percakapan. Kartu tersebut juga melaporkan kesalahan kalibrasi sebesar 4,8 poin, angka yang sebenarnya menjadi sandaran penerapan: akurasi memberi tahu seberapa sering jawaban teratas benar, kalibrasi memberi tahu apakah probabilitas yang melekat padanya dapat dijadikan ambang.

Apa yang belum dikonfirmasi, dinyatakan secara gamblang.

Tidak ada harga. Bukan "belum diumumkan menunggu peluncuran" — tidak ada daftar tarif, tidak ada endpoint yang dihosting, tidak ada konsol, tidak ada uji coba. Jika Anda ingin Karpo Decision 31B hari ini, unduh 62,5 GB dan jalankan di GPU Anda sendiri dengan loader milik repositori itu sendiri. Memuat checkpoint sebagai model chat biasa tidak akan mereproduksi jawabannya; branch attention dan readout sama-sama diperlukan.

Tidak ada skor independen. Decision Index bersifat tidak resmi dan dikelola komunitas. Indeks ini cermat, terdokumentasi dengan baik, dan luar biasa transparan tentang metodenya, dan indeks ini bukan Artificial Analysis, dan indeks ini belum diminta untuk menilai model ini pada perangkat kerasnya sendiri. Elemen pihak ketiga terkuat adalah bahwa para pengelolanya menghitung skor penuh pada pengujian yang tidak pernah dilihat vendor.

Tidak ada pernyataan vendor tentang untuk apa model ini dibuat selain deskripsi README itu sendiri: keputusan-keputusan kecil yang dibuat agen pada setiap langkah — apakah akan memanggil alat atau bertanya terlebih dahulu, elemen mana pada halaman yang harus diklik, apakah suatu pengembalian memenuhi syarat berdasarkan kebijakan. Deskripsi itu adalah framing pihak lab, bukan cakupan yang divalidasi secara independen.

Dan tidak ada pengumuman. Bukan yang diam-diam, bukan entri changelog. Dua minggu setelah bobotnya diunggah, permukaan publik perusahaan hanyalah halaman rekrutmen dan lini produk yang berbeda.

Bagaimana posisi tim yang ingin mencobanya

Ringkasan jujurnya adalah bahwa Karpo Decision 31B adalah model keputusan terbuka paling menarik dalam dua pekan terakhir sekaligus yang paling kurang didukung. Keunggulannya nyata tetapi imbang, indeks publiknya dapat direproduksi, skor uji privatnya benar-benar dari pihak ketiga, dan klaim pemasaran utamanya — bahwa fine-tune Gem​ma kini mengalahkan Goog​le pada model keputusannya sendiri — belum terukur.

Bagi tim yang sudah menjalankan lapisan keputusan, rute praktisnya adalah penerapan bayangan alih-alih migrasi. Pertahankan model yang menangani lalu lintas produksi, jalankan Karpo pada permintaan yang sama secara offline, dan bandingkan probabilitasnya alih-alih labelnya: kesalahan kalibrasi sebesar 4,8 poin berarti kira-kira satu dari dua puluh jawaban lebih yakin-salah daripada yang disiratkan oleh probabilitas yang dinyatakannya, dan kebijakan ambang batas Andalah yang mengubahnya menjadi antrean tinjauan manusia atau insiden. Jika Anda menyeragamkan satu endpoint untuk sisa tumpukan, model yang benar-benar dapat Anda jangkau minggu ini adalah model yang ada di katalog — Gemma 4 31B itu sendiri, yang menjadi basis Karpo dan disajikan melalui satu API untuk 200+ model dengan harga daftar penyedia tanpa markup, dan Jev 1.14 dari TypeSafe, model yang menjadi target seluruh papan reproduksi terbuka ini. Karpo harus memperoleh slotnya sebagaimana yang lain: dengan dapat dipanggil.

Yang perlu diperhatikan bukanlah 73.9. Yang perlu diperhatikan adalah apakah MachinePulse merilis halaman produk, harga, dan pengajuan AA dalam bulan depan. Lab yang menerbitkan bobot sebelum memiliki situs web biasanya punya alasan, dan alasannya cenderung muncul sebagai endpoint yang dihosting atau pivot. Apa pun itu, angka independen pertama di papan AA akan menyelesaikan dalam seminggu apa yang belum diselesaikan oleh aritmetika papan peringkat selama dua minggu.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari