Bobot Inkling 2 Small Sudah Tersedia: 394 GB, Apache 2.0, dan Tagihan Seukuran Node

Commit bobot pertama di repositori Inkling 2 Small diberi stempel 19.53 UTC pada 12 November 2026—sembilan jam sebelum tulisan ini dibuat. Hingga saat itu, model tersebut hanyalah kartu tarif dan tabel benchmark: Thinking Machines Lab meluncurkannya pada 5 November dengan bobot tertutup, endpoint Tinker, dan niat yang dinyatakan untuk menerbitkan checkpoint di bawah Apache 2.0 "pekan depan." Jadi, model itu sendiri berusia delapan hari. Yang baru adalah Anda dapat mengunduhnya, dan unduhannya bukan berkas kecil.

Dua repositori bersifat publik. Checkpoint utamanya berukuran 393,5 GB yang tersebar dalam 36 file, 24 di antaranya adalah shard safetensors. Varian MXFP8 berukuran 622,8 GB. Keduanya dinyatakan Apache 2.0 dalam metadata kartu model. Itulah keseluruhan pengumuman sejauh ini — kartu model, repositori, dan pembaruan satu paragraf yang dilampirkan pada postingan peluncuran. Semua yang di bawah ini dibaca dari sumber-sumber primer tersebut ditambah dua panduan penyajian yang disertakan bersama keduanya, dan perlu terus terang tentang hal yang masih hilang: pengujian keselamatan eksternal yang dinyatakan sebagai prasyarat untuk membuka bobot ini belum dipublikasikan.

Apa sebenarnya isi unduhannya?

Mulailah dari ukurannya, karena itulah hal pertama yang menentukan apakah model ini sama sekali tersedia untuk Anda. Tata letak presisi campuran menjelaskan angka tersebut hampir persis, yang merupakan tanda baik bahwa angka-angka yang dipublikasikan konsisten satu sama lain, bukan sekadar materi pemasaran.

• Pemisahan checkpoint — expert NVFP4 di lapisan 0 hingga 39, expert MXFP8 di lapisan 40 hingga 47, sesuai cookbook SGLang.

• Ukuran yang diprediksi — rata-rata 5,33 bit per parameter pada pembagian 40/48 dan 8/48 tersebut menghasilkan 396 GB untuk 594B parameter.

• Ukuran terukur — 393.5 GB untuk repositori utama, termasuk file tokenizer dan konfigurasi.

• Repositori MXFP8 — 622,8 GB, dan indeks safetensors menghitung 612,4B parameter tersimpan dibandingkan dengan 383,1B di repositori utama, karena pengemasan bobot expert ke empat bit mengurangi jumlah elemen yang dihitung, bukan modelnya.

Arsitektur di baliknya adalah transformer decoder-only 48 lapisan dengan blok feed-forward sparse mixture-of-experts: 384 expert yang dirutekan, 8 aktif per token, lebar hidden 4,608, 48 kepala atensi pada 8 kepala key-value dengan masing-masing 128 dimensi, dan kosakata 201,024 token. Atensi bersifat hibrida, bukan seragam — 40 dari 48 lapisan menggunakan jendela geser 1,024 token dan hanya 8 yang global, dari sinilah anggaran konteks panjang berasal. Menara visi adalah transformer 23 lapisan terpisah dengan lebar hidden 1,024 dan 16 kepala, yang membaca patch 20×20 piksel dengan penggabungan 2×2, sehingga setiap token gambar mencakup wilayah 40×40 piksel; kartu tersebut meminta gambar antara 40 dan 4,096 piksel per sisi.

Ada juga head prediksi multi-token yang dipasang untuk decoding spekulatif — lima lapis, ukuran blok 8, peringkat Markov 256, dan lapisan target pada 5, 11, 17, 23, 29, 35, 41 serta blok terakhir. Itu persis delapan lapisan atensi global, dan detail itulah yang menunjukkan bahwa head draf dirancang dengan mempertimbangkan stack hibrida, bukan ditambahkan belakangan. Thinking Machines menyebut decoder yang dihasilkan "DSpark."

Satu hal administratif bagi siapa pun yang tinjauan hukumnya meminta dokumen: lisensi dideklarasikan dalam metadata kartu model sebagai Apache 2.0 dan kartu tersebut menautkan ke deed standar, tetapi tidak ada file LICENSE, LICENSE.md, LICENSE.txt, atau NOTICE di pohon repositori. Keempatnya tidak mengembalikan apa pun. Deklarasinya nyata dan tidak ambigu; artefak yang paling diharapkan ditemukan oleh tim hukum tidak ada di sana.

Daftar perangkat keras, dan titik di mana vendor dan cookbook tidak sependapat

Kartu model memberikan batas bawah VRAM. Resep penyajian memberikan topologi. Keduanya bukan angka yang sama, dan selisih di antara keduanya adalah hal paling praktis di halaman ini.

• NVFP4 utama — setidaknya 500 GB VRAM teragregasi; contoh untuk kartu ini adalah 2× B300 atau 4× H200.

• Varian MXFP8 — setidaknya 800 GB; contohnya 4× B300 atau 8× H200.

• SGLang, topologi per-GPU — GB200, GB300, dan B300 pada TP 4 / EP 4; B200 pada TP 4 / EP 4 dengan TP 8 direkomendasikan untuk headroom KV; H200 dengan NVFP4 pada TP 8 / EP 8; MI350X dan MI355X pada TP 8 / EP 8; Vera Rubin pada TP 4 / EP 4; TPU7x pada 8 / 8 di host empat chip.

• MXFP8 pada B200 atau GB200 — TP 8 / EP 8, sekitar 151 GB bobot per GPU.

Batasan di balik semua ini — paralelisme expert harus sama dengan paralelisme tensor, karena skala aktivasi expert NVFP4 mencakup seluruh lebar input setiap expert dan tidak dapat di-shard secara paralel-tensor.

Jadi, contoh 4× H200 pada kartu tersebut memenuhi batas minimum 500 GB tetapi bukan topologi yang divalidasi cookbook; H200 tercantum untuk 8-way. Batas minimum penyimpanan dan memori memberi tahu Anda apakah konfigurasi itu muat. Itu tidak memberi tahu Anda apakah konfigurasi itu berjalan, dan untuk checkpoint ini angka kedua adalah dua kali angka pertama pada perangkat keras yang dimiliki kebanyakan orang. Jika Anda melakukan provisioning, rencanakan berdasarkan resep, bukan batas minimum.

Jalur AMD baru berusia dua hari dan belum digabungkan.

Radar yang memunculkan tulisan ini menangkap pull request dukungan AMD, bukan rilis bobot, dan framing jujur dari PR itu sendiri adalah bahwa ini merupakan pekerjaan engine — jenis hal yang bukan berita. Ini penting di sini hanya karena hal itu hadir pada minggu yang sama dengan checkpoint, dan karena ini adalah vendor silikon kedua dengan image kontainer.

Permintaan pull request menambahkan dukungan gfx950 untuk MI350X dan MI355X, dibangun di atas port dasar Inkling 2 Small. Yang diubah: kernel ROCm berada di modul *_hip.py terpisah yang hanya dijangkau di bawah HIP, jalur CUDA dan NPU tidak disentuh, pool KV terpadu dan prefill grafik penuh menjadi default peluncuran, MegaMoE ditolak alih-alih dicoba, dan kuantisasi quick-reduce diabaikan kecuali flag lingkungan mengizinkannya. gfx950 diperlukan kecuali variabel lingkungan kedua menimpanya — artinya kartu kelas MI300 ditolak saat peluncuran, dan penulis PR mengatakan gfx942 "belum dijalankan."

Pengukuran dalam PR, yang merupakan milik penulis sendiri dan belum ditinjau: 426 uji unit lulus pada satu MI350X, 98,0% pada GSM8K-200 dengan upaya seimbang dan 97,5% dengan DSpark pada panjang penerimaan 4,04, serta waktu per token keluaran pada 2.048 input dan 512 output sebesar 5,15 ms dengan mode seimbang dibandingkan 2,10 ms dengan DSpark. Angka-angka itu setara dengan sekitar 194 dan 476 token keluaran per detik pada satu aliran di delapan akselerator. Dengan AITer diaktifkan, angka akurasi berubah menjadi 97,5% dan 96,5%.

Status PR ini adalah draf. CI belum dijalankan pada PR ini — job dasar terblokir karena label yang tidak ada dan tidak ada proses AMD yang tercatat untuk commit yang sedang ditinjau — dan semua code owner yang terdaftar masih menunggu tinjauan. Anggaplah dukungan MI350X sebagai sesuatu yang dapat Anda bangun dari sumber minggu ini, bukan sebagai sesuatu yang dapat Anda beli.

Menyajikannya berarti image dev, bukan rilis

Kedua stack utama memiliki dukungan sejak hari pertama dan belum ada yang merilisnya. SGLang menyatakan secara jelas bahwa dukungan tersebut belum ada di rilis mana pun dan menunjuk ke build dev-inkling-2-small, dengan image terpisah untuk Hopper dan Blackwell, Vera Rubin, MI35x, dan TPU7x. vLLM meminta nightly atau yang lebih baru, atau image vllm/vllm-openai:inkling-2-small. Itu normal untuk model sebesar dan sebaru ini, tetapi itu mengubah arti "didukung": Anda melacak sebuah branch, dan rebase dapat merusak deployment Anda.

Detail operasional yang benar-benar akan merepotkan:

• Konteks — resep TP 4 vLLM dibatasi hingga 262.144 token pada satu tray; jendela penuh 1.048.576 token memerlukan TP 8 di dua node. Pada TP 4, satu permintaan 1M token membutuhkan cache KV sebesar 64,47 GiB, yang lebih besar daripada sisa kapasitas satu tray.

• Dekode spekulatif — SGLang memverifikasi 8 token per langkah dengan head DSpark yang disertakan; padanan di vLLM menetapkan 7 token spekulatif dengan penyusunan draf probabilistik. Resep tersebut memperingatkan bahwa tingkat penerimaan turun 15 hingga 25% pada suhu 1.0 jika Anda menyusun draf secara greedy.

• Parser — reasoning menggunakan inkling, panggilan alat menggunakan inkling2, dan SGLang memilih keduanya secara otomatis saat belum disetel. Parser panggilan alat vLLM bersifat opt-in dan resep tersebut menyatakan bahwa panggilan alat belum di-benchmark secara end-to-end, hanya diuji unit.

• Disagregasi prefill/decode — divalidasi hanya sebagai 1P1D pada tray GB300 empat GPU, NVFP4, tanpa MegaMoE, dengan fraksi memori statis dipaksa turun ke 0,86 karena nilai otomatis 0,963 kehabisan memori. Pemisahan tersebut tidak cocok dengan checkpoint MXFP8.

• Disagregasi encoder — belum ada di image, dan language server berhenti jika tidak ada encoder sehat yang dapat dijangkau.

• Ruang cadangan memori — pada B200 192 GB atau unit GB200 dengan TP 4, kapasitas KV sekitar sepertiga dari yang Anda dapatkan dari tray GB300, dan inilah batas nyata untuk konkurensi konteks panjang, bukan ukuran jendela yang tercantum pada kartu.

Ada juga satu laporan komunitas di kartu model itu sendiri, dari jam-jam pertama setelah unggahan, berjudul "Kartu Hopper saat ini tidak kompatibel dengan image vllm." Tidak ada balasan maintainer yang terlihat dan saya tidak dapat mereproduksinya, jadi perlakukan itu sebagai tanda peringatan, bukan temuan, dan periksa sebelum Anda menetapkan node Hopper. Sisi SGLang memang mencantumkan H200 pada 8-way, jadi jalur Hopper tidak tertutup — hanya saja bukan jalur yang dijelaskan resep vLLM.

Apa saja biaya self-hosting, dan mengapa jawabannya jarang tentang harga

Alasan untuk mengunduh 394 GB adalah kendali, bukan ekonomi per unit, dan perhitungannya dengan cepat memperjelas hal itu.

Di Tinker, model ini tercatat seharga $0.30 per juta token input, $0.03 per juta input yang di-cache, dan $1.00 per juta output, pada konteks 256K. Artificial Analysis mengukur 84 token output per detik dan 67,71 detik hingga token jawaban pertama, dengan biaya $1,18 per tugas indeks dan 29,6 menit per tugas, dibandingkan dengan 154 juta token output di seluruh rangkaian uji dan median sejawat sebesar 89,8 juta. Jumlah token itulah petunjuknya: ini adalah model yang berpikir panjang sebelum menjawab, dan pada harga output daftar, satu aliran yang berjalan penuh selama satu jam menghasilkan sekitar 302.000 token, atau kira-kira tiga puluh sen output. Untuk mengalahkan node yang berbiaya satu dolar per jam, Anda perlu menjaga sekitar empat aliran tetap sibuk; untuk mengalahkan node seharga dua puluh dolar per jam, Anda perlu enam puluh enam. Sangat sedikit beban kerja evaluasi, dan bahkan lebih sedikit lagi yang bersifat agentik, yang mempertahankan tingkat konkurensi tersebut terhadap model dengan waktu hingga token pertama 67 detik.

Apa yang Anda dapatkan dengan memiliki bobotnya sendiri: jendela 1M penuh sesuai ketentuan Anda sendiri alih-alih pada tier penyajian 256K milik Tinker, tanpa daftar tunggu beta di depan produksi, fine-tuning pada stack Anda sendiri, data yang tidak pernah meninggalkan jaringan Anda, dan penyapuan evaluasi yang tidak dihitung per token. Apa yang Anda relakan: build rilis yang berfungsi, topologi delapan arah yang harus Anda beli alih-alih sewa, dan stack penyajian yang kini Anda kelola sendiri.

Itulah bentuk jujur dari keputusan ini, dan di situlah lapisan perutean cocok tanpa perlu diminta berpura-pura menghosting sesuatu yang tidak dihostingnya. Inkling 2 Small tidak ada dalam katalog OrcaRouter — kami memeriksa daftar model live minggu ini dan tidak ada entri inkling di antara 215 — jadi jalur API untuk model ini tetap platform Tinker milik Thinking Machines sendiri dan, sesuai pembaruan peluncuran, beberapa penyedia inferensi pihak ketiga. Apa yang lebih dari 200 model di balik satu kunci berikan kepada Anda adalah fallback: Anda dapat menjalankan eksperimen self-host di satu node dan menjaga produksi pada model yang kami rutekan, dengan failover otomatis jika eksperimen gagal, dan pada model yang kami rutekan harga daftar penyedia diteruskan tanpa perubahan. Ketika host kedua dan ketiga mengambil checkpoint ini, jalur failover tidak lagi teoretis — dan vendor lock yang menjadi alasan utama mengunduh 394 GB sejak awal menjadi lebih lemah.

Di mana letaknya sekarang setelah dibuka

Skor tidak berubah saat bobot dirilis; yang berubah adalah skor itu kini masuk ke papan peringkat yang sebelumnya tidak memuatnya. Dalam peringkat open-weights Artificial Analysis, Inkling 2 Small berada di posisi keempat dari 28 dengan Intelligence Index 31, dibandingkan median kumpulan pembanding sebesar 24.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 dengan upaya maksimal — 33.

• GLM-5.3 dengan upaya maksimal — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro dan Ling 3.1 Flash 1019 — masing-masing 30.

• Mistral Large 4 pada upaya tinggi — 26.

• Qwen3.8 27B pada xhigh — 20.

Kolom yang menarik dalam daftar itu bukanlah bagian teratas. Setiap model di atas Inkling 2 Small berasal dari laboratorium Tiongkok, dan model open-weights terbaik dari laboratorium non-Tiongkok adalah Mistral Large 4 pada 26. Membuka bobot ini menutup celah khusus tersebut dari dua puluh poin menjadi lima belas dan menggeser posisi teratas kolom non-Tiongkok. Ini tidak menyentuh garis terdepan: model terbuka terbaik unggul lima belas poin, dan model tertutup berada lebih jauh lagi.

Tabel evaluasi milik vendor sendiri lebih panjang dan lebih menyanjung, dan setiap angka di dalamnya dijalankan oleh Thinking Machines pada harness miliknya sendiri dengan upaya tinggi — tidak direproduksi, dan karena itu merupakan batas atas, bukan ekspektasi. Baris yang penting untuk pekerjaan agentik: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% dan DeepSearchQA 90,9% keduanya dengan compaction, MCP Atlas 85,4% penuh dan 85,0% publik, HLE 44,1% hanya teks, FrontierCode v2.0 25,4%. Baris yang memberikan gambaran sebaliknya adalah Terminal Bench Science sebesar 5,7%, yang rendah secara absolut dan konsisten dengan profil horizon panjang dan deliberasi panjang, bukan klaim kemampuan yang luas. Vendor mencantumkan 30,6 untuk Intelligence Index sementara papan skor langsung menunjukkan 31 — perbedaan snapshot, bukan perselisihan.

Apa yang akan mengubah penilaian ini?

Tiga hal, dalam urutan seberapa pentingnya.

Proses keselamatan yang seharusnya menjadi penyaring rilis ini belum dipublikasikan. Tulisan Thinking Machines bulan Juli tentang jalur aman menuju bobot terbuka menjelaskan empat organisasi eksternal yang melakukan pengujian pra-peluncuran pada Inkling generasi pertama, dan tulisan peluncuran 5 November mengaitkan rilis ini dengan "pengujian keselamatan eksternal dan red-teaming." Pembaruan 12 November yang mengumumkan bobot tersebut berisi satu kalimat dan satu tautan — ke repositori Hugging Face — dan tidak ada hasil evaluasi, tidak ada temuan red-team, dan tidak ada revisi terhadap ketentuan sebelumnya. Itu tidak berarti pengujiannya tidak terjadi. Itu berarti pembaca tidak dapat memeriksa, dan organisasi dengan kebijakan pengadaan yang meminta bukti tidak akan menemukannya di sini.

Dukungan setingkat rilis akan mengubah siapa yang dapat mengadopsinya. Saat ini pilihannya adalah branch dev di SGLang, nightly di vLLM, atau membangun jalur AMD dari source berdasarkan draf yang belum di-merge. Begitu dukungan masuk ke rilis bertag, model ini menjadi keputusan deployment alih-alih proyek engineering, dan topologi eight-way tidak lagi menjadi setup riset.

Reproduksi independen pada pengaturan default akan menunjukkan seberapa berharga 31 dalam praktik. Baris agentik adalah yang perlu diperhatikan — SWE-bench Pro di 86.3 dan DeepSWE di 72.1 merupakan klaim kuat untuk model dengan 17B parameter aktif, dan keduanya dihasilkan pada upaya maksimal. Uji coba pihak ketiga pada upaya default selalu menghasilkan angka yang lebih rendah. Pertanyaannya adalah seberapa besar selisihnya, dan belum ada orang di luar Thinking Machines yang menjawabnya.

Sampai setidaknya salah satu dari hal itu terwujud, deskripsi yang tepat untuk Inkling 2 Small terbilang luar biasa presisi: sebuah checkpoint Apache 2.0 yang bisa Anda unduh hari ini, yang tidak didukung oleh serving stack mana pun yang telah dirilis, yang klaim terkuatnya berasal dari lab yang membuatnya, dan yang gerbang lisensinya terbuka tanpa dokumen yang seharusnya mendahuluinya. Itu adalah rilis nyata dan celah nyata, dan celah itulah bagian yang layak diperhatikan.