MiniMax M3.1 Flash Kini Dijalankan di Tenstorrent: Apa yang Sebenarnya Dibuktikan Model 428B pada Tensix

Postingan newsroom Tenstorrent bertanggal 22 Oktober 2026, dan isinya menyatakan sesuatu yang lebih sempit sekaligus lebih menarik daripada "cloud lain menambahkan model lain": MiniMax M3.1 Flash, model mixture-of-experts berparameter 428 miliar yang dirilis MiniMax pada 19 Oktober, kini tersedia di Tenstorrent Cloud dengan prefill dan decode keduanya berjalan di sistem Blackhole Galaxy. Tidak ada akselerator NVIDIA yang muncul di mana pun dalam jalur penyajian itu. Yang diterbitkan Tenstorrent adalah arsitektur, skema kuantisasi, dan metodologi tuning. Yang tidak diterbitkannya adalah satu pun angka throughput, angka latensi, atau harga untuk layanan penyajiannya sendiri. Kelalaian itulah bagian yang menentukan apakah ini tonggak penting atau sekadar demo, dan itu layak mendapat perhatian lebih daripada tabel benchmark model tersebut.

Tenstorrent adalah perusahaan chip yang dipimpin oleh Jim Keller, dan narasi jualannya selama ini adalah bahwa komputasi AI tidak seharusnya menjadi tumpukan satu vendor. Hingga pengumuman ini, narasi tersebut memiliki masalah kredibilitas di segmen teratas: model-model terbuka terbesar rutin dilayani pada perangkat keras NVIDIA, dengan AMD sebagai alternatif dan segala hal lainnya terbatas pada eksperimen model kecil. Model mixture-of-experts berparameter 428B yang menjalankan prefill dan decode pada silikon Tensix, terhubung melalui Ethernet alih-alih fabric proprietary, adalah penerapan pertama yang membuktikan klaim itu dengan model sebesar dan sebaru ini.

Apa yang Tenstorrent nyatakan secara resmi

Pengumuman itu spesifik tentang topologi penyajian dan samar tentang setiap angka yang akan digunakan pembeli. Yang spesifik dulu, karena itu klaim rekayasa yang autentik:

• Ketersediaan — Tenstorrent Cloud, di console.tenstorrent.com, melalui Playground atau terhubung ke agent harness.

• Jalur penyajian — baik prefill maupun decode dijalankan di Tenstorrent Galaxy, khususnya supercluster Blackhole Galaxies. Sistem dibagi berdasarkan beban kerja: satu kumpulan menangani prefill, kumpulan lainnya menangani decode, dan pekerjaan berpindah di antara keduanya melalui tautan Ethernet langsung dengan latensi rendah.

• Memori — setiap Blackhole Galaxy membawa DRAM 1 TB plus beberapa terabyte SSD. Bobot dan cache KV tetap tersimpan di DRAM; SSD menampung cache KV yang di-offload sehingga giliran agen yang kembali tidak perlu menghitung ulang konteksnya.

• Kuantisasi — Bobot MLP, bobot atensi, pengindeks, dan pakar bersama disimpan dalam MXFP8; pakar yang dirutekan disimpan dalam NVFP4.

• Bentuk model — attention sparse menggantikan grouped-query attention global, dan MLP dense hanya muncul di tiga layer pertama.

• Data penyetelan — Tenstorrent mengatakan pihaknya menyetel penerapan tersebut berdasarkan jejak agen pengodean AgentX milik SemiAnalysis, yang berarti sesi multi-giliran nyata dan fan-out subagen, bukan tolok ukur chat singkat.

• Harga yang dikutip — $0.15 per juta token masukan, $0.60 per juta token keluaran, $0.015 per juta masukan yang di-cache. Itu adalah harga daftar MiniMax; pengumuman tersebut tidak menerbitkan tarif Tenstorrent terpisah, sehingga belum dapat dikatakan apakah menjalankan model ini di sini lebih mahal atau lebih murah daripada menjalankannya di GPU.

Deployment ini ada karena bobotnya sudah keluar.

Fakta tunggal terpenting di balik pengumuman ini bukanlah silikonnya. Yang terpenting adalah bahwa MiniMax mempublikasikan bobot tersebut. Repositori berukuran 252,4 GB itu diunggah ke Hugging Face pada 23 Oktober, dan tulisan Tenstorrent bertanggal sehari sebelumnya — yang menunjukkan bahwa port tersebut dibangun dengan akses mitra, bukan dari unduhan publik. Vendor perangkat keras pihak ketiga tidak dapat melakukan port pada model yang tidak dapat diperolehnya, dan Tenstorrent bukan anak perusahaan MiniMax yang melayani checkpoint miliknya sendiri. Inilah mekanisme yang membuat bobot terbuka menciptakan persaingan perangkat keras: setiap lab yang mempublikasikan checkpoint mengubah setiap vendor chip yang bersedia menjadi saluran distribusi potensial, dan setiap vendor chip yang mendukung model tersebut pada gilirannya membuat bobot lab itu lebih bernilai.

Logika yang sama menjelaskan mengapa model frontier tertutup tidak muncul dalam pengumuman semacam ini. Penyedia dapat menyewakan endpoint API untuk model proprietary, tetapi tidak dapat mengkuantisasi bobot ke format numeriknya sendiri, menyetel kernelnya terhadap pola sparse-attention model tersebut, atau memisahkan prefill dan decode di seluruh fabric miliknya sendiri. Port adalah produknya, dan port membutuhkan file.

Itulah sebabnya juga mengapa "open" dalam cerita ini perlu dipisahkan menjadi dua hal yang berbeda. Tumpukan perangkat lunak Tenstorrent — TT-Metalium, TT-NN, TT-Forge — bersifat open source, dan itulah yang membuat port pihak ketiga dapat dikerjakan. Bobot MiniMax adalah bobot terbuka, bukan open source. Repositori berukuran 252,4 GB di 48 shard safetensors plus drafter speculative-decoding 2,3 GB, dan dirilis di bawah Lisensi Komunitas MiniMax, yang mewajibkan atribusi pada penerapan komersial dan izin tertulis sebelumnya begitu pendapatan tahunan melewati $20 juta. Dua "open" yang berbeda, satu jalur penyajian.

Mengapa jalur serving dibagi menjadi dua

Pemisahan prefill/decode bukanlah keanehan khas Tenstorrent; itu adalah jawaban standar untuk masalah yang diciptakan oleh beban kerja agen. Prefill terikat komputasi dan terjadi sekali per prompt. Decode terikat bandwidth memori dan terjadi sekali per token yang dihasilkan, selama jawaban berjalan. Tempatkan keduanya pada perangkat yang sama dan prompt panjang yang datang di tengah aliran akan mencuri komputasi dari setiap pengguna yang sedang melakukan decode, yang persis merupakan macet yang membuat produk agen terasa rusak.

Memisahkan pool memungkinkan setiap sisi disediakan sesuai hambatan utamanya masing-masing. Deskripsi Tenstorrent secara eksplisit menyatakan bahwa pool prefill menyebarkan prompt ke banyak chip menggunakan bandwidth antarperangkat yang tinggi, sementara pool decode menyimpan bobot dan cache KV di DRAM serta menjalankan langkah-langkah secara independen. Tautan Ethernet membawa alih serah tersebut.

Ethernet adalah pilihan yang menarik. Fabric scale-up proprietary menawarkan bandwidth lebih besar dan latensi lebih rendah daripada Ethernet komoditas, dan posisi NVIDIA dalam komputasi AI sebagian bertumpu pada kepemilikan fabric tersebut. Tenstorrent berargumen bahwa untuk beban kerja ini — model mixture-of-experts dengan 23 miliar parameter aktif dan rencana penyajian yang sudah memisahkan prefill dari decode — Ethernet standar sudah cukup baik, dan ekonomi scale-out-nya lebih baik karena interkoneksi tersebut bukanlah penguncian kedua. Itu argumen yang masuk akal, bukan yang sudah terbukti. Argumen itu menjadi terbukti ketika seseorang menerbitkan token per detik per dolar di seluruh deployment multi-node, dan belum ada yang melakukannya.

Aritmetika yang membuat 428B muat dalam satu rak

Model ini memiliki total 428 miliar parameter dan mengaktifkan 23 miliar di antaranya per token. Dalam BF16, itu kira-kira 856 GB sebelum ada cache KV atau overhead runtime. Satu Blackhole Galaxy terdiri dari 32 ASIC Blackhole dengan masing-masing 32 GB GDDR6 — 1 TB yang dikutip Tenstorrent — sehingga salinan BF16 akan menghabiskan sekitar 84% memori sistem dan menyisakan kira-kira 170 GB untuk semua hal lainnya. Pada konteks 1 juta token, dengan cache KV yang harus bertahan melalui beberapa giliran agen, itu bukan margin yang nyaman.

Unduhan yang dipublikasikan adalah 252,4 GB. Itulah angka yang membuat deployment muat: angka itu menyisakan sekitar 770 GB dari terabyte Galaxy untuk KV cache, aktivasi, dan drafter speculative decoding. Skema presisi campuran itulah yang memberi ruang tersebut — MXFP8 untuk bobot bersama dan sisi attention, NVFP4 untuk expert yang di-routing, yang merupakan bagian terbesar parameter dan bagian yang hanya disentuh secara sparse. Attention sparse dan MLP dense yang dibatasi pada tiga lapisan pertama semakin mengurangi lalu lintas memori.

Aritmetika ini milik kami, berdasarkan angka yang dipublikasikan, bukan klaim Tenstorrent. Namun, ini menjelaskan bentuk pengumumannya: port tersebut kredibel justru karena para expert yang dirutekan 4-bit mengubah model 856 GB menjadi berkas 252 GB yang muat pada sistem 32-chip dengan sisa ruang untuk konteks panjang.

Apa yang tidak diterbitkan oleh Tenstorrent

Tidak ada angka token per detik, tidak ada angka waktu hingga token pertama, tidak ada angka konkurensi, dan tidak ada harga untuk endpoint yang dihosting Tenstorrent. Bagi suatu deployment yang seluruh premisnya adalah bahwa silikon non-NVIDIA dapat melayani model terbuka kelas terdepan, keempat angka itulah yang akan menyelesaikan perdebatan. Ketiadaan angka-angka tersebut bukanlah bukti bahwa deployment itu lambat. Itu adalah bukti bahwa pengumuman tersebut merupakan pernyataan kemampuan, bukan hasil benchmark, dan pembaca harus mencatatnya sesuai dengan itu.

Satu-satunya angka kecepatan publik untuk MiniMax M3.1 Flash menggambarkan deployment yang berbeda. MiniMax mengklaim median di atas 170 token output per detik dan puncak di atas 200 pada API miliknya sendiri. Artificial Analysis, yang mengukur API yang dihosting, bukan perangkat keras Tenstorrent, mencatat 95,6 token output per detik dengan waktu hingga token pertama 1,48 detik. Itu adalah selisih sekitar 1,8x antara klaim vendor dan pengukuran independen pada jalur penyajian yang berbeda, yang merupakan pengingat berguna bahwa "model ini cepat" dan "deployment ini cepat" adalah klaim yang terpisah.

Apa yang memang ditetapkan oleh Artificial Analysis tentang model ini lebih relevan bagi kasus penggunaan Tenstorrent daripada tolok ukur utama. M3.1 Flash memperoleh skor 43 pada Intelligence Index, berbiaya sekitar $0,22 per tugas indeks yang diselesaikan, dan memperoleh skor 16 pada AA-Omniscience dengan tingkat halusinasi 93% — artinya ketika tidak mengetahui suatu jawaban, model ini biasanya menghasilkan jawaban yang salah alih-alih menolak. Tenstorrent menyetel penerapan ini berdasarkan jejak agen. Loop agen adalah tepat tempat di mana jawaban salah yang penuh keyakinan paling mahal, karena panggilan alat berikutnya mewarisinya. Jalur penyajian yang cepat dan murah tidak memperbaiki hal itu; hal itu justru membuat lapisan verifikasi menjadi lebih penting.

Apa yang harus dilakukan dengan ini jika Anda membeli inferensi

Bagi sebagian besar tim, jawaban praktis minggu ini adalah "ujilah, jangan bermigrasi ke sana." Playground adalah cara termurah untuk melihat apakah perilaku model cocok dengan beban kerja Anda, dan integrasi agent-harness Tenstorrent adalah bagian menarik untuk diselidiki, karena deployment ini disetel untuk penggunaan alat multi-turn alih-alih obrolan sekali jalan. Bawalah trace Anda sendiri. Penyetelan AgentX SemiAnalysis memberi tahu Anda apa yang dioptimalkan Tenstorrent; itu tidak memberi tahu Anda bagaimana prompt Anda akan berperilaku.

Jangan menaruh jalur produksi padanya sampai dua hal tersedia: angka throughput dan latensi yang diterbitkan oleh Tenstorrent, serta pengukuran kualitas per tugas dari Anda sendiri. Yang pertama masih menunggu jawaban dari vendor. Yang kedua hanya Anda yang bisa menjawab.

Satu catatan jujur tentang posisi OrcaRouter dalam hal ini. M3.1 Flash tidak ada dalam katalog kami; lini MiniMax di sana berhenti pada MiniMax-M3. Jadi cara untuk memanggil model baru saat ini adalah Tenstorrent Cloud dan API milik MiniMax sendiri, dan kami bukan salah satunya. Yang OrcaRouter sediakan adalah baseline perbandingan yang Anda butuhkan sebelum berkomitmen: MiniMax-M3 dan lebih dari 200 model lain di balik satu kunci, pada harga daftar penyedia dengan markup 0%, sehingga pertanyaan "apakah model baru ini benar-benar lebih baik untuk beban kerja saya daripada model yang sudah saya jalankan" dapat dijawab tanpa kontrak kedua dan hubungan penagihan kedua.

Angka yang akan mengubah pelabuhan menjadi harga

Tenstorrent telah mendemonstrasikan sesuatu yang nyata: model mixture-of-experts 428B, dikuantisasi ke format campuran 4/8-bit, yang menjalankan kedua bagian inferensi pada silikon Tensix melalui Ethernet, dengan perkakas sumber terbuka dan metodologi penyetelan yang dipublikasikan. Ini adalah bukti portabilitas, dan merupakan yang pertama pada skala model ini yang tidak melalui CUDA.

Belum ditunjukkan bahwa port tersebut lebih murah, lebih cepat, atau lebih andal daripada jalur GPU. Galaxy adalah sistem BlockFP8 6U, 32-ASIC, sekitar 23-PFLOPS yang dipatok pada harga $110.000 saat tersedia secara umum pada April 2026, sebelum menambahkan jaringan supercluster yang digunakan deployment ini. Apakah perangkat keras itu, dengan menjalankan model ini, menghasilkan biaya per juta token yang lebih baik daripada klaster H100 atau MI300X adalah seluruh pertanyaan komersialnya, dan pengumuman itu membiarkannya kosong.

Hal berikutnya yang perlu diperhatikan karena itu bukanlah model lain pada perangkat keras yang sama. Itu adalah angka token per detik dan daftar harga dari Tenstorrent, diikuti oleh vendor silikon kedua yang melakukan port yang sama. Ketika itu ada, bobot terbuka akan berubah menjadi persaingan perangkat keras yang sesungguhnya. Sampai saat itu, deskripsi yang akurat adalah demonstrasi arsitektural yang kredibel dengan separuh komersialnya masih belum dipublikasikan.