Recursive Flint 40B-A2.5B: Model Pengodean yang Dirancang untuk Mengutamakan Kecepatan

Angka yang menentukan apakah Recursive Flint 40B-A2.5B layak menghabiskan ruang disk Anda bukanlah 54,9%. Melainkan 2,5. Model coding open-weight pertama Recursive membawa 39,8 miliar parameter dan membangunkan sekitar 2,5 miliar di antaranya untuk setiap token yang ditulisnya, dan hampir setiap keputusan lain dalam rilis ini — tata letak attention, resep kuantisasi, kernel Metal khusus, mesin inferensi — merupakan turunan dari satu rasio itu. Flint dirilis pada 21 Oktober 2026 di bawah Apache 2.0, yang membuatnya baru berumur satu hari pada saat penulisan dan berada dalam jendela ketika peluncuran masih menjadi berita alih-alih sejarah. Karena tabel benchmark yang berumur satu hari adalah janji alih-alih pengukuran, kami menyimpan catatan produksi secara terpisah: AI Incident Archive mencatat bagaimana klaim model dan penyedia bertahan setelah melayani lalu lintas nyata.

Versi singkatnya bagi siapa pun yang sedang memutuskan sekarang: ini adalah model sparse mixture-of-experts yang dirancang untuk menjadi yang tercepat di kelas bobotnya di laptop, ia menerbitkan tiga skor coding agentic yang semuanya dilaporkan vendor dan belum direproduksi, dan ini adalah model pertama dari perusahaan yang tujuan yang dinyatakan adalah mengotomatiskan riset yang membangun model. Ketiga fakta itu penting, dan yang ketiga adalah yang masih akan menarik dalam setahun.

Apa yang sebenarnya dirilis

Empat repositori, bukan satu. Repositori utama RecursiveSI/flint menyimpan checkpoint BF16, konfigurasi, tokenizer, template chat, dan kit penyajian SGLang, dan repositori itu dibuat pada 21 Oktober 2026 pukul 14.20 UTC. Tiga varian terkuantisasi berada di sampingnya, semuanya diberi stempel pada sore yang sama: build safetensors int4, GGUF int4, dan GGUF NVFP4. Setiap ukuran di bawah ini diukur dari daftar file repositori itu sendiri, bukan dikutip dari pengumuman.

• Referensi BF16 — 79.59GB di 37 file, dalam 15 shard safetensors yang masing-masing berukuran sekitar 5.37GB. Ini adalah artefak fine-tuning, dan yang tidak ingin Anda unduh untuk inferensi.

• NVFP4 GGUF — 22,86GB dalam satu file, build inferensi lengkap terkecil yang dipublikasikan.

• Int4 GGUF — 25.99GB, kuantisasi q4_1 yang lebih besar daripada file NVFP4, yang merupakan kebalikan dari urutan penamaan dan perlu diketahui sebelum Anda memilih berdasarkan nama file.

• Int4 safetensors — 22,58GB, untuk runtime yang lebih menyukai bobot ter-shard daripada satu GGUF.

Lisensinya adalah Apache 2.0, dengan kartu model menambahkan pembedaan bahwa ketentuan API yang dihosting dan praktik data terpisah dari lisensi bobot — pemisahan yang biasa, dinyatakan secara gamblang alih-alih disembunyikan.

Arsitektur ini adalah argumen tentang bandwidth memori.

Di laptop, mendekode sebuah token sebagian besar bukan masalah komputasi. Ini adalah masalah memindahkan bobot dari memori ke unit aritmetika dengan cukup cepat, itulah sebabnya model padat 40 miliar parameter menjadi lambat tidak peduli seberapa bagus chip-nya: setiap token membaca setiap bobot. Jawaban Flint adalah membaca hampir tidak satu pun dari bobot itu.

• Sparsitas — 256 expert yang dirutekan per lapisan MoE dengan 6 dipilih per token, ditambah satu expert bersama yang selalu aktif. Dari 49 lapisan, 2 adalah dense dan 47 adalah MoE, sehingga semua kecuali dua lapisan pertama melakukan kerja kondisional.

• Parameter aktif — total 39,8B, sekitar 2,5B aktif per token dengan menghitung output head, yang menjadi asal penamaan "40B-A2.5B". Body aktifnya sendiri sekitar 2,2B.

• Atensi — 35 lapisan sliding-window dengan jendela 513 token (token saat ini ditambah 512 token sebelumnya) diselang-seling dengan 14 lapisan atensi penuh. Hanya 32 head kueri dan 4 head key-value, pada dimensi head 128, sehingga cache KV tetap cukup kecil untuk membuat sesi agen yang panjang tetap praktis.

• Penyandian posisi — rotary embedding pada lapisan sliding-window dan tidak sama sekali pada lapisan full-attention, sebuah pilihan yang dinyatakan kartu model tanpa penjelasan. QK RMSNorm per-kepala dan attention sink per-kepala yang dipelajari menjalankan tugas stabilitas yang biasanya turut ditangani oleh penyandian posisi.

• Konteks — 262,144 token terdokumentasi, dan kartu model secara eksplisit menyatakan bahwa ini mencakup prompt dan output yang dihasilkan secara bersamaan. Pengumuman tersebut mengiklankan "hingga 512k" lalu merekomendasikan agar tetap dalam 256k untuk coding. Kedua pernyataan berasal dari vendor yang sama, terpisah satu paragraf.

Detail yang menarik adalah bagaimana bentuk itu dipilih. Recursive mengatakan bahwa Eureka Machine miliknya — sebuah loop riset otomatis yang mengusulkan ide, mengimplementasikannya, mengujinya, dan menggabungkan apa yang berhasil — dimulai dari basis 35 miliar parameter dengan 3 miliar parameter aktif dan menelusuri berbagai konfigurasi pakar serta lebar. Konfigurasi 40B/2.5B yang dihasilkan, dalam frasa pengumuman itu sendiri, "diproyeksikan menawarkan kombinasi kecepatan dan kinerja pengodean terbaik di antara konfigurasi yang diuji Eureka Machine kami." Diproyeksikan, bukan dibuktikan melalui uji banding model jadi. Itu adalah cara normal untuk memilih arsitektur ketika sesi pelatihan mahal, dan itu juga merupakan klaim yang bisa diam-diam dibantah oleh checkpoint di kemudian hari.

Ketiga skor tersebut, dan catatan kaki yang menyertainya

Flint mencetak 54,9% pada Terminal-Bench 2.1, 89,7% pada SWE-bench Pro v2, dan 74,2% pada SWE-bench Verified. Angka-angka itu muncul di kartu model sebagai evaluasi rilis, dan belum ada pihak ketiga yang menerbitkan pengukuran untuk model ini — indeks model Artificial Analysis, wasit independen yang biasa untuk peluncuran seperti ini, sama sekali tidak memiliki entri Flint per 22 Oktober. Jadi semua yang berikut ini adalah Recursive mengukur Recursive.

Apa yang diungkapkan vendor tentang metodologinya sendiri lebih banyak daripada yang secara sukarela diberikan oleh sebagian besar posting peluncuran, dan itu mengubah cara angka-angka itu harus dibaca:

• Terminal-Bench 2.1 — dijalankan dengan harness Terminus 2, dengan akses internet diaktifkan, dan solusi yang diperoleh melalui pencarian web dihitung sebagai kegagalan. Penyesuaian terakhir itu merupakan penalti yang disengaja, dan kartu model mencatat bahwa skor terbitan pengembang lain mungkin tidak menerapkannya, sehingga perbandingan setara dengan angka pihak ketiga menjadi lebih sulit, bukan lebih mudah.

• SWE-bench Pro v2 dan SWE-bench Verified — dijalankan dengan mini-swe-agent dan sama sekali tanpa akses internet, lingkungan yang lebih sulit daripada agen yang dapat mencari dokumentasi di tengah tugas.

• Percobaan dan batas waktu — rata-rata pass@1 selama setidaknya lima percobaan, dengan batas waktu agen hingga lima jam. Rata-rata dari lima percobaan adalah protokol yang wajar; batas waktu lima jam berarti ini adalah skor untuk agen yang bersedia Anda biarkan berjalan, bukan untuk autocomplete.

• Sampling — temperature 1.0, top-p 0.95, top-k 20 di setiap evaluasi, dan kit serving menerapkan default tersebut saat permintaan tidak mencantumkannya.

Tabel benchmark vendor juga merupakan pernyataan tentang rekan mana yang dipilihnya. Grafik Recursive sendiri membandingkan Flint dengan Qwen 3.5, Qwen 3.6, Qwen 3.8, Laguna XS 21, Muse Glimmer, dan Gemma 4 — model lokal yang cocok untuk perangkat keras serupa, yang merupakan kelompok pembanding yang jujur untuk model laptop dan juga kelompok yang dipilih agar argumen sparsitas terlihat bagus. Klaim yang diajukan sempit dan dapat dipertahankan: Flint memimpin model MoE dengan total parameter di bawah 50 miliar dalam pengodean agentik, dan menyaingi model dense 25 hingga 40 miliar sambil beroperasi jauh lebih cepat. Ini bukan klaim tentang model pengodean terdepan, dan Recursive tidak membuat klaim semacam itu — pengumuman tersebut menyatakan terus terang bahwa Flint "mungkin memerlukan lebih banyak panduan daripada model pengodean closed-source yang lebih besar yang biasa Anda gunakan."

Kecepatan: 2× sebenarnya diukur terhadap apa

Recursive melaporkan lebih dari 125 token per detik pada MacBook Pro M4 Pro dan lebih dari 150 token per detik pada NVIDIA RTX Spark 64GB pada konteks pendek, dan menggambarkannya sebagai hingga dua kali lebih cepat daripada model sebanding serta lebih dari lima kali lebih cepat daripada model dense 25 hingga 40 miliar parameter dengan skor coding serupa. Catatan kaki metodologi pada grafik kecepatan adalah bagian yang layak dibaca: rata-rata token per detik sepanjang sesi 128.000 token, tanpa prefill, dengan satu pesaing diukur pada 124k alih-alih panjang penuh.

Prefill dikecualikan adalah praktik standar untuk benchmarking decode dan itu tetap penting di sini, karena prefill justru merupakan bagian tempat agen coding menghabiskan waktunya saat ia menuangkan repositori ke jendela konteks. Angka yang hanya mengukur separuh decode dari sesi 128k akan membuat model apa pun dengan aktivasi sparse tampak lebih baik, dan seluruh desain Flint adalah aktivasi sparse. Tidak ada dari semua itu yang membuat angka tersebut salah. Itu menjadikannya angka decode, dan angka itu harus dibandingkan dengan angka decode lain, bukan dengan berapa lama agen Anda menyelesaikan suatu tugas.

Resep kuantisasi adalah bagian yang paling mudah ditransfer.

Sebagian besar tulisan tentang kuantisasi membahas seberapa besar akurasi yang hilang. Yang ini membahas keputusan yang mengambil arah berlawanan dari konvensi.

Recursive mengkuantisasi lapisan keluaran — lm_head — menjadi 4 bit. Itu bertentangan dengan praktik umum, dan alasannya spesifik untuk model sparse: dengan hanya 2,5 miliar parameter aktif, lapisan keluaran merupakan porsi besar dari bobot yang dibaca untuk setiap token, sehingga membiarkannya pada 16 bit membatasi seberapa cepat model dapat berjalan. Memulihkan akurasi berarti tahap distilasi offline di mana model terkuantisasi dilatih pada respons yang telah disampel sebelumnya dari coreset yang ditemukannya sendiri, dengan model 16-bit sebagai guru — sebuah pengaturan yang menurut Recursive hampir memangkas separuh langkah pelatihan dibandingkan baseline pelatihan sadar-kuantisasi miliknya.

Hasil yang diterbitkan adalah bahwa model NVFP4 final memperoleh skor dalam selisih 0,7 poin dari model 16-bit di seluruh rangkaian benchmark. Itu adalah klaim vendor, dan itulah jenis klaim yang mudah diperiksa nanti serta mahal untuk dipalsukan, sehingga menjadikannya klaim yang berguna untuk menuntut pertanggungjawaban mereka. Konsekuensi praktisnya adalah ukuran file di atas: unduhan 22,86GB yang menjalankan model berparameter 39,8 miliar pada mesin dengan memori terpadu 48GB.

Pada Apple Silicon, ada lapisan kedua di dalamnya. Eureka Machine milik Recursive menghasilkan kernel khusus untuk proyeksi bit rendah, operasi MoE, attention, dan pemrosesan prompt, termasuk megakernel Metal yang menggabungkan seluruh forward pass decode menjadi satu dispatch pada chip M4 dan M5. Menggabungkan decode pass adalah jenis optimasi yang hanya membuahkan hasil ketika Anda mengendalikan arsitektur model, format kuantisasi, dan kernel secara bersamaan — yang merupakan tesis sebenarnya dari rilis ini, lebih daripada angka benchmark tunggal mana pun.

Cara Anda menjalankannya, dan berapa biaya yang harus Anda tanggung untuk setiap jalur

Ada dua narasi penerapan yang berbeda dan keduanya tidak dapat dipertukarkan.

• GPU Server — checkpoint BF16 dikirimkan dengan kit penyajian SGLang yang menargetkan satu B300 atau satu H200 per replika, mengekspos endpoint yang kompatibel dengan OpenAI pada port 30000 dengan nama model flint, dan menyertakan contoh klien untuk penalaran dan pemanggilan alat. Ini adalah satu-satunya jalur yang didukung untuk bobot presisi penuh; kartu model menyatakan secara jelas bahwa kode pemodelan Transformers belum disertakan.

• Mesin lokal — llama.cpp, Ollama, Unsloth, LM Studio, vLLM, dan SGLang semuanya disebutkan didukung, yang mana luar biasa luas untuk model hari peluncuran dan merupakan pembeda antara sebuah checkpoint dan artefak yang bisa digunakan.

• rec engine — mesin inferensi milik Recursive sendiri, dipasang ke ~/.local/bin, memerlukan M4 Pro, M5 Pro, atau M5 Max dengan setidaknya 48GB memori terpadu dan sekitar 30GB ruang disk kosong, serta menyediakan API yang kompatibel dengan OpenAI secara lokal. README-nya mengklaim throughput token 1.4× hingga 2.6× dibandingkan llama.cpp pada M4 Pro dengan bobot 4-bit, pada prompt 1,000 hingga 252,000 token dengan 1,024 token keluaran, lima kali pengujian per panjang konteks, tanpa menghitung prefill. Ini secara eksplisit dioptimalkan untuk penggunaan sesi tunggal — jalankan beberapa agen sekaligus dan dokumentasinya akan mengarahkan Anda ke tempat lain.

Catatan praktis yang menentukan apakah sebuah sesi berjalan baik: jendela konteks dibagi antara prompt dan output, masalah-masalah sulit memerlukan anggaran output setidaknya 32.768 token termasuk penalaran, dan reasoning_content yang dikembalikan harus dipertahankan dalam riwayat percakapan atau penggunaan alat multi-giliran akan menurun kualitasnya. Panduan Recursive sendiri untuk tugas-tugas kompleks adalah memecah pekerjaan menjadi subtugas yang lebih kecil dengan instruksi eksplisit, yang merupakan saran jujur yang sekaligus terbaca sebagai deskripsi dari batas kemampuan model.

Apa yang benar-benar belum terbukti

Tiga hal, dalam urutan menurun menurut seberapa besar pengaruhnya terhadap suatu keputusan.

Yang pertama adalah pengukuran independen. Tidak ada. Bukan skor rendah di papan peringkat, bukan pula skor yang diperdebatkan — belum ada evaluasi pihak ketiga atas Flint, dan satu-satunya angka yang beredar adalah milik vendor, yang dihasilkan dengan pilihan harness vendor dan penyesuaian vendor untuk pengambilan web. Metodologinya diungkapkan cukup rinci untuk diaudit, yang merupakan hal maksimal yang bisa Anda minta pada hari pertama, tetapi diungkapkan bukan berarti terverifikasi.

Yang kedua adalah apakah model dengan 2,5 miliar parameter aktif mampu bertahan pada pekerjaan berjangka panjang yang memang menjadi tujuan agen coding. Protokol benchmark mengizinkan lima percobaan dan batas waktu lima jam, yang merupakan rentang cukup longgar; model yang membutuhkan beberapa kali percobaan dan kebebasan panjang bisa mencetak pass@1 yang baik sekaligus terasa tidak andal di editor. Catatan Recursive sendiri tentang perlunya panduan lebih banyak daripada model tertutup yang lebih besar menunjuk pada hal yang sama.

Yang ketiga adalah pencarian arsitektur itu sendiri. Konfigurasi yang diproyeksikan menjadi yang terbaik di antara konfigurasi yang diuji oleh sistem otomatis adalah hipotesis tentang suatu proses pelatihan, bukan hasil tentang model yang sudah jadi. Jika proyeksi Eureka Machine benar, ini adalah templat yang akan disalin tim kecil lain. Jika proyeksi itu kira-kira benar, checkpoint berikutnya bergeser dan rasionya berubah.

Di mana ini cocok jika stack agen Anda hanya setengah lokal

Alasan model seperti Flint penting adalah karena ia menghapus satu baris dari tagihan, bukan semuanya. Inferensi lokal menangani pekerjaan yang dapat Anda jalankan di mesin Anda sendiri dan tidak melakukan apa pun untuk pekerjaan yang tidak dapat Anda lakukan — pekerjaan konteks panjang yang tidak akan muat, lonjakan yang melampaui kapasitas satu laptop, tugas di mana model yang lebih besar jelas lebih baik. Akibatnya, sebagian besar tim menjalankan dua sistem.

OrcaRouter adalah bagian hosted dari pengaturan itu, dan agar jelas soal batasnya: kami tidak menyajikan Flint, dan tidak ada bagian dalam tulisan ini yang merupakan promosi untuk checkpoint yang kami host. Flint adalah unduhan dari Recursive, bukan endpoint milik kami. Yang kami lakukan adalah menempatkan satu API di depan 200+ model hosted dengan harga daftar dari penyedianya sendiri dengan tanpa markup tambahan, merutekan di antaranya dengan rantai fallback berbasis konfigurasi, dan melakukan failover secara otomatis ketika penyedia bermasalah di tengah permintaan. Jika Anda ingin membandingkan nilai dari menjalankan Flint secara lokal dengan model mixture-of-experts hosted berukuran serupa — Qwen3.6-35B-A3B dan Gemma 4 26B-A4B keduanya dapat dipanggil melalui satu kunci itu — perbandingannya hanya membutuhkan satu permintaan, bukan deployment.

Pembacaan yang wajar

Flint adalah rilis nyata dengan titik berat yang spesifik dan tidak biasa. Recursive tidak merilis model coding terkuat yang bisa mereka buat; mereka merilis model tercepat yang bisa mereka bangun pada ukuran yang muat di laptop, lalu menerbitkan stack kuantisasi dan kernel yang dirancang agar keunggulan itu tetap bertahan saat berhadapan dengan bobot 4-bit. Angka 54,9% pada Terminal-Bench 2.1 dan 89,7% pada SWE-bench Pro v2 adalah angka yang kuat untuk model sparse 40 miliar parameter dan, untuk saat ini, itu semata-mata angka dari vendor.

Yang membuatnya layak ditonton alih-alih sekadar diunduh adalah metode di baliknya. Tim yang mengatakan bahwa loop riset otomatis memilih arsitektur, resep kuantisasi, dan kernel sedang membuat klaim tentang sebuah proses, bukan model, dan proses dapat diuji dengan cara yang tidak dapat dilakukan oleh benchmark peluncuran: rilis berikutnya datang lebih cepat dan lebih baik atau tidak. Flint adalah titik data pertama dalam argumen itu, dirilis di bawah lisensi yang cukup permisif sehingga siapa pun dapat memeriksa bobotnya sendiri.

Jika Anda memiliki memori terpadu 48GB dan mesin Apple Silicon, biaya untuk mengetahuinya adalah unduhan 22.86GB dan waktu satu sore. Jika tidak, sikap yang jujur adalah menunggu evaluasi independen pertama, karena tabel benchmark yang baru berumur sehari hanyalah janji, bukan pengukuran.