Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: Dua Cara untuk Menempatkan Agen dalam 24GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Angka-angkanya cukup berdekatan sehingga membingungkan. Bolt adalah checkpoint 74 miliar parameter dengan 9 miliar aktif per token, disimpan pada sekitar dua bit per bobot pakar, dalam file 24GB. LFM2.5-24B-A2B adalah checkpoint 24 miliar parameter dengan 2,45 miliar aktif per token, pada presisi biasa. Keduanya adalah campuran pakar. Keduanya berjalan tanpa jaringan. Di balik pitch yang terdengar mirip, hampir setiap pilihan rekayasa berbeda.

Apa sebenarnya LFM2.5-24B-A2B

Checkpoint Liquid AI adalah anggota terbesar dan terakhir dari keluarga LFM2.5 dan yang terakhir dari keluarga itu yang masih akan dirilis. Bobotnya diunggah ke Hugging Face pada awal Oktober dan perusahaan mengumumkannya pada 13 Oktober 2026, jadi usianya kurang lebih setara dengan Bolt dan juga belum banyak mengumpulkan hasil independen.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Ini hanya teks, dan selalu berpikir sebelum menjawab — jejak penalaran bukan opsional. Liquid memposisikannya terhadap model yang satu setengah kali lebih besar pada tugas agentik, dan mencatat skor LiveClaw 48,09 berbanding 38,19 untuk Qwen3.6-35B-A3B guna mendukung hal itu. Itu adalah perbandingan vendor pada tolok ukur yang dipilih vendor dan harus dibaca seperti itu, tetapi jumlah parameter aktif yang dibanggakannya dapat diperiksa dalam konfigurasi model itu sendiri.

Apa sebenarnya Bolt

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Kompresinya agresif dengan cara yang disembunyikan oleh jumlah parameter Bolts. Top-K ahli turun dari 22 pada induknya menjadi 9, yang hampir sama dengan top-K LFM2.5 yaitu top-4 meskipun model tersebut membawa tiga kali jumlah parameter. Menara visi dipasang kembali setelahnya dari induknya, sehingga Bolt menerima gambar dan video sedangkan LFM2.5-24B-A2B hanya menerima teks, dan ia mewarisi jendela konteks 256K yang dua kali lipat dari Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Kontras spesifikasi, kedua sisi dalam satu baris

• Parameter total dan aktif — Bolt: total 74B, 9B aktif per token. LFM2.5-24B-A2B: total 24,0B, 2,45B aktif per token.

• Tulang punggung — Bolt: blok state-space Mamba-2 yang diselang-seling dengan campuran pakar dan atensi. LFM2.5-24B-A2B: tiga puluh blok konvolusi pendek berpintu ganda ditambah sepuluh lapisan atensi kueri berkelompok.

• Perutean — Bolt: 9 pakar teratas setelah kompresi, turun dari 22 pada model induk. LFM2.5-24B-A2B: 64 pakar per blok, 4 teratas.

• Presisi tersimpan — Bolt: expert IQ2-XXS pada 2,0625 bit per elemen, lapisan Mamba pada NVFP4, embedding dan output pada Q8_0. LFM2.5-24B-A2B: bobot presisi penuh, dengan GGUF, FP8, ONNX, dan beberapa lebar bit MLX yang diterbitkan sebagai model saudara oleh vendor.

• Konteks — Bolt: hingga 262.144 token. LFM2.5-24B-A2B: 131.072 token.

• Modalitas — Bolt: teks, gambar, dan video masuk, teks keluar. LFM2.5-24B-A2B: teks masuk, teks keluar.

• Lisensi — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, gratis untuk penggunaan komersial di bawah pendapatan tahunan $10M dan lisensi komersial berbayar di atasnya.

• Intelligence Index — Bolt: 21, diukur oleh Artificial Analysis. LFM2.5-24B-A2B: tidak ada profil Artificial Analysis untuk checkpoint ini, jadi tidak ada skor independen yang sebanding dan artikel ini tidak akan mengarangnya.

• Harga yang dipublikasikan — Bolt: tidak ada sama sekali, dan tidak ada endpoint yang dihosting. LFM2.5-24B-A2B: $0,10 per juta token input dengan tarif cache $0,05, dan $1,00 per juta output, di endpoint yang dihosting milik Liquid sendiri, dengan kredit awal $2.

Pasangan terakhir itu adalah fakta paling tajam dalam perbandingan ini, dan arahnya berlawanan dengan yang tidak diduga kebanyakan orang: model dengan jejak lebih kecil justru yang punya harga, dan model dengan jejak lebih besar justru yang tidak. Bolt tidak bisa dicoba tanpa membeli perangkat keras. LFM2.5 bisa dicoba sore ini dengan biaya yang nyaris nol.

Kecepatan, dan seberapa teliti membaca angka

Tidak satu pun model memiliki pengukuran pusat data yang independen. Inilah keadaan bukti yang jujur dan ini membatasi apa yang dapat dikatakan.

Untuk LFM2.5-24B-A2B, Liquid melaporkan 184 token per detik pada Apple M5 Max dan 114 pada AMD Ryzen AI Max+ 395, serta mengklaim inferensi hingga 1,7× lebih cepat daripada MoE sebanding di perangkat. Itu adalah angka vendor pada silikon kelas laptop, yang belum direproduksi oleh pihak lain mana pun, dan tidak mengatakan apa pun tentang apa yang dilakukan model pada GPU pusat data dengan banyak permintaan bersamaan.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Apa yang bersifat struktural alih-alih terukur: Bolt membaca 9 miliar parameter per token dan LFM2.5 membaca 2,45 miliar. Pada bandwidth memori yang setara, sebuah MoE membaca kira-kira sebanding dengan parameter aktifnya, dan bobot pakar bit rendah membantu lebih jauh dengan memperkecil byte yang dipindahkan per parameter. LFM2.5 memiliki himpunan aktif yang lebih kecil dengan faktor 3,7, dan ia berjalan pada presisi yang lebih tinggi per bobot, jadi lalu lintas byte per token adalah tempat yang perlu dilihat. Itu adalah argumen bahwa model Liquid seharusnya lebih cepat, bukan pengukuran bahwa memang demikian.

Yang mana yang harus diunduh

Perbedaan di sini bukanlah kemampuan versus kemampuan, karena mereka tidak mengerjakan tugas yang sama. Bolt adalah agen multimodal yang membaca tangkapan layar dan mengendalikan browser pada skala 74B, dikompresi hingga muat. LFM2.5-24B-A2B adalah agen teks yang dibangun untuk menjawab dengan cepat di mesin yang sama sekali tidak memiliki GPU diskret.

Pilih Bolt ketika agen harus bisa melihat — WebArena, PDF, bingkai video — atau ketika beban kerja berjalan offline di mesin yang sudah memiliki akselerator kelas Blackwell, dan ketika Anda menerima bahwa Andalah orang pertama yang akan mengukur throughput-nya. Pilih LFM2.5-24B-A2B ketika tugasnya berupa teks, mesinnya laptop, latensi lebih penting daripada kedalaman penalaran, dan intinya adalah model tersebut muat di memori terpadu bersama aplikasi Anda yang lain.

Dua hal yang akan mengubah jawabannya: tolok ukur independen yang dijalankan pada keduanya, dan hosting apa pun yang dipublikasikan untuk Bolt. Keduanya tidak ada saat ini.

Menjalankannya di samping model yang dihosting

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Agen 24B lokal di laptop menangani pekerjaan rutin: perutean, peringkasan, pemformatan pemanggilan alat, sembilan puluh persen giliran yang tidak pernah membutuhkan model besar. Giliran yang memang membutuhkannya tetap harus dikirim ke suatu tempat, dan di situlah router membuktikan kegunaannya. OrcaRouter menyediakan 200+ model di balik satu kunci dengan harga daftar penyedia dengan tambahan markup 0 persen, sehingga pemotongan harga vendor langsung berlaku di sisi kami pada hari yang sama, dan DSL peruteannya memungkinkan Anda mendeskripsikan komposisi — model murah untuk tahap pertama, aturan eskalasi, fallback — sebagai satu panggilan, bukan sebagai kode aplikasi. Failover otomatis antar penyedia berarti masalah kapasitas di hulu dicoba ulang alih-alih ditampilkan kepada pengguna Anda.

Bagi siapa pun yang membangun di atas executor lokal, pembagian kerja itulah alasan sebuah checkpoint kecil tetap layak: model kecil menangani volumenya, dan model mahal dapat dijangkau tanpa kontrak kedua atau SDK kedua.

Apa yang bisa menyelesaikannya

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Sampai saat itu, pilihannya adalah keputusan anggaran memori, bukan keputusan benchmark. Satu model meminta Anda memiliki GPU dengan komputasi kelas Blackwell 24GB dan memberi Anda visi serta penalaran terdistilasi 74B sebagai imbalannya. Model lainnya hanya meminta laptop, berbiaya beberapa sen per jam untuk dicoba di server orang lain, dan mengorbankan penglihatan serta separuh jendela konteks untuk mencapainya.

Yang tidak dapat diberitahukan oleh angka-angka kepada Anda adalah apakah ada di antaranya yang bermasalah di lapangan: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, tempat setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.