Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Dua Cara untuk Menempatkan Agen dalam 24GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Itu bukan skandal. Itulah yang terlihat ketika Anda menjalankan harness sendiri, dan itulah alasan perbandingan ini disusun seputar hal yang dapat diverifikasi, bukan seputar skor adu langsung. Kedua model ini juga, dalam arti tertentu, merupakan jawaban atas pertanyaan yang sama yang dipecahkan dari dua ujung yang berlawanan.

Batasan yang menjadi acuan saat kedua model dibangun

Keduanya adalah model 24 gigabyte. Tidak ada laboratorium yang mengatakannya dengan kata-kata persis itu, dan angka itu muncul secara berbeda pada tiap kasus.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B berukuran total 24B dengan 2,45B aktif, dan memori adalah fungsi dari file yang Anda pilih, bukan dari arsitekturnya. Repositori GGUF yang dipublikasikan menawarkan Q4_K_M pada 14,53GB, QAD-Q4_0 yang sadar kuantisasi pada 13,58GB, Q5_K_M pada 17,03GB, Q6_K pada 19,69GB, dan Q8_0 pada 25,49GB. Angka 24 dalam namanya adalah jumlah parameter, bukan jejak memori; jejak memorinya adalah menu.

Perbedaan itu menentukan banyak hal. Bolt hanya memiliki satu konfigurasi rilis untuk inferensi, dan tidak ada yang perlu dikuantisasi karena modelnya sudah tiba dalam keadaan terkuantisasi. LFM2.5-24B-A2B memiliki checkpoint BF16 native sebesar 47,96GB yang tidak akan Anda jalankan di laptop dan serangkaian build komunitas serta pihak pertama yang akan Anda jalankan, dengan kualitas diserahkan pada penilaian Anda.

Sebenarnya masing-masing terbuat dari apa

• Parameter — Bolt: 74B total, 9B aktif per token. LFM2.5-24B-A2B: 24B total, 2.45B aktif per token.

• Arsitektur — Bolt: lapisan state-space Mamba-2 yang diselang-seling dengan mixture-of-experts dan attention, perutean LatentMoE, ditambah encoder visi C-RADIO v4-H. LFM2.5-24B-A2B: 40 lapisan — tiga puluh blok konvolusi pendek dengan gerbang ganda dan sepuluh blok attention grouped-query — dengan 64 expert per blok MoE dan perutean top-4.

• Provenance — Bolt: compressed from N​emotron 3.5 Super VL 120B-A12B by router-guided architecture search, then quantised with quantisation-aware distillation. LFM2.5-24B-A2B: trained directly, from a 33-trillion-token pre-training run through a two-phase mid-training stage and a five-stage post-training pipeline that ends in reinforcement learning inside agent harnesses.

• Input — Bolt: teks, gambar, dan video masuk, teks keluar. LFM2.5-24B-A2B: hanya teks. Ini adalah pembeda paling sulit antara keduanya, dan ini bersifat arsitektural, bukan perbedaan tuning.

• Konteks — Bolt: 262.144 token. LFM2.5-24B-A2B: 131.072 token, dua kali lipat dari 32.768 pada generasi sebelumnya, seiring dengan perluasan kosakata dari 65.000 menjadi 128.000 token.

• Bahasa — LFM2.5-24B-A2B menyebutkan enam belas, termasuk Arab, Korea, Thailand, Hindi, dan Rusia. Kartu model Bolt menyebutkan bahasa Inggris dan bahasa pemrograman sebagai yang utama dengan Spanyol, Prancis, Jerman, Italia, dan Jepang juga didukung.

• Lisensi — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: the LFM Open License 1.0. Keduanya bukan Apache 2.0, dan keduanya cukup permisif untuk pekerjaan komersial serta cukup tidak dikenal sehingga layak mendapat sepuluh menit seorang pengacara.

• Dukungan runtime saat rilis — keduanya mencantumkan llama.cpp, vLLM dan format edge masing-masing; LFM2.5-24B-A2B juga menyertakan build MLX dan ONNX serta menyebut SGLang.

Tabel benchmark, baca dengan cermat

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

Tabel Liquid AI untuk LFM2.5-24B-A2B melaporkan LiveClaw pada 48,09 berbanding 38,19 untuk Qwen3.6 35B-A3B, AutomationBench pada 27,69 berbanding 8,72, dan ToolSandbox pada 80,71 berbanding 75,02, sekaligus mengakui keunggulan model yang lebih besar pada GPQA Diamond 74,42, HLE 7,40, dan SWE-Bench Verified 51,00. Angka AA-Omniscience-nya negatif, minus 24,90, yang dalam penilaian tolok ukur tersebut berarti model ini dihukum karena jawaban salah yang penuh keyakinan, bukan dinilai semata-mata berdasarkan akurasi.

Kedua tabel sepakat tentang bentuk hasilnya bahkan ketika angka-angkanya berbeda: masing-masing model kuat dalam penggunaan alat agentik relatif terhadap ukurannya dan lebih lemah dalam pengingatan yang padat pengetahuan. Keduanya tidak memiliki entri Artificial Analysis, dan keduanya tidak memiliki endpoint yang dihosting, jadi tidak ada angka pihak ketiga untuk memutuskan seri dan tidak ada cara untuk melakukan A/B pada keduanya menggunakan traffic Anda sendiri tanpa mengunduh keduanya.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Mesin mana yang diinginkan masing-masing

Kisah perangkat kerasnya tumpang tindih lebih sedikit daripada yang disiratkan oleh pembingkaian 24GB.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B adalah yang lebih portabel di antara keduanya di atas kertas dan menyatakannya: build MLX untuk Apple Silicon, ONNX untuk runtime lintas platform, GGUF untuk inferensi CPU, FP8 untuk penyajian GPU, dan drafter DSpark yang dicantumkan akan segera hadir. Build terkuantisasi sebesar 13,58GB menyisakan lebih banyak ruang cadangan pada kartu 24GB daripada satu file 22,02GB milik Bolt ditambah proyektor visi 1,73GB-nya.

Aritmetika terakhir itu adalah inti praktisnya. Bobot dan proyektor Bolt menghabiskan 23,75GB dari 24GB yang menjadi asal nama model, menyisakan konteks dan konkurensi untuk bersaing memperebutkan sisanya. LFM2.5-24B-A2B pada Q4 atau QAD-Q4 menyisakan sekitar sepuluh gigabita untuk tujuan yang sama. Jika beban kerja Anda adalah pekerjaan agen berhorizon panjang dengan konteks hasil pengambilan yang besar, jejak aktif dan tersimpan yang lebih kecil bukanlah hadiah hiburan.

Di mana lapisan routing berada

Tidak satu pun dari kedua model itu merupakan sesuatu yang kami layani, dan hal ini layak dikatakan secara terang-terangan alih-alih dibungkus: katalog OrcaRouter tidak memuat Bolt atau LFM2.5-24B-A2B, jadi tidak ada endpoint di sini untuk keduanya dan tidak ada harga untuk dibandingkan. Kesamaan keduanya adalah bahwa mereka merupakan separuh lokal dari sebuah stack, dan separuh lokal hampir tidak pernah berdiri sendiri — agen yang menjalankan model 24GB di mesin di depannya tetap akan meraih sesuatu yang lebih besar ketika tugasnya melampaui kemampuan model itu.

Itulah bagian yang kami tangani. Satu kunci untuk 200+ model terkelola dengan harga daftar penyedia, dengan tanpa markup tambahan, failover otomatis sehingga penyedia yang goyah di tengah permintaan akan dicoba ulang alih-alih ditampilkan kepada siapa pun yang sedang menunggu, dan DSL perutean yang mengekspresikan rantai fallback sebagai konfigurasi, bukan sebagai kode aplikasi. Jika Anda memilih di antara dua checkpoint ini, keputusannya dibuat di perangkat keras Anda sendiri dan di harness Anda sendiri — dan eskalasi, kueri sampingan, serta evaluasi di sekitarnya adalah bagian yang melewati gateway.

Bagaimana memilih tanpa papan skor bersama

Empat pertanyaan menuntaskannya lebih cepat daripada tabel mana pun.

Apakah agen perlu melihat? Jika ia membaca tangkapan layar, PDF, atau video, Bolt adalah satu-satunya dari keduanya yang bisa melakukannya, dan pertanyaannya sudah selesai. Jika ia bekerja dalam teks dan panggilan alat, kemampuan multimodal adalah beban yang Anda bawa tanpa guna.

Berapa banyak konteks yang sebenarnya dibutuhkan oleh satu giliran? Seperempat juta token dibandingkan 131.072 adalah perbedaan yang nyata untuk pekerjaan berskala repositori atau berskala dokumen, dan itulah satu dimensi di mana kompresi Bolt menghasilkan sesuatu yang tidak muncul di kolom benchmark mana pun.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

Dan angka siapa yang Anda percayai? Kedua laboratorium telah menerbitkan tabel di mana model mereka sendiri menang di sebagian besar baris. Sikap yang jujur adalah bahwa masing-masing unggul dalam kelompok sejawat yang dipilihnya sendiri, bahwa ketidaksesuaian antara kedua tabel pada baseline yang identik adalah pengingat tentang variansi harness, dan bahwa angka benchmark dari laboratorium yang membangun model tersebut adalah klaim tentang kemampuan, bukan pengukurannya.

Jawaban singkatnya

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Keduanya dirilis dalam selang empat hari pada Oktober 2026 — LFM2.5-24B-A2B pada 13 Oktober, Bolt pada 15 Oktober — yang berarti belum ada satu pun yang memiliki rekam jejak independen, belum ada yang diukur terhadap yang lain pada perangkat keras yang sama, dan siapa pun yang mengklaim ada pemenang sedang membaca tabel vendor, bukan tolok ukur. Unduh keduanya, jalankan set evaluasi Anda sendiri, dan pertahankan yang mampu menyelesaikan pekerjaan. Itulah satu-satunya perbandingan di sini yang belum diterbitkan oleh salah satu dari kedua lab tersebut.

Kesenjangan antara apa yang diukur oleh papan skor dan apa yang dihadapi oleh suatu deployment adalah alasan catatan ini penting: kegagalan AI dan insiden agen yang terdokumentasi seputar model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda disengketakan.