Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: 24GB에 에이전트를 맞추는 두 가지 방법

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

숫자는 헷갈릴 만큼 비슷하다. Bolt는 740억 개 파라미터 체크포인트로, 토큰당 90억 개가 활성화되며, 전문가 가중치당 약 2비트로 저장되어 24GB 파일에 들어 있다. LFM2.5-24B-A2B는 240억 개 파라미터 체크포인트로, 토큰당 24억 5천만 개가 활성화되며, 일반 정밀도를 사용한다. 둘 다 전문가 혼합 모델이다. 둘 다 네트워크 없이 실행된다. 비슷하게 들리는 홍보 문구 뒤에는 거의 모든 엔지니어링 선택이 다르다.

LFM2.5-24B-A2B는 실제로 무엇인가

Liquid AI의 체크포인트는 LFM2.5 패밀리에서 가장 크고 마지막 구성원이며, 그 패밀리에서 아직 출시가 남아 있는 마지막 모델입니다. 가중치는 10월 초 Hugging Face에 공개되었고 회사는 2026년 10월 13일에 이를 발표했기 때문에, Bolt와 거의 비슷하게 최신이며 독립적인 결과도 그다지 많이 축적하지 못했습니다.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

이것은 텍스트 전용이며, 답하기 전에 항상 생각한다 — 추론 과정은 선택 사항이 아니다. Liquid는 에이전트 작업에서 1.5배 더 큰 모델들을 상대로 이 모델을 포지셔닝하며, 이를 뒷받침하기 위해 Qwen3.6-35B-A3B의 38.19에 맞서 LiveClaw 점수 48.09를 기록했다. 이는 벤더가 선택한 벤치마크에서의 벤더 비교이므로 그렇게 읽어야 하지만, 그것이 자랑하는 활성 파라미터 수는 모델 자체 구성에서 확인할 수 있다.

Bolt가 실제로 무엇인지

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

압축은 Bolts의 파라미터 수가 가려버릴 정도로 공격적이다. 전문가 top-K는 부모 모델의 22에서 9로 내려갔는데, 이는 모델이 세 배 많은 파라미터를 보유하고도 LFM2.5의 top-4와 거의 같은 top-K다. 비전 타워는 이후 부모로부터 다시 부착되어, Bolt는 LFM2.5-24B-A2B가 텍스트만 받아들이는 것과 달리 이미지와 비디오를 받아들이며, Liquid의 것보다 두 배로 늘어난 256K 컨텍스트 윈도우를 물려받았다.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

스펙 대비, 양쪽 모두 한 줄에

• 총 파라미터 및 활성 파라미터 — Bolt: 총 74B, 토큰당 활성 9B. LFM2.5-24B-A2B: 총 24.0B, 토큰당 활성 2.45B.

• 백본 — Bolt: Mamba-2 상태 공간 블록이 mixture-of-experts 및 어텐션과 교차 배치됩니다. LFM2.5-24B-A2B: 30개의 이중 게이트 숏 컨볼루션 블록과 10개의 그룹화된 쿼리 어텐션 계층.

• 라우팅 — Bolt: 압축 후 상위 9개 전문가, 부모 모델의 22개에서 감소. LFM2.5-24B-A2B: 블록당 64개 전문가, 상위 4개.

• 저장 정밀도 — Bolt: IQ2-XXS 전문가는 요소당 2.0625비트, Mamba 레이어는 NVFP4, 임베딩과 출력은 Q8_0. LFM2.5-24B-A2B: 전체 정밀도 가중치, 그리고 벤더가 형제 모델로 공개한 GGUF, FP8, ONNX 및 여러 MLX 비트 폭.

• 컨텍스트 — Bolt: 최대 262,144 토큰. LFM2.5-24B-A2B: 131,072 토큰.

• 모달리티 — Bolt: 텍스트, 이미지, 동영상 입력, 텍스트 출력. LFM2.5-24B-A2B: 텍스트 입력, 텍스트 출력.

• 라이선스 — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, 연간 매출 1,000만 달러 미만이면 상업적 사용이 무료이며, 초과 시에는 유료 상업 라이선스가 적용됩니다.

• 인텔리전스 지수 — Bolt: 21, Artificial Analysis 측정. LFM2.5-24B-A2B: 이 체크포인트에 대한 Artificial Analysis 프로필이 존재하지 않으므로, 비교 가능한 독립적 점수가 없으며 이 기사에서는 그런 점수를 임의로 만들어내지 않습니다.

• 공개 가격 — Bolt: 어디에도 없음, 호스팅 엔드포인트도 없음. LFM2.5-24B-A2B: 입력 토큰 100만 개당 $0.10, 캐시 요금 $0.05, 출력 100만 개당 $1.00, Liquid의 자체 호스팅 엔드포인트에서, 시작 크레딧 $2 제공.

그 마지막 조합은 이 비교에서 가장 예리한 사실이며, 대부분의 사람이 예상하지 못하는 방향으로 흘러간다: 더 작은 풋프린트를 가진 모델이 가격이 있는 쪽이고, 더 큰 풋프린트를 가진 모델은 그렇지 않은 쪽이다. Bolt는 하드웨어를 구매하지 않고는 시도할 수 없다. LFM2.5는 반올림 오차 수준의 비용으로 오늘 오후에 시도할 수 있다.

속도, 그리고 숫자를 얼마나 주의 깊게 읽을지

어느 모델도 독립적인 데이터센터 측정치를 갖고 있지 않습니다. 이것이 증거의 솔직한 현황이며, 이는 말할 수 있는 바를 제한합니다.

LFM2.5-24B-A2B의 경우, Liquid는 Apple M5 Max에서 초당 184토큰, AMD Ryzen AI Max+ 395에서 초당 114토큰을 보고하며, 온디바이스에서 유사한 MoE보다 최대 1.7배 빠른 추론을 주장한다. 이는 노트북급 실리콘에서 나온 공급업체 수치로, 다른 누구도 재현하지 못했으며, 동시 요청이 많은 데이터센터 GPU에서 이 모델이 어떤 성능을 내는지에 대해서는 아무것도 말해주지 않는다.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

구조적인 것이지 측정된 것은 아니다: Bolt는 토큰당 90억 개의 파라미터를 읽고 LFM2.5는 24.5억 개를 읽는다. 동일한 메모리 대역폭에서 MoE는 대략 활성 파라미터에 비례해 읽으며, 저비트 전문가 가중치는 파라미터당 이동하는 바이트를 줄여 더 도움이 된다. LFM2.5는 활성 집합이 3.7배 더 작고, 가중치당 더 높은 정밀도로 실행되므로, 토큰당 바이트 트래픽이 살펴볼 지점이다. 그것은 Liquid의 모델이 더 빨라야 한다는 주장이지, 실제로 더 빠르다는 측정은 아니다.

어느 것을 다운로드해야 하나요?

여기서의 구분은 능력 대 능력이 아닙니다. 두 모델이 같은 작업을 시도하는 것이 아니기 때문입니다. Bolt는 74B 규모의 멀티모달 에이전트로, 스크린샷을 읽고 브라우저를 조작하며, 맞춰질 때까지 압축되었습니다. LFM2.5-24B-A2B는 별도 GPU가 전혀 없는 머신에서 빠르게 답하도록 만들어진 텍스트 에이전트입니다.

에이전트가 봐야 할 때 — WebArena, PDF, 비디오 프레임 — 또는 워크로드가 이미 Blackwell급 가속기가 장착된 머신에서 오프라인으로 실행될 때, 그리고 당신이 그 처리량을 측정하는 첫 번째 사람이 된다는 점을 감수할 수 있을 때 Bolt를 선택하십시오. 작업이 텍스트이고, 머신이 노트북이며, 지연 시간이 추론 깊이보다 더 중요하고, 핵심은 그 모델이 나머지 애플리케이션들과 함께 통합 메모리에 들어간다는 점일 때 LFM2.5-24B-A2B를 선택하십시오.

답을 바꿔 놓을 두 가지가 있습니다. 두 제품 모두에서 실행된 독립적인 벤치마크, 그리고 Bolt의 공개된 호스팅입니다. 현재 둘 다 존재하지 않습니다.

호스팅된 모델과 함께 이들을 실행하기

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

노트북에서 실행되는 로컬 24B 에이전트가 일상적인 작업을 처리합니다: 라우팅, 요약, 도구 호출 포맷팅, 대형 모델이 전혀 필요하지 않았던 90퍼센트의 턴입니다. 대형 모델이 실제로 필요한 턴은 여전히 어딘가로 가야 하며, 바로 그 지점에서 라우터가 제 역할을 합니다. OrcaRouter는 하나의 키로 200개 이상의 모델을 제공자의 정가에 0퍼센트 마크업을 더해 제공합니다, 따라서 벤더의 가격 인하는 같은 날 우리 쪽에도 반영되며, OrcaRouter의 라우팅 DSL을 사용하면 구성을 정의할 수 있습니다 — 첫 번째 패스에는 저렴한 모델, 에스컬레이션 규칙, 폴백 — 을 애플리케이션 코드가 아니라 단일 호출로. 제공자 전반에 걸친 자동 페일오버는 업스트림 용량 문제가 사용자에게 드러나는 대신 재시도된다는 뜻입니다.

로컬 실행기 위에 무언가를 구축하는 사람이라면, 이러한 역할 분담이 바로 작은 체크포인트가 계속 쓸모 있게 유지되는 이유입니다. 작은 모델이 물량을 처리하고, 값비싼 모델은 두 번째 계약이나 두 번째 SDK 없이도 활용할 수 있습니다.

무엇이 그것을 해결할까요?

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

그때까지는 선택이 벤치마크 결정이라기보다 메모리 예산 결정이다. 한 모델은 24GB Blackwell급 컴퓨팅 성능을 갖춘 GPU를 직접 소유하라고 요구하는 대신 비전과 74B의 증류된 추론을 준다. 다른 모델은 노트북 한 대면 되고, 남의 서버에서 시간당 몇 푼으로 써볼 수 있으며, 그러는 대가로 시각과 컨텍스트 윈도의 절반을 포기한다.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.