Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: 24GB 안에 에이전트를 담아내는 두 가지 방법

이 둘을 비교하려는 사람이라면 누구나 마주치는 문제가 있습니다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB와 LFM2.5-24B-A2B는 모두 동일한 세 가지 베이스라인 모델 — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, Nemotron 3.5 Lightning 30B-A3B — 을 포함한 벤치마크 표를 공개했는데, 두 표는 그 베이스라인들이 받은 점수에 대해 서로 엇갈립니다. PinchBench에서 NVIDIA는 Qwen3.6을 88.07, Lightning을 83.43으로 기재했습니다. Liquid AI는 같은 두 모델을 89.93과 84.20으로 기재했습니다. 같은 벤치마크, 같은 이름의 항목, 다른 숫자, 그리고 둘 다 이번 달에 공개되었습니다.

그것은 스캔들이 아니다. 그것은 하네스를 직접 실행하는 모습이며, 이 비교가 일대일 점수보다는 검증 가능한 것을 중심으로 작성된 이유이기도 하다. 두 모델은 또한 어떤 의미에서 같은 질문을 서로 반대쪽 끝에서 해결한 답들이기도 하다.

두 모델 모두가 전제로 삼아 만들어진 제약

둘 다 24기가바이트 모델이다. 어느 연구소도 정확히 그런 말로는 말하지 않으며, 그 숫자에 이르는 방식도 각각 다르다.

Bolt는 총 74B이고 활성 파라미터는 9B입니다. NVIDIA의 Star Elastic 아키텍처 탐색은 충족해야 할 단 하나의 예산, 즉 배치 크기 1과 128K 컨텍스트에서 24GB 미만이라는 조건을 부여받았고, 그 결과로 나온 체크포인트는 바로 그 제약이 만들어낸 것이며, 전문가 가중치는 요소당 2.0625비트입니다. 메모리 한도는 설계 입력이고, 파라미터 수는 출력입니다.

LFM2.5-24B-A2B는 총 24B에 활성 파라미터가 2.45B이며, 메모리는 아키텍처가 아니라 여러분이 선택하는 파일에 따라 달라집니다. 공개된 GGUF 저장소는 Q4_K_M을 14.53GB, 양자화 인식 QAD-Q4_0을 13.58GB, Q5_K_M을 17.03GB, Q6_K를 19.69GB, Q8_0을 25.49GB로 제공합니다. 이름에 붙은 24는 파라미터 수일 뿐 실제 차지하는 용량이 아니며, 그 용량은 하나의 메뉴입니다.

그 구분은 많은 것을 좌우한다. Bolt는 추론을 위한 출시 구성이 정확히 하나뿐이며, 모델이 이미 양자화된 상태로 제공되기 때문에 양자화할 것은 없다. LFM2.5-24B-A2B에는 노트북에서는 실행하지 않을 47.96GB의 네이티브 BF16 체크포인트와, 실제로 실행할 만한 커뮤니티 및 퍼스트파티 빌드 세트가 있으며, 품질은 여러분의 판단에 맡겨져 있다.

각각이 실제로 무엇으로 만들어졌는지

• 파라미터 — Bolt: 총 74B, 토큰당 9B 활성. LFM2.5-24B-A2B: 총 24B, 토큰당 2.45B 활성.

• 아키텍처 — Bolt: Mamba-2 상태 공간 계층이 전문가 혼합(mixture-of-experts) 및 어텐션과 교차 배치되고, LatentMoE 라우팅, 그리고 C-RADIO v4-H 비전 인코더를 포함합니다. LFM2.5-24B-A2B: 40개 계층 — 30개의 이중 게이트 단거리 합성곱 블록과 10개의 그룹화된 쿼리 어텐션 블록 — MoE 블록당 64개 전문가와 top-4 라우팅을 갖춥니다.

• 출처 — Bolt: 라우터 유도 아키텍처 탐색을 통해 Nemotron 3.5 Super VL 120B-A12B에서 압축된 다음, 양자화 인식 증류로 양자화되었습니다. LFM2.5-24B-A2B: 33조 토큰 규모의 사전 학습 실행으로부터 2단계 중간 학습 단계와 에이전트 하네스 내부에서의 강화 학습으로 끝나는 5단계 사후 학습 파이프라인을 거쳐 직접 학습되었습니다.

• 입력 — Bolt: 텍스트, 이미지, 동영상 입력, 텍스트 출력. LFM2.5-24B-A2B: 텍스트 전용. 이것은 둘 사이에서 가장 넘기 힘든 경계이며, 튜닝 차이가 아니라 아키텍처 차이입니다.

• 컨텍스트 — Bolt: 262,144 토큰. LFM2.5-24B-A2B: 131,072 토큰, 이전 세대의 32,768에서 두 배로 증가했으며 어휘는 65,000에서 128,000 토큰으로 확장되었습니다.

• 언어 — LFM2.5-24B-A2B는 아랍어, 한국어, 태국어, 힌디어, 러시아어를 포함해 열여섯 개 언어를 지원한다고 밝히고 있다. Bolt의 모델 카드는 영어와 코딩 언어를 주요 지원 언어로 명시하며, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어도 지원한다고 밝히고 있다.

• 라이선스 — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. 둘 다 Apache 2.0이 아니며, 상업적 이용에 충분히 허용적이지만 변호사의 10분을 들일 가치가 있을 만큼 생소하다.

• 출시 시점 런타임 지원 — 두 모델 모두 llama.cpp, vLLM 및 각자의 엣지 포맷을 나열하며, LFM2.5-24B-A2B는 추가로 MLX 및 ONNX 빌드를 제공하고 SGLang을 명시한다.

벤치마크 표들을 주의 깊게 읽으세요.

Bolt의 벤더 표는 Terminal-Bench 2.1에서 50.98로 Qwen3.6 35B-A3B의 44.38과 Gemma 4 26B-A4B의 37.22를 앞세워 승리를 안겨주고, BrowseComp에서는 66.75로 48.74를, GPQA Diamond에서는 86.43으로 83.40을 앞선다. 또한 뒤지는 항목도 그대로 표시한다: AA-Omniscience 정확도는 16.90으로 Gemma의 22.17에 못 미치고, PinchBench는 87.82로 Qwen의 88.07에 뒤진다. NVIDIA는 동종 그룹을 4비트에서 24GB에 들어가는 모델들로 골랐는데, 이는 Bolt가 정면으로 겨냥해 설계된 제약이 정의하는 집합이다.

Liquid AI의 LFM2.5-24B-A2B 표는 LiveClaw를 48.09로 보고하는데, 이는 Qwen3.6 35B-A3B의 38.19에 맞서는 수치이고, AutomationBench는 27.69 대 8.72, ToolSandbox는 80.71 대 75.02입니다. 반면 GPQA Diamond는 74.42, HLE는 7.40, SWE-Bench Verified는 51.00으로 더 큰 모델들에 내주고 있습니다. AA-Omniscience 수치는 마이너스 24.90인데, 해당 벤치마크의 채점 방식에서 이는 정확도만으로 평가받는 것이 아니라 확신에 찬 오답에 대해 페널티를 받는다는 뜻입니다.

두 표는 숫자가 다른 부분에서도 결과의 형태에 대해서는 일치한다. 각 모델은 자체 크기에 비해 에이전트형 도구 사용에 강하고 지식 비중이 높은 리콜에서는 약하다. 둘 다 Artificial Analysis 항목이 없고, 둘 다 호스팅된 엔드포인트가 없어서, 동점을 깰 제3자 수치도 없고, 둘 다 다운로드하지 않고서는 자체 트래픽에서 A/B 테스트할 방법도 없다.

Bolt에 대해 존재하는 독립적인 수치는 하나 있습니다. 인텔리전스 지수 21로, 같은 클래스 67개 모델 중 4위이며, Bolt가 경쟁하는 덴스 모델들을 평가하는 동일한 패널에서 나온 점수입니다. Liquid AI는 Apple M5 Max에서 LFM2.5-24B-A2B가 초당 184토큰이라고 보고하고, NVIDIA는 LiLiCorr 드래프터를 붙인 llama.cpp를 실행하는 RTX Spark 머신에서 Bolt가 초당 83.99토큰이라고 보고합니다. 이 두 속도는 두 연구소가 공개한 수치 중 가장 유용한 숫자들이지만, 서로 비교할 수는 없습니다 — 하드웨어도 다르고, 포맷도 다르고, 드래프터 구성도 다릅니다.

각자 어떤 기계를 원하는가

하드웨어 이야기들은 24GB라는 구도가 시사하는 것보다 덜 겹친다.

Bolt는 NVIDIA 자체 엣지 스택을 위해 만들어졌습니다: 10월 16일에 출시되는 RTX Spark 노트북, GeForce RTX PC, DGX Spark, DGX Station, RTX PRO 워크스테이션을 지원하며, Spark에서는 llama.cpp용, DGX에서는 vLLM용 양자화 체크포인트를, Ampere, Hopper, Blackwell용으로 이름 붙은 BF16 체크포인트를 제공합니다. 드래프터는 별도의 1.13B 다운로드이며, 참조 vLLM 레시피는 nightly 빌드, 벤더 저장소의 커널 패키지, 서빙 시퀀스 수 1을 고정합니다.

LFM2.5-24B-A2B은 문서상 두 모델 중 더 이식성이 뛰어나며, 스스로 그렇게 말합니다: Apple Silicon용 MLX 빌드, 크로스 플랫폼 런타임용 ONNX, CPU 추론용 GGUF, GPU 서빙용 FP8, 그리고 출시 예정으로 기재된 DSpark 드래프터가 있습니다. 13.58GB의 양자화 빌드는 24GB 카드에서 Bolt의 단일 22.02GB 파일에 1.73GB 비전 프로젝터까지 더한 것보다 더 많은 여유 공간을 남깁니다.

그 마지막 계산이 실질적인 핵심이다. Bolt의 가중치와 프로젝터는 모델 이름에 들어간 24GB 중 23.75GB를 차지해, 남은 공간을 두고 컨텍스트와 동시성이 경쟁하게 만든다. Q4 또는 QAD-Q4의 LFM2.5-24B-A2B는 같은 목적으로 약 10GB를 남긴다. 워크로드가 대규모 검색 컨텍스트를 사용하는 장기적 에이전트 작업이라면, 더 작은 활성 및 저장 풋프린트는 위안거리가 아니다.

라우팅 레이어가 들어가는 위치

두 모델 모두 우리가 제공하는 것이 아니며, 미화하기보다는 솔직히 말할 가치가 있습니다: OrcaRouter 카탈로그에는 Bolt나 LFM2.5-24B-A2B가 없으므로, 여기에는 어느 쪽을 위한 엔드포인트도 없고 비교할 가격도 없습니다. 두 모델의 공통점은 스택의 로컬 절반이라는 점이며, 로컬 절반은 거의 혼자 있지 않습니다 — 앞에 있는 머신에서 24GB 모델을 실행하는 에이전트도 작업이 그 모델을 넘어서면 더 큰 무언가를 찾습니다.

그것이 우리가 처리하는 부분입니다. 제공업체의 정가로 200개 이상의 호스팅 모델 전반에 걸쳐 하나의 키를 제공하며 마크업이 추가되지 않고, 자동 페일오버가 있어 요청 도중 흔들리는 제공업체는 대기 중인 사람에게 드러나지 않고 재시도되며, 그리고 라우팅 DSL은 폴백 체인을 애플리케이션 코드 대신 구성으로 표현합니다. 이 두 체크포인트 중에서 선택해야 한다면, 결정은 여러분의 자체 하드웨어와 자체 하네스에서 내려지며 — 그 주변의 에스컬레이션, 부수 쿼리 및 평가는 게이트웨이를 거치는 부분입니다.

공유된 점수판 없이 선택하는 방법

네 가지 질문이 어떤 표보다 더 빠르게 그것을 해결한다.

에이전트가 볼 필요가 있나요? 스크린샷, PDF 또는 동영상을 읽는다면, Bolt는 둘 중 유일하게 가능한 것이고, 질문은 끝난 것입니다. 텍스트와 도구 호출로 작동한다면, 멀티모달 기능은 아무 의미 없이 짊어지는 무게입니다.

한 턴에 실제로 필요한 컨텍스트는 얼마나 될까? 25만 토큰과 131,072 토큰의 차이는 저장소 규모나 문서 규모 작업에서 실질적인 차이이며, 이것은 Bolt의 압축이 어떤 벤치마크 열에도 나타나지 않는 무언가를 얻어낸 유일한 차원이다.

어떤 머신인가? 24GB 외장 NVIDIA GPU이고 고정된 nightly vLLM을 감수할 수 있는 머신이라면 Bolt가 유리하다. Mac이거나, 동일한 빌드를 여러 곳에서 실행해야 하는 혼합 플릿이라면 GGUF와 함께 MLX와 ONNX를 제공하는 모델이 유리하다.

그럼 누구의 숫자를 믿어야 할까? 두 연구소 모두 자신들의 모델이 대부분의 행에서 이긴 표를 공개했다. 정직한 입장은 각 모델이 자신이 선택한 동료 집단 안에서는 강하다는 것, 동일한 기준선에 대한 두 표의 불일치는 하네스 분산에 대한 경고라는 것, 그리고 모델을 만든 연구소의 벤치마크 수치는 능력에 대한 주장이지 그것의 측정값은 아니라는 것이다.

짧은 대답

Bolt는 시각, 25만 토큰 컨텍스트, 그리고 이 규모에서 출시된 것 중 가장 타이트한 압축을 제공하고, 그 대가를 2.5기가바이트의 여유 공간과 필수 NVIDIA 레시피로 청구한다. LFM2.5-24B-A2B는 이식성, 더 작은 워킹 세트, 16개 언어를 제공하고, 그 대가를 모달리티와 컨텍스트로 청구한다.

둘 다 2026년 10월에 나흘 이내로 공개되었습니다 — LFM2.5-24B-A2B는 10월 13일, Bolt는 10월 15일 — 즉, 어느 쪽도 아직 독립적인 실적 기록이 없고, 공유 하드웨어에서 서로 비교 측정된 적도 없으며, 승자를 주장하는 사람은 벤치마크가 아니라 벤더 표를 읽고 있는 것입니다. 둘 다 내려받아 직접 평가 세트를 돌려 보고, 작업을 끝내는 쪽을 남기세요. 그것만이 여기서 두 연구소 중 한 곳이 아직 공개하지 않은 유일한 비교입니다.

스코어보드가 측정하는 것과 배포가 실제로 마주하는 것 사이의 그 간극이 바로 이 기록이 중요한 이유입니다: 이 계열의 모델과 관련된 문서화된 AI 실패 및 에이전트 사고가 수집되는 곳은 OrcaRouter AI Incident Archive이며, 각 항목은 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그를 갖추고 있습니다.