Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: 교사 대 실행자

NVIDIA Nemotron 3.5 Lightning 30B A3B는 초당 294.9개의 출력 토큰으로 실행됩니다. Nanbeige4.3-33B는 속도가 전혀 공개되지 않았는데, 아무도 서빙하지 않기 때문입니다. 이 두 가지 사실은 어떤 벤치마크 수치보다도 이번 맞대결에 대해 더 많은 것을 말해줍니다. 한 모델은 요금표와 단일 GPU 배포 사례를 갖춘, 처리량을 겨냥해 설계된 제품이고, 다른 모델은 2026년 10월 24일 모델 카드만 달랑 들고 Hugging Face에 올라온, 추론 제공자가 없는 330억 파라미터 dense 체크포인트입니다. 둘 다 "30B급"입니다. 하지만 같은 종류의 객체는 아닙니다.

이 비교는 해볼 만하다. 두 제품 모두 같은 구매자 — {{1}}프런티어 모델 비용 없이 많은 작은 단계를 실행해야 하는 장기 실행 에이전트를 만드는 사람{{/1}} — 를 겨냥하고 있기 때문이다. NVIDIA의 답은 토큰당 연산량을 줄이는 것이다. Nanbeige의 답은 더 크고 더 조밀한 모델을 에이전트 작업에서 충분히 뛰어나게 만들어, 하나만 있으면 되도록 하는 것이다{{2}}. 이는 상반된 베팅이며, 각각에 대한 증거는 성격이 매우 다르다.{{/2}}

36억 개의 활성 파라미터, 그게 논거의 전부다

Nemotron 3.5 Lightning 30B A3B는 하이브리드 전문가 혼합(MoE) 모델입니다. 총 316억 개 파라미터, 토큰당 36억 개 활성 파라미터를 가지며 52개 레이어에 걸쳐 분산되어 있습니다. 즉 Mamba-2 23개, MoE 23개, 어텐션 6개입니다. 128개 전문가로 라우팅하고 그중 6개와 공유 전문가 1개를 활성화합니다. 이런 아키텍처 덕분에 관리형 엔드포인트에서 초당 약 295개 토큰을 유지할 수 있는 반면, 덴스 30B급 모델은 일반적으로 40–80 범위에 머뭅니다.

Nanbeige4.3-33B는 dense 모델입니다. 331억 개의 파라미터 전부가 매 토큰마다 연산에 참여합니다. 라우팅도, expert sparsity도, Mamba 레이어도 없습니다. 이는 의도된 선택이며 분명한 결과를 낳습니다. 토큰 하나당 연산량은 Lightning의 활성 컴퓨트 대비 약 9배에 달하고, 모델이 무언가를 생성하기 전에 상주시켜야 하는 가중치는 BF16 기준 약 66GB, 4-bit 기준 약 20GB입니다.

추상적으로는 어느 설계가 더 우수하다고 할 수 없습니다. Dense 모델은 일반적으로 fine-tuning이 더 간단하고 품질이 더 예측 가능한 경향이 있는 반면, sparse 모델은 동일한 명목 크기에서 서빙 비용이 더 저렴하고 속도가 더 빠른 경향이 있습니다. 문제는 귀하의 워크로드에 어떤 특성이 부족한가입니다.

각 모델이 하도록 만들어진 작업

NVIDIA는 Lightning을 상시 가동 에이전트의 실행 계층으로 위치시킨다. 즉, 더 큰 시스템으로부터 계획을 넘겨받아 도구 호출, 파일 편집, 브라우저 단계를 저비용으로 꾸준히 처리하는 모델이다. 이 모델은 Nemotron 3 Ultra에서 증류되었고, 사전 학습에 내장된 다중 토큰 예측 추측 디코딩과 별도의 드래프트 모델을 함께 제공하며, 채팅보다는 하네스에 맞게 튜닝되었다. 공개된 벤치마크 세트가 이를 반영한다. PinchBench 85.4–86, BrowseComp 36.8–36.97, SWE-bench Verified 51.56–52.8, Terminal-Bench 2.1은 약 23.5–24.6이다.

Nanbeige4.3-33B는 교사 모델로 자리매김한다. 모델 카드에도 그렇게 직접 명시되어 있다. 이 모델은 4.3 시리즈의 플래그십이며, 아직 공개되지 않은 Nanbeige4.3-3B 같은 더 작은 모델로 증류하기 위한 것이다. 그에 따라 벤치마크 세트도 폭넓다. 에이전트형 코딩, 에이전트형 협업, 추론을 아우르는 20개 행으로 구성되어 있으며, 권장 설정은 직접 실행하는 모델에 맞는 설정이다. 텐서 병렬 크기 4, XML 도구 호출, 다중 턴 도구 사용 시 preserve_thinking=true이다.

하나는 다른 사람의 시스템을 구성하는 요소이고, 다른 하나는 한 제품군을 위한 소스 모델입니다. 이러한 구도가 아래의 거의 모든 차이를 설명합니다.

그들이 공유하는 단 하나의 기준은 빼낼 수 없다

두 카드 모두 Terminal-Bench 2.1을 보고합니다. Nanbeige는 80.9를 주장합니다. NVIDIA가 공개한 Lightning의 범위는 대략 23.5–24.6입니다. 표면상으로는 56점 격차이며, 바로 이 숫자가 인용될 것입니다.

그럴 수는 없다. Terminal-Bench는 에이전트 스캐폴드 내부의 모델을 측정하는데, 두 벤더가 설명하는 스캐폴드는 동일하지 않다. Nanbeige의 모델 카드에 따르면 Terminal-Bench 2.1 실행에는 Terminus 2를 사용했고, 해당 모델들은 공유 하네스와 공유 추론 파라미터로 최고 수준의 사고 노력에서 평가되었다. NVIDIA의 수치는 자체 내부 하네스에서 나온 것이며, 회사 스스로도 제3자 결과와 다를 수 있다고 지적한다. 우호적인 루프를 제공받은 dense 33B 모델과 표준 하네스를 제공받은 3.6B 활성 모델은 어느 쪽도 잘못 표현되지 않은 채로 수십 점 차이가 날 수 있다.

정직한 해석은 수치가 아니라 방향성에 관한 것이다. Nanbeige는 에이전트형 터미널 성능이 실질적으로 더 강하다고 주장하고 있으며, 그 주장은 양측 모두에서 검증되지 않았다. 같은 주의가 GPQA Diamond(Nanbeige 89.5, Lightning 74.3–75.6)와 AA-LCR(Nanbeige 84.0, Lightning 52.0–60.3)에도 적용된다. 그 격차는 충분히 커서 차이 중 일부는 평가 하네스가 아니라 실제 역량일 가능성이 높다. 하지만 그 문장에서 "가능성이 높다"가 하는 역할은 매우 크며, 제3자가 그 비교를 수행한 적은 없다.

모호하지 않은 것은 독립적 커버리지입니다. Artificial Analysis는 Nemotron 3.5 Lightning에 Intelligence Index 13점을 부여합니다. Nanbeige4.3-33B에 대한 항목은 없습니다. 한 모델은 제2의 의견을 갖고 있고, 다른 모델은 모델 카드를 갖고 있습니다. 그 비대칭은 정보이며, 더 요란한 표를 내세우는 공급업체에 불리하게 작용합니다.

문서상 1M 컨텍스트, 실제로는 256K

Artificial Analysis는 Lightning의 컨텍스트 윈도를 100만 토큰으로 표기합니다. NVIDIA 자체 문서는 더 보수적입니다. 단일 H100에서 실질적인 상한은 262,144토큰입니다. 두 수치 모두 사실일 수 있습니다. 아키텍처는 더 긴 윈도를 지원하지만, 실제로 실행할 가능성이 높은 하드웨어가それを 편안하게 감당하지는 못합니다.

Nanbeige4.3-33B의 524,288 토큰은 dense 모델에서 학습된 윈도우이며, KV 캐시의 메모리 비용은 이에 비례해 증가합니다. 해당 카드의 vLLM 및 SGLang 레시피는 GPU 메모리 활용률 0.8과 텐서 병렬 크기 4를 사용하는데, 이는 의도된 배포가 단일 카드가 아님을 보여줍니다.

에이전트 작업에서는 실질적인 차이가 최대치보다 긴 실행에서 무엇이 살아남는지에 더 달려 있습니다. Lightning의 하이브리드 Mamba 레이어는 긴 시퀀스에서 상태를 저렴하게 유지하도록 설계되었지만, Nanbeige의 덴스 어텐션은 그렇지 않습니다. NVIDIA는 장문맥 추론 점수인 AA-LCR에서 52.0–60.3을 공개했고, Nanbeige는 같은 벤치마크에서 84.0을 공개합니다. 두 표를 모두 믿는다면 Nanbeige의 장문맥 추론이 훨씬 더 강합니다. 독립적으로 시행된 것만 믿는다면, 확인할 수 있는 것은 Lightning의 것뿐입니다.

dense 33B 호스팅의 산술

여기서부터 비교는 품질이 아니라 활용에 관한 것이 됩니다.

Lightning은 관리형 엔드포인트에서 입력 토큰 백만 개당 $0.06, 출력 토큰 백만 개당 $0.20으로 책정되어 있습니다. Nanbeige는 이를 배포하는 제공업체가 없기 때문에 요금표가 없으며, 요금표에도 그렇게 명시되어 있습니다. 사용하려면 GPU를 대여하거나 구매한 뒤 4방향 텐서 병렬 레시피를 따라야 합니다.

순전히 산술적으로만 가정해 보자. H100급 GPU 네 대의 비용이 시간당 각각 $2, 즉 노드당 시간당 $8이라고 하자. Lightning의 출력 가격과 손익분기하려면 그 노드는 시간당 4천만 개의 출력 토큰을 생산해야 하며, 이는 초당 약 11,100토큰을 지속적으로 내는 것과 같다. 네 대의 GPU에서 33B dense 모델로는 그렇게 할 수 없다. GPU 비용이 10분의 1이라 해도 손익분기 처리량은 초당 1,000토큰 이상을 지속적으로 내는 수준이며, 이는 곁다리 실험이 아니라 본격적인 서빙 운영이다.

결론은 Nanbeige가 비싸다는 것이 아니다. dense 33B 모델을 자체 호스팅하는 것이 백만 토큰당 0.20달러짜리 executor를 앞서는 경우는 활용률이 아주 높고 아주 꾸준할 때뿐이다. 또는 작업이 여러분의 인프라 밖으로 나갈 수 없을 때인데, 그 경우 그 비교는 애초에 가격에 관한 것이 아니었다. 버스트가 심하거나 볼륨이 낮을 때는 관리형 sparse 모델이 품질에 대한 논의가 시작되기도 전에 비용에서 큰 차이로 앞선다.

라우터가 2개 모델 시스템에서 적합한 위치

NVIDIA가 판매하는 아키텍처 — 프런티어 플래너, 저비용 실행기 — 는 대부분의 에이전트 팀이 결국에는 도달하게 되는 아키텍처입니다. 이는 또한 라우팅 계층이 염두에 두고 설계된 형태이기도 합니다: 우리의 라우팅 DSL은 여러 모델을 단일 호출로 구성하므로 플래너와 실행기가 하나의 엔드포인트 뒤에 자리할 수 있으며, 자동 페일오버는 문제를 겪는 실행기가 멈춰버린 에이전트로 변하는 것을 막아줍니다.

우리는 현재 Nemotron 3.5 Lightning 30B A3B나 Nanbeige4.3-33B를 취급하지 않습니다, 따라서 이 글은 둘 중 어느 쪽에 대한 가용성 제안도 아닙니다. 이는 통합 비용이 어디에서 발생하는지에 관한 메모입니다. Nanbeige를 플래너로 자체 호스팅하고 호스팅 모델을 실행자로 호출한다면, 그 분담은 애플리케이션에 하드코딩하기보다 라우팅 규칙으로 표현하는 것이 좋습니다 — 각 슬롯에 원하는 모델은 분기가 끝나기 전에 바뀔 것이기 때문입니다.

지연 시간 예산이 리더보드보다 더 많은 것을 결정한다

• 에이전트의 단일 단계가 1초 이내에 반환되어야 한다면: Lightning입니다. 초당 295토큰이면 300토큰 답변이 약 1초 만에 나옵니다. 자체 하드웨어에서 dense 33B는 그렇게 되지 않으며, Nanbeige에는 벤치마크할 호스팅 옵션이 없습니다.

• 해당 단계가 워크플로 맨 앞의 긴 추론 패스라면: GPQA, AA-LCR 및 에이전틱 항목들에서 Nanbeige가 주장하는 우위 폭은 이를 뒷받침한다 — 단, 위에 언급된 하네스 관련 유의사항이 전제된다.

• 작업물이 중국어인 경우: Nanbeige. Lightning의 공개 언어는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어입니다.

• 해당 작업이 다국어 유럽어인 경우: Lightning. Nanbeige는 영어와 중국어만 나열합니다.

• GPU가 없고 GPU에 관심도 없다면: 고민할 것 없이 Lightning입니다.

• 데이터가 네트워크를 벗어날 수 없다면: Nanbeige, 그리고 비용 비교는 토큰 가격 문제가 아니라 인프라 결정이 됩니다.

열린 질문

Nanbeige4.3-33B는 출시된 지 이틀밖에 되지 않았고 서빙 지원 체계가 전혀 없습니다. 바로 이 점이 이 글의 시점을 규정하는 사실입니다. 만약 어떤 제공업체가 이를 채택한다면 — 그리고 현재는 아무도 채택하지 않는다는 카드의 주장이 주목해야 할 부분인데 — 이 비교의 비용 측면은 완전히 달라집니다. 경쟁력 있는 토큰당 가격으로 호스팅되는 dense 33B 모델은 품질에 민감한 작업에서 더 작은 sparse executor를 선택해야 한다는 전체 논거를 약화시킬 것이기 때문입니다.

그때까지 방어 가능한 입장은 좁다. Nemotron 3.5 Lightning 30B A3B는 오늘 배포할 수 있는 모델이며, 공개된 가격과 독립적인 점수를 갖추고 있고 토큰당 컴퓨팅은 약 9분의 1이다. Nanbeige4.3-33B는 서류상 더 유능해 보이는 모델로, 512K 네이티브 윈도와 아무도 재현하지 못한 자체 보고 에이전트 수치를 내세운다. 에이전트가 지연 시간과 비용에 제약을 받는다면 선택은 이미 끝났다. 품질에 제약을 받고 하드웨어를 직접 보유하고 있다면, 그 선택은 시험해 볼 가치가 있다 — 그리고 그 시험은 아직 실행되지 않았다.