
NVIDIA Nemotron 3.5 Lightning 30B A3B: Nvidia의 오픈 에이전트 주력 모델에 대한 설명
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 89 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaNEWOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 88 tok/s
- OrcaNEWOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 133 tok/s
- OrcaNEWOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 100만 토큰당 · 88 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 123 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 194 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 123 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100만 토큰당 · 138 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955지능
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855지능
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100만 토큰당 · 189 tok/s
Nvidia는 2026년 8월 11일 Nemotron 3.5 Lightning을 발표하면서 대부분의 모델 출시에서는 빠뜨리는 것, 즉 라우터를 함께 제공했습니다. 에이전트 루프 안에서 다음 호출을 처리할 모델을 결정하는 오픈소스 라이브러리인 NeMo Switchyard는 활성 파라미터가 30억 개뿐인 300억 파라미터 mixture-of-experts 모델과 같은 날 출시되었는데, 바로 이것이 핵심입니다. 이 설명글은 Nvidia가 처음 공개한 체크포인트, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, 즉 채팅에 맞게 튜닝된 기준 모델이 아닌 사전 학습된 원본 베이스 모델과, 이 제품군 전체가 오픈 모델 서빙이 나아갈 방향에 대해 알려주는 바에 관한 것입니다.
{{1}}숫자를 소개하기 전에 출처와 관련해 한 가지 참고할 점이 있습니다. 이 글에 담긴 모든 벤치마크, 속도 주장, 파트너 수치는 모두 엔비디아 자체의 것이며, 그중 어느 것도 아직 독립적으로 재현된 적이 없습니다. 이 모델은 공개된 지 몇 시간밖에 되지 않았기 때문입니다. 따라서 성능 수치는 공급업체가 제시한 자료로 간주하시기 바랍니다. 정보를 제공하고 방향성을 보여줄 뿐, 아직 공식 점수판은 아닙니다.{{/1}}
Nemotron 3.5 Lightning이 실제로 무엇인지
Nemotron 3.5 Lightning은 Nvidia의 오픈 Nemotron 3 제품군 중 가장 최신이자 가장 작은 모델입니다. 30B 파라미터 MoE로 토큰당 3B만 활성화되며, 하이브리드 Mamba-2 및 MoE 아키텍처를 기반으로 하고, 전용 사전 학습 단계에서 선택적 어텐션 레이어와 다중 토큰 예측(MTP) 헤드가 통합되어 있습니다. Nvidia는 이 모델이 최첨단 Nemotron 3 Ultra 모델에서 증류되었으며 20조 개 이상의 토큰으로 학습되었고, 최대 100만 개의 토큰을 지원하는 컨텍스트 창을 갖추고 있다고 밝혔습니다.
설계 목표는 규모에서의 지연 시간과 비용이지, 최첨단 일반성이 아닙니다. Nvidia는 Lightning을 상시 가동 에이전트의 "실행 계층"으로 포지셔닝합니다 — 에이전트가 끊임없이 수행하는 대량의 난이도가 낮은 호출, 즉 도구 호출, 코드 리뷰, 보안 경보 분류, 청구 질문, 하위 에이전트 위임 말입니다. 그런 작업은 모든 단계에서 프런티어 모델을 사용하고 싶지 않은 작업입니다. 저렴하고 빠르면서도 충분히 좋은 모델이 필요합니다. 속도 주장은 아키텍처에서 비롯됩니다: Nvidia 측정 기준으로 유사한 크기의 모델보다 출력 속도가 최대 4배 빠르고 에이전트 작업 완료 속도가 약 30% 더 빠릅니다. 두 드래프트 모델인 DSpark와 DFlash는 중간~높은 동시성 서빙에 맞게 조정된 추측 디코딩을 제공합니다.
세 가지 체크포인트 — 그리고 어떤 것을 원하는지
이번 출시는 사실상 세 가지 다운로드로 이루어져 있으며, "Nemotron 3.5 Lightning"을 하나의 모델로 취급하는 보도는 개발자에게 가장 중요한 차이점을 놓치고 있다.
이 글의 주제인 NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16은 지도 미세 조정, RL, 증류가 전혀 적용되지 않은 원시 사전 학습 체크포인트입니다. 이 모델은 엄밀한 의미의 베이스 모델로, 기본 상태에서는 대화할 수 없고, 지속 사전 학습, 맞춤형 SFT, RL, 또는 증류를 위한 시작점으로 존재합니다. Nvidia의 사전 학습을 기반으로 자신만의 모델을 구축하려면, 바로 이 파일이 필요합니다.
함께 출시된 형제 모델인 NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16은(는) 사전 학습, MTP 지속 학습, SFT, RL을 포함한 전체 파이프라인을 거친 레퍼런스 가중치입니다. 범용 추론 및 채팅 모델이지만, Nvidia는 여전히 이를 프로덕션 서빙 산출물이 아닌 커스터마이제이션의 시작점으로 설명합니다. 서빙을 위해서는 Nvidia가 Nemotron 3 Ultra에 사용하는 양자화 커널을 공유하며 함께 출시된 NVFP4 체크포인트가 지연 시간과 처리량을 목표로 합니다.
체크포인트당 한 줄로 작성된 실용적인 지침:
• Base-BF16 — 지속 사전 학습, 도메인 후속 학습, 처음부터 증류를 진행합니다. 여기서부터는 당신이 진행하세요.
• BF16 레퍼런스 — 채팅 및 추론이 가능하지만, 자체 SFT 또는 RL을 위한 기반으로 사용하기 위한 것이지 호스팅 엔드포인트가 아닙니다.
• NVFP4 — Nvidia GPU 배포를 위한 서빙 최적화 체크포인트.
프로덕션 API를 찾는 대부분의 독자는 기본 모델이 아닌 튜닝된 모델을 원한다. 하지만 기본 모델도 중요하다. Nvidia가 가중치, 학습 데이터, 레시피를 포괄하는 오픈 라이선스(OpenMDW-1.1)로 이를 공개했기 때문이다. 원시 사전 학습 결과물은 폐쇄형 공급업체에서는 얻을 수 없는 부분이며, 바로 그 부분이 전체 제품군을 여러분의 소유로 만들어 준다.

정직하게 표기된 벤치마크 원장
다음은 Nvidia가 자체 평가에서 기본 체크포인트에 대해 보고한 내용입니다: MMLU 78.59, MMLU-Pro (5-shot) 67.94, GSM8K 91.28, HumanEval 77.44, MBPP 78.59, ARC-Challenge 92.66, HellaSwag 85.55, WinoGrande 79.95, 그리고 1M 토큰에서 롱컨텍스트 RULER 점수 69.62입니다. 튜닝된 레퍼런스는 예상한 대로 유의미한 변화를 보여줍니다: MMLU-Pro 81.94, GPQA Diamond (도구 없음) 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58.
헤드라인 속도 수치는 역시 공급업체 보고 기준입니다: 동급 모델 대비 최대 4× 빠른 출력과 30% 더 빠른 에이전트 작업 완료, 그리고 10,000개 작업 실행에서 86% 정확도의 PinchBench 결과, 유사한 정확도에서 Qwen3.6-35B보다 약 30% 더 빠릅니다. Nvidia는 또한 gpt-oss-120b와 동률인 Artificial Analysis Intelligence Index 24를 인용합니다. 하지만 출처를 유의하세요: 이는 8월 11일 기준으로 아직 Artificial Analysis의 공개 리더보드에 나타나지 않은 모델에 대해 Nvidia가 점수를 인용한 것입니다. 독립 연구소는 Lightning 수치를 발표하지 않았습니다.
24가 이 패밀리에서 어디에 위치하는지 감을 잡기 위해, Nvidia의 다른 오픈 모델에 대한 AA 측정 지수는 Nemotron 3 Ultra와 Nemotron 3 Super 모두 25.4, Nemotron 3 Nano는 14.2입니다. Lightning은 프론티어 모델이 아니며, Nvidia도 그렇게 주장하지 않습니다. 이는 파레토 프런티어의 속도와 비용 측면에 대한 베팅입니다.

용도: 에이전트의 실행 계층
엔비디아의 주장은 분업이다: {{1}}프런티어 모델이 계획하고 추론하며, 값싼 실행기가 에이전트가 하루 종일 실제로 작동하게 만드는 수천 건의 일상적인 호출을 처리한다{{/1}}. 그래서 같은 발표에는 라우팅 라이브러리가 포함되어 있다 — {{2}}Lightning은 더 큰 시스템의 한 계층을 의미하며, 전체 시스템이 아니다{{/2}}.
파트너 사례 연구는 Nvidia가 제공한 것이므로, 숫자가 붙은 마케팅 자료로 읽어야 합니다. 모델의 목적을 가장 잘 보여주는 사례는 CodeRabbit인데, 여기서는 Lightning을 코드 리뷰용으로 3시간 미만, 100달러 미만의 비용으로 포스트 트레이닝하여, GPT급 베이스라인 대비 약 4%의 정확도 향상을 얻었고 추론 비용은 약 절반이었다고 합니다. 정확한 수치를 믿든 안 믿든, 핵심은 구조에 있습니다. 30억 활성 파라미터 모델은 자체 데이터로 파인튜닝하고 대규모로 서빙하기에 충분히 저렴하며, 그것이 바로 전체 가치 제안입니다.
비용 계산
Nemotron 3.5 Lightning에는 정가가 없습니다. 살 것이 없기 때문입니다. 가중치는 OpenMDW-1.1 라이선스 하에 훈련 데이터와 레시피와 함께 무료로 제공됩니다. 가격은 호스트가 서비스를 제공하는 데 청구하는 금액이며, 제3자 API가 이 제품군을 취급하기 시작하면 그 숫자는 품질의 차이보다 더 크게 달라질 것입니다. 프로토타이핑의 경우 Nvidia는 자체 build.nvidia.com 플랫폼에서 NIM 마이크로서비스로 제공하며, 신용카드 없이 요청률 제한 하에 무료로 사용해 볼 수 있습니다.
이 규모를 평가하기 전에 알아야 할 비용 현실이 두 가지 있다. 첫째, "총 30B, 활성 3B"는 토큰당 추론 비용이 저렴하다는 뜻이지만, 전체 30B는 여전히 각 GPU 메모리에 상주해야 한다. 즉 서빙이 공짜가 아니며, 배치 동시성(batch concurrency)이 실제 실행 속도를 결정한다. 둘째, 오픈 가중치 모델이 여러 호스팅 API에 등장하면 공급자별 토큰당 가격이 몇 배까지 차이날 수 있고, 그 차이는 품질 신호가 아니다. 바로 여기서 패스스루 게이트웨이가 제 역할을 한다. OrcaRouter는 공급자 목록 가격을 0% 마크업으로 그대로 전달하므로, 공급자의 가격 인하는 당일 반영되고 가격 변동성은 시장 쪽에 남는다. Nemotron 3.5 Lightning은 아직 OrcaRouter에 등록되지 않았다. 가중치가 몇 시간 전에 공개됐기 때문이다. 하지만 출시된 지 하루 된 모델을 안전하게 도입하는 패턴은 자동 장애 조치(failover) 뒤에 라우팅하는 것이다. 그래야 한 호스트의 콜드 스타트 문제가 프로덕션 경로를 무너뜨리지 못한다.
그것과 함께 제공된 라우터
NeMo Switchyard는 이해할 가치가 있습니다. 왜냐하면 그것은 오픈 에이전틱 AI가 어떻게 실행되어야 하는지에 대한 Nvidia의 선택이기 때문입니다: 하나의 큰 모델이 아니라, 각 단계를 가장 유능하고 효율적인 모델로 보내는 시스템입니다. 이는 여러분의 하네스에 통합하는 오픈소스 라이브러리로, 품질, 지연 시간, 또는 비용에 맞춰 조정할 수 있는 기능을 제공합니다. Nvidia 자체 벤치마크는 프론티어 모델이 단독으로 실행할 때의 비용의 약 3분의 1로 프론티어 수준의 정확도를 달성한다고 주장합니다.
파트너 결과는 역시 Nvidia가 보고한 것으로, 방향적으로 일관됩니다. Boomi는 트래픽의 59%를 5배 더 빠른 전문 모델로 라우팅했고 후속 턴 지연 시간이 21% 낮았다고 말합니다. Cognition는 평균 비용이 28% 낮다고 보고합니다. Ramp는 자체 SWE-bench에서 최첨단 모델 성능에 필적하면서 비용이 58% 낮았다고 말합니다. 가장 정직한 데이터 포인트는 LangChain입니다. 145개의 다단계 에이전트 작업에서 비용이 74% 낮았고, 호출 중 단 7%만이 최첨단 모델로 향했으며, 정확도는 6% 희생되었습니다. 라우팅은 공짜가 아닙니다. 그것은 의도적인 절충입니다.
Switchyard는 라이브러리입니다. 즉, 직접 구축하는 방식입니다. 정책을 정의하고, 통합하고, 운영해야 합니다. 관리형 대안은 호스팅 라우팅 API로, 하나의 키로 200개 이상의 모델 카탈로그를 사용할 수 있고, 장애 조치(failover)는 직접 구성하는 것이 아니라 기본값이며, 라우팅 DSL을 사용하면 여러 모델을 단일 호출로 구성할 수 있습니다. Nvidia 자체 테스트 수치인 59%, 74%, 58%는 어떤 계층에서 실행하든 해당 패턴에 대한 가장 강력한 근거입니다.
오늘 실행하는 방법
출시 첫날부터 지원 범위는 넓습니다. 체크포인트는 로컬의 RTX PC, DGX Spark, DGX Station, Jetson 하드웨어에서 실행되며, 데이터 센터에서는 Hopper 및 Blackwell GPU에서 실행됩니다. 발표된 에코시스템은 vLLM, SGLang, llama.cpp, Ollama, LM Studio, Unsloth, TensorRT-LLM을 포함하며, Nvidia 인프라용 NIM 컨테이너도 포함됩니다. 포스트 트레이닝을 위해 Nvidia는 코딩 에이전트 기능을 목표로 하는 오픈 RL 데이터셋인 Nemotron-RL-Agentic-Terminal-Pivot도 공개했습니다. 이는 기본 모델 위에 자체 RL 단계를 수행하려는 경우 유용합니다.

누가 지금 행동해야 하는가
이번 릴리스에서는 세 그룹이 각자 얻을 것이 있으며, 그들이 해야 할 일도 서로 다릅니다. 모델을 만드는 사람이라면 — 지속 사전학습, 도메인 사후학습, 증류 — Base-BF16 체크포인트가 관심을 가질 만한 다운로드이며, 이는 진정 새로운 것입니다. 엔비디아가 이 라이선스 하에서 순수 30B급 사전학습 모델을 공개한 것은 이번이 처음입니다. 모델을 서빙하는 사람이라면, NVFP4 체크포인트와 NIM 경로를 에이전트 워크로드용으로 이미 운영 중인 것과 벤치마킹할 가치가 있습니다. 3B 활성 프로필이 바로 핵심입니다. 애플리케이션 개발자라면, 솔직한 답은 잠시 기다리는 것입니다. 튜닝된 모델은 아직 안정적인 형태로 호스팅 API에 제공되지 않았고, 독립적인 수치가 나오려면 몇 주가 걸리며, 시장이 오픈 30B MoE의 가격을 책정하고 나면 비용 구조가 더 명확해질 것입니다.
다음으로 지켜볼 것: Artificial Analysis의 첫 독립 실행 — Index-24 주장을 확인하거나 반박할 결과; 튜닝된 체크포인트에 대해 첫 호스팅 제공업체들이 책정한 가격; 그리고 Nvidia 자체 Switchyard 수치가 다른 사람들의 벤치마크에 얼마나 자주 등장하는지. 이번 출시는 새로운 프론티어가 아닌 효율성과 라우팅에 관한 것이며, 스펙 시트가 아니라 바로 그 점이 핵심 스토리다.
자주 묻는 질문
Base-BF16 체크포인트를 바로 채팅에 사용할 수 있나요?
아니요. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16은 SFT나 RL이 적용되지 않은 원시 사전학습 체크포인트로, 명령어 튜닝이 되어 있지 않습니다. 채팅 및 추론이 가능한 옵션은 형제 모델인 NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 레퍼런스 릴리스로, 전체 4단계 파이프라인을 거쳤습니다. 베이스 모델은 추가 후속 학습을 위해 존재하며, 그대로 배포하기 위한 것이 아닙니다.
Artificial Analysis Index 24는 독립적인 점수인가요?
아니요 — 아직 아닙니다. 그 수치는 Nvidia가 모델에 대한 점수를 인용한 것으로, 2026년 8월 11일 현재 Artificial Analysis의 공개 리더보드에는 아직 나타나지 않습니다. 독립 연구소들은 Nemotron 3.5 Lightning 결과를 발표하지 않았으므로, 제3자 실행이 나타날 때까지 출시 자료의 모든 숫자는 공급업체 보고 수치로 취급하십시오.
