Granite Switch 4.1 30B vs Nemotron 3.5 Lightning 30B A3B: 각 이름에서 "Switch"가 의미하는 것

이 두 모델은 모두 30B 정도이고, 이름에 라우팅처럼 들리는 단어가 들어가 있으며, 그 단어로 완전히 다른 일을 하고 있습니다. Granite Switch 4.1 30B — 2026년 10월 14일부터 Hub에 가중치가 공개되어 있으며 — 전환하는 대상은 어댑터: 하나의 dense 베이스 모델, 두 개의 활성화된 LoRA 부착물이며, 모든 토큰이 전체 네트워크를 통과합니다. Nemotron 3.5 Lightning 30B A3B는 2026년 8월 11일 NVIDIA가 공개했으며, 전환하는 대상은 전문가: 300억 개 중 약 30억 개의 파라미터만 토큰당 발동하는 하이브리드 Mamba-2 및 MoE 스택입니다. 아무도 이 둘을 서로 비교 벤치마크한 적이 없으며, 이 글도 그런 척하지 않을 것입니다. 진정으로 유용한 비교는 각 설계가 토큰당 얼마의 비용을 요구하고 무엇을 돌려주는가입니다.

구분을 제대로 하는 것은 현학이 아니다. 왜냐하면 그 이름들은 정확히 잘못된 추론을 유도하기 때문이다. Granite Switch에서 "Switch"는 입력의 제어 토큰을 읽고 각 디코더 레이어에 해당 토큰 구간에 어떤 LoRA 가중치를 적용할지 알려주는 경량 스위치 레이어를 가리킨다. 이는 mixture-of-experts 라우팅이 아니며 토큰당 연산량을 단 하나의 FLOP만큼도 줄여주지 않는다. NVIDIA의 이름에 있는 "A3B"는 그 반대이다. 이는 추론 시 모델에서 실제로 실행되는 부분이 얼마나 적은지에 대한 명시적인 주장이다.

점수판, 차원별로

• 매개변수 — Granite Switch 4.1 30B는 28,865,728,512개의 기본 모델에 29,989,814,272개로 구성되며(+3.89%), Nemotron 3.5 Lightning 30B A3B는 총 30B 규모로 토큰당 약 3B가 활성화됩니다.

• 아키텍처 — 덴스 디코더 전용 트랜스포머에 두 개의 활성화된 LoRA 어댑터를 더한 것 대 인터리브된 Mamba-2, MoE 및 어텐션 하이브리드.

• 토큰당 연산량 — 완전한 dense 30B 순전파 대비 활성 파라미터는 그 약 10분의 1에 불과하며, 이것이 바로 A3B 접미사의 핵심입니다.

• 컨텍스트 — Switch 체크포인트에서는 131,072토큰, Nemotron Lightning에서는 최대 1M이며, NVIDIA는 단일 H100에서 256K를 실용적인 수치로 문서화하고 있습니다.

• 추론 모드 — Switch 채팅 템플릿에는 없음; Nemotron의 구성 가능한 enable_thinking 토글.

• 오디오 입력 — Switch 모델에는 470M 음성 인코더가 내장되어 있지만, NVIDIA 쪽에는 없습니다.

• 라이선스 — Apache-2.0 대 OpenMDW-1.1. 이 둘은 같은 문서가 아니며 다운스트림 조건도 다릅니다. 실제로 배포하는 라이선스를 읽어보세요.

• 하드웨어 — Switch 카드에는 좁은 버전 범위 내의 Transformers와 vLLM이 나열되어 있습니다. NVIDIA는 단일 H100 또는 A100 80GB에서 Nemotron Lightning을 문서화하고 있으며, 배포용으로 설계된 NVFP4 빌드도 함께 제시합니다.

Granite Switch 체크포인트가 실제로 당신에게 주는 것

그 구성 자체가 곧 제품입니다. Granite Switch 4.1 30B는 Granite 4.1 30B를 동결하고 두 개의 어댑터를 부착합니다 — 어텐션 투영에 적용되는 rank-16 guardian-core 안전 분류기와, 일곱 개의 모든 투영에 걸친 rank-64 decision 어댑터 — 그리고 음성 인코더까지. 어댑터 선택은 채팅 템플릿을 통해 adapter_name을 전달할 때 이루어지므로, 이는 두 번째 서비스가 아니라 요청 매개변수입니다.

그로 인해 얻는 것은 능력 밀도입니다: 어차피 로드하려던 베이스 위에 11억 2천만 개의 추가 파라미터를 얹는 대가로, 하나의 프로세스에서 안전성 판정, 보정된 옵션 분포, 트랜스크립트를 얻는 것입니다. 6개월 전 같은 프로젝트는 11.68% 할증에 12개 어댑터가 포함된 프리뷰 체크포인트를 출시했습니다. 완성된 버전은 그것을 3.89% 할증에 2개로 줄였는데, 이는 IBM이 커버리지를 가독성과 맞바꾼 것입니다. 나머지 10개 어댑터는 여전히 존재하며, 컴포저가 임의의 하위 집합으로 체크포인트를 만들어 줄 것입니다.

비용은 예상하는 바로 그 자리에 있습니다. 어댑터 구조가 기본 모델을 더 빠르게 만들어 주는 부분은 없습니다. 기본 모델은 밀집(dense) 상태로 손대지 않았기 때문입니다 — 모든 토큰이 여전히 네트워크 전체를 통과합니다. 음성 경로는 영어 전용이고 소문자에 구두점도 없으며, IBM 스스로 표현하길 공동으로 학습되지 않았습니다 — 언어 모델과 함께. 그래서 잘못된 전사는 모델이 답하는 질문을 조용히 바꿔 놓습니다. 그리고 이 체크포인트는 공식 양자화 빌드 없이 하나의 정밀도로만 제공되는데, 이는 배포 권장 NVFP4 변형이 8월 초부터 Hub에 올라와 있는 NVIDIA 모델과 대조적입니다.

Nemotron 수치가 실제로 측정하는 것

NVIDIA의 Nemotron 3.5 Lightning 30B A3B 벤치마크 표는 IBM의 Switch 모델용 표보다 더 충실하며, 거기에 붙은 각주를 읽어 볼 가치가 있습니다. 수치들 — MMLU-Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58, PinchBench 85.37, 긴 컨텍스트에서 AA-LCR 52.00 — 은 NVIDIA가 자체의 일관된 하네스에서 측정했다고 설명하며, 다른 공급업체가 자체 보고한 수치와 다를 수 있다는 단서를 답니다. 이는 대부분의 모델 카드가 해내는 것보다 더 정직한 표현이지만, 여전히 공급업체가 보고한 수치라는 점은 남습니다. NVIDIA는 다른 누군가가 실행을 재현할 수 있도록 레시피를 NeMo Gym에 공개했는데, 이는 다른 누군가가 그것들을 재현했다는 것과는 다릅니다.

더 흥미로운 주장은 정확도보다 속도에 관한 것입니다. 3B 활성 파라미터를 가진 30B 모델은 대부분의 에이전트 작업이 모든 토큰마다 전체 네트워크가 작동할 필요는 없다는 베팅이며, NVIDIA는 처리량을 더 끌어올리기 위해 추측 디코딩을 함께 내놓았습니다 — 멀티 토큰 예측 헤드와 DFlash 및 DSpark 드래프터를 포함해서. 또한 Lightning을 어려운 질문을 던지는 모델이라기보다 더 큰 플래너 아래의 실행 계층으로 위치시킵니다. 그 포지셔닝은 NVIDIA의 것이며, 벤치마크 표에도 올바른 렌즈입니다: 토큰 수준 효율성이 청구서에 나타나는 것입니다.

이 두 스코어보드를 함께 배치할 때의 함정

Switch 모델의 대표 성능에 대해 공개된 숫자는 하나뿐입니다 — Decision Index, 에디션 v0.3, 1,068개 행의 공개 fast 서브셋, 종합 50.1이며, 지식 32.4, 언어 58.6, 검색 49.8, 도구 76.5, 예술 26.4 — 그리고 Nemotron Lightning에 대한 전체 벤치마크 표가 있습니다. 50.1을 81.94나 51.56 옆에 놓는 것은 가장 순수한 형태의 범주 오류일 것입니다.

Decision Index는 결정 어댑터가 라벨이 붙은 고정된 옵션 집합을 얼마나 잘 순위화하는지 점수를 매긴다. 이는 기본 모델의 채팅이나 추론 품질을 측정하는 지표가 아니며, 기본 모델은 어댑터로 인해 수정되지 않는다. Nemotron의 표는 지식, 추론, 코딩, 긴 문맥에 대해 모델 전체에 점수를 매긴다. 서로 다른 축, 서로 다른 하네스, 서로 다른 저자이며, 둘 사이에 공유된 벤치마크는 없다. 둘 다 벤더가 보고한 수치다. 어느 쪽도 다른 쪽과 비교할 수 없으며, 이 둘에 대해 할 수 있는 유일하게 정직한 일은 이들을 빼기를 거부하는 것이다.

당신이 정당하게 할 수 있는 일은 각각의 형태를 읽는 것입니다. Tools에 대한 Decision Index의 76.5 대 Arts에 대한 26.4는 어댑터가 도구 선택 결정에 겨냥할 가치가 있으며, 당신 자신의 평가 없이는 오픈 도메인 분류에서 신뢰해서는 안 된다고 말해줍니다. SWE-bench Verified에서 Nemotron의 51.56 대 같은 표의 최고 70.12는 그것이 자체 비교 세트에서 가장 강력한 코딩 에이전트가 아니라는 것을 알려줍니다 — NVIDIA가 경쟁사의 더 높은 수치를 자사 표에 넣었으며, 이는 적어도 존중할 만한 신호입니다.

어느 것, 무엇을 위해

당신의 문제가 수천 개의 짧은 도구 결정을 실행하는 긴 에이전트 루프라면, 파라미터 경제성은 한쪽을 가리킵니다: 단일 GPU에서 3B-active MoE는 dense 30B보다 토큰당 비용의 몇 분의 일로 그 작업을 처리할 것이고, Switch 모델은 그 격차를 좁힐 메커니즘이 없습니다. 왜냐하면 그 'switch'는 연산량을 결코 줄이지 않기 때문입니다. 여기에 1M 컨텍스트와 추론 토글을 더하면, NVIDIA의 모델은 그저 그 워크로드를 위해 만들어진 것입니다.

사용자에게 답해야 하고, 보정된 라우팅 결정을 내보내고, 사용자가 말한 내용을 전사해야 하는 하나의 프로세스가 문제라면 산술이 뒤집힙니다. Nemotron 3.5 Lightning에는 결정 헤드도 없고 오디오 경로도 전혀 없으며, 채팅 모델에게 한 글자로 답해 달라고 프롬프트하는 것은 보정된 분포가 아닙니다. Granite Switch 4.1 30B는 기본 모델보다 4% 미만 더 많은 가중치로 하나의 체크포인트에서 세 가지를 모두 제공하며, 그것은 더 나은 모델을 고르는 것으로는 살 수 없는 능력입니다.

솔직히 말하면 세 번째 경우가 가장 흔합니다. 여러분은 이 둘 중에서 선택하는 상황이 전혀 아닙니다. 둘 다 자체 호스팅 아티팩트이고, 둘 다 호스팅된 엔드포인트가 아니라 Apache-2.0 또는 OpenMDW-1.1이며, 어느 쪽도 독립적으로 평가된 적이 없습니다. Granite Switch 4.1 30B는 공개된 수치가 하나뿐인 채 나온 지 이틀 되었고, Nemotron 3.5 Lightning은 벤더 표와 공개된 레시피가 있는 채 나온 지 두 달 되었습니다. 그것만으로는 마이그레이션을 계획하기에 충분하지 않습니다.

마이그레이션 없이 진짜 답을 얻기

현재 OrcaRouter 카탈로그에는 두 모델 모두 없으므로, 둘 다 귀하의 자체 하드웨어와 해당 벤더의 자체 릴리스 채널을 의미합니다 — Switch 체크포인트의 경우 IBM의 채널, Lightning의 경우 NVIDIA의 채널입니다. 다르게 말하면 엔드포인트를 지어내는 셈이 됩니다.

플랫폼이 제 몫을 하는 지점은 후보 모델을 저렴하게 테스트할 수 있어야 한다는 것이다. 키 하나로 200개 이상의 모델을 자동 페일오버와 함께 지원하고 공급자 정가를 0% 마크업으로 그대로 전달한다. 그래서 두 모델 중 하나로 가는 호스티드 경로가 나타나면, 이미 프로덕션에 있는 모델 옆에 그것을 놓는 일은 조달 주기가 아니라 구성 변경에 불과하다. 서류상으로는 둘 다 그럴듯해 보이지만 각 벤더 밖에서는 아무도 측정해 본 적 없는 30B 오픈 웨이트 모델 두 개를 마주했을 때, 중요한 결정은 어느 쪽을 믿느냐가 아니다. 얼마나 저렴하게 확인할 수 있느냐다.

결론

Granite Switch 4.1 30B와 Nemotron 3.5 Lightning 30B A3B는 파라미터 수만 공유할 뿐 거의 다른 점이 없습니다. 하나는 전환 가능한 어댑터를 갖춘 dense 베이스로, 토큰당 완전한 dense 연산으로 프로세스당 세 가지 작업을 제공합니다. 다른 하나는 각 토큰의 비용을 최소화하고 단일 GPU에서 긴 루프를 실행하도록 만들어진 sparse 하이브리드입니다. 벤치마크 표가 아니라 워크로드의 형태를 기준으로 선택하세요 — 그리고 여기서 한 가지만 가져간다면, 이름에 담긴 바로잡음을 가져가세요: 어댑터 전환은 역량을 얻게 해주고, expert sparsity는 처리량을 얻게 해주며, 여기 어떤 모델도 둘 다를 얻게 해주지는 않습니다.