Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: 두 개의 이름, 하나의 체크포인트, 네 개의 파일

카탈로그, 비교 사이트 또는 자체 조달 시트에서 Nemotron 3.5 Transcribe와 Nemotron 3.5 Transcribe 30B를 두 개의 항목으로 나열하고 있다면, 이는 하나의 모델을 두 번 나열한 것입니다. 공개된 저장소는 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B이고, NVIDIA의 카드에서는 총 34B 파라미터, 활성 파라미터 수는 약 4.3B로 제시하며, 모든 헤드라인에 나오는 간단한 이름은 크기 표기만 빠진 동일한 아티팩트입니다. 비교할 별도의 30B 모델은 없으므로, 이는 직접 비교라기보다 배포 결정이 숨어 있는 명명 문제에 가깝습니다.

하지만 그 결정은 실제이며, 바로 그 때문에 두 이름이 계속 나란히 등장합니다. 한 이름은 당신이 검색하는 이름이고 모델 카탈로그나 API 목록에 표시될 수 있는 이름입니다. 다른 이름은 당신이 다운로드하는 이름으로, 네 가지 정밀도 중 하나, 네 가지 메모리 풋프린트 중 하나로 제공되며, 그 파일들 사이의 선택이 이 모델이 실제로 당신에게 요구하는 유일한 비교입니다. 이어지는 내용은 그 조정입니다: 30B가 무엇을 세는지, 카드에 34B라고 표시되는 이유, 그리고 출시 페이지가 가정하는 GPU가 아니라 당신이 가진 GPU에 맞는 파일이 무엇인지.

스스로와 모순되는 이름

두 개의 숫자가 유통되고 있으며 둘 다 공식입니다. 리포지토리 이름은 30B-A4B로 끝나는데, 이는 NVIDIA가 자사의 전문가 혼합(mixture-of-experts) 계열에 사용하는 관례를 따른 것입니다. 즉 총 파라미터가 먼저, 활성 파라미터가 두 번째입니다. 같은 페이지의 모델 카드에는 총 34B, 활성 약 4.3B라고 명시되어 있으며, 오디오 인코더를 명시적으로 포함합니다. 연구 페이지는 제목에 30B-A4B라는 이름을, 본문에 4.3B 활성 수치를 다시 언급합니다.

이 모델 카드는 구성 요소의 이름도 밝히는데, 산술이 중요해지기 시작하는 지점이 바로 여기다. 언어 백본은 Nemotron 3.5 Lightning 30B-A3B이며, 3.5B개의 활성 파라미터를 가진 Mamba-2와 Transformer 하이브리드 MoE다. 결합 오디오 인코더 — Transformer ASR 인코더와 스피커 인코더 — 는 약 800M이다. 이들을 모두 더하면 약 30.8B이지 34B가 아니다. 34B가 NVIDIA가 개별 항목으로 제시하지 않은 무언가를 집계한 것이거나, 저장소 이름의 30B가 실제로는 이름보다 더 큰 백본에 붙인 반올림 표기인 것이다. NVIDIA는 이 수치를 어떻게 맞췄는지 공개하지 않았고, 전체 체크포인트에 대한 제3자 파라미터 감사도 아직 존재하지 않는다.

구매자에게 이것이 의미하는 바는 들리는 것보다 좁다. 시스템이 31B이든 34B이든 그것이 어떤 카드에 맞는지는 달라지지 않는다. 파일 크기는 마지막 30억 개 파라미터보다 정밀도에 훨씬 더 크게 좌우되기 때문이다. 다만 "30B"라고 적은 사양표와 "34B"라고 적은 사양표는 같은 다운로드를 설명하게 되며, 그 차이에 근거한 조달 비교는 반올림 관례를 비교하는 셈이다.

30B 접미사가 실제로 무엇을 세는 걸까

이 이름의 접미사가 세는 것은 전사기가 아니라 언어 모델이다. Nemotron 3.5 Transcribe는 음성 증강 LLM이다. 오디오는 Transformer 인코더를 거치고, 동결된 Nemotron 3 Diarization 모델은 NVIDIA가 병렬 전문가 인코더라고 부르는 것을 통해 화자 표현을 제공하며, 하이브리드 MoE 디코더가 전사문을 작성한다. 30B라는 표기는 디코더와 그 임베딩 스택에 속한다. 음성 경로—인코더, 다이어라이저, CTC 타임스탬프 헤드—는 그 위에 얹혀 있으며, 이름이 표방하는 것은 아니다.

그것이 이 모델이 고전적인 ASR 시스템과는 다른 방식으로 LLM처럼 동작하는 이유입니다. 이 모델은 프롬프트를 받습니다. 오디오에 관한 질문에 답합니다. 같은 패스 안에서 영어로 향하는 그리고 영어로부터의 31개 쌍을 번역합니다. 65,536토큰 컨텍스트를 보유하므로 한 시간 분량의 음성이 청킹 없이 들어갑니다. 그중 어느 것도 30B 디코더가 크기 때문이 아니라, 음성이 입력 공간에 투영된 상태에서 디코더가 애초에 범용 언어 모델이기 때문입니다.

또한 이는 모두가 계속 찾고 있는 그 부재를 설명해 준다. 30B만 있는 형제 모델도 없고, 더 작은 dense Transcribe도, 더 큰 모델도 없다. 저장소에는 하나의 모델에 대한 정밀도 변형만 있을 뿐, 모델 패밀리가 아니다. 유통되는 다른 크기라곤 커뮤니티에서 생성한 양자화 버전들과, 실제로 더 작은 스트리밍 인식기 하나 — Nemotron Speech Streaming EN 0.6B — 뿐인데, 이는 영어만 지원하고 화자 분리 기능이 없는 별개의 모델이지, 이 모델의 축소판이 아니다.

그 이름 뒤에 있는 네 개의 파일, 그리고 각 파일이 메모리에서 차지하는 비용

이것이 두 이름이 실제로 가리키는 비교입니다. {{1}}NVIDIA는 세 가지 정밀도를 공개했고 커뮤니티는 네 번째 제공 형식을 추가했습니다;{{/1}} 아래 메모리 수치는 공개된 체크포인트와 커뮤니티 저장소에서 가져온 것이며, 단일 벤더 표에서 가져온 것이 아닙니다.{{2}}

• BF16 — 참조 체크포인트로, 디스크에서 약 67-68GB를 차지하며 단일 H100 80GB에서 서빙됩니다. 이 버전은 발표된 벤치마크 수치가 산출된 버전이며, 해당 수치를 재현해야 할 때 사용해야 하는 버전입니다.

• FP8 — 약 35GB로, 최소 요구 사양을 L40S 같은 48GB 카드로 끌어올립니다. BF16 대비 정확도 손실은 NVIDIA 자체 설명 기준으로는 작지만, 그것은 NVIDIA의 설명일 뿐이며, 독립적인 FP8 평가는 공개된 적이 없습니다.

• NVFP4 — 약 21GB로, 32GB의 RTX 5090이나 RTX PRO 6000에 들어갈 만큼 충분히 작습니다. 이 정밀도는 DFlash2 드래프트 모델을 장착한 단일 RTX PRO 6000에서 초당 오디오 2,238초를 처리한다는 NVIDIA의 대표적인 처리량 주장을 뒷받침합니다.

• GGUF — 19.7GB에서 35GB 사이의 커뮤니티 디코더 4개와 필수 1.67GB F16 인코더 파일이 있습니다. 19.7GB IQ4_NL 빌드는 24GB 카드, CPU 추론, Metal 및 Vulkan을 겨냥한 것이고, 19.7GB NVFP4 빌드는 Blackwell을 겨냥합니다. Q5는 약 29GB, Q8은 약 35GB입니다. 선택 사항인 1.15GB DFlash2 드래프터는 CUDA 경로에서 추측 디코딩을 추가합니다.

• MLX — Apple silicon용으로 대략 19GB에서 35GB 사이의 커뮤니티 4비트~8비트 포트이며, 한 작성자는 4비트 빌드에서 초당 약 154토큰을 보고했습니다. Mac에서 평가용으로 유용하지만 프로덕션 서빙 경로로는 적합하지 않습니다.

무엇이 그것들을 실행하는가, 그리고 사람들이 저지르는 단 하나의 런타임 실수

GGUF 파일이 함정입니다. .gguf로 끝나는 파일이라고 해서 llama.cpp, Ollama 또는 LM Studio를 의미하는 것은 아니며, 이 셋 중 어느 것도 이 모델을 실행하지 않습니다. 이 모델에는 오디오 인코더가 연결된 speech-LLM 런타임이 필요합니다. 출시 시점에 작동하는 경로는 형식 목록이 시사하는 것보다 좁습니다.

• vLLM 0.32.0 — 기본 경로이며, V1 러너와 타임스탬프 미들웨어를 통한 단어 타임스탬프를 포함해 전체 출력 표면을 노출하는 유일한 경로입니다. 화자 귀속 출력과 번역은 여기에서 이루어집니다.

• SGLang 0.5.22의 SGLang-Omni 0.2.0 — OpenAI 호환 오디오 엔드포인트를 통한 전체 파일 전사이며, 단어 타임스탬프, 화자 귀속, 번역, 추측 디코딩은 지원하지 않습니다.

• NeMo Speech — 미세 조정 툴킷으로, NVIDIA는 단일 GPU에서 작업당 0.5~2.3 GPU-시간을 제시합니다. 공개된 LoRA 레시피는 카드 한 장에서 실행됩니다.

• NeMo-Speech.cpp 및 speech.cpp — GGUF 빌더가 겨냥하는 C++ 경로이며, 해당 퀀트들을 로드하는 유일한 경로입니다. 위의 19.7GB 파일과 35GB 파일 모두 이 경로를 위해 배포되며, 저장소의 README가 무엇이 어디에 맞는지를 알려주는 가장 정직한 정보원입니다.

• Transformers — 소스 설치에서의 인프로세스 사용, 평가에는 적합하지만 처리량에는 부적합.

실수는 가장 작은 퀀트를 내려받아 llama.cpp에 지정한 뒤 모델이 망가졌다고 결론짓는 것입니다. 그것은 망가진 것이 아닙니다. 텍스트 런타임이 전혀 이해하지 못하는 인코더를 갖춘 음성 LLM일 뿐입니다. 런타임의 지원 아키텍처 목록에 Nemotron 3.5 Transcribe가 없다면, 파일이 아무리 작아도 로드되지 않습니다.

각 파일이 어디에 맞는지, 알기 쉬운 말로

모델 카드에서 출발해 앞으로 나아가기보다 하드웨어에서 거꾸로 출발하세요. 카드에 명시된 기준선, 즉 BF16에서 H100 80GB 한 장은 최소 경로가 아니라 최대 충실도 경로입니다.

• 24GB 카드, RTX 4090 또는 L4 클래스 — 1.67GB 인코더가 포함된 19.7GB IQ4_NL GGUF. KV 캐시와 오디오 버퍼를 위한 여유 공간을 남겨 두세요. 24GB는 빠듯하지만 작동하는 것으로 문서화되어 있습니다.

• 32GB 카드, RTX 5090 또는 RTX PRO 6000 — 21GB NVFP4 체크포인트, 즉 NVIDIA가 주장하는 처리량의 근거가 되는 구성이며, 추측 디코딩을 사용하려면 DFlash2 드래프터와 함께 쓰면 됩니다.

• 48GB 카드, L40S 또는 A6000 — 35GB FP8 체크포인트, 충실도와 비용 사이에서 가장 덜 어색한 절충안입니다.

• 80GB 가속기, H100 또는 A100 — BF16, 참조 구성이며, 정밀도 관련 주의사항 없이 게시된 WER 표를 재현하는 유일한 구성입니다.

• GPU가 전혀 없습니다 — 이 파일들에는 하나도 없습니다. 인코더는 C++ 경로에서 CPU로 실행되지만, 가속 없이 30B-A3B 디코더로 1시간 분량의 오디오를 처리하는 것은 서비스가 아니라 수 시간 단위로 측정되는 배치 작업입니다.

어떤 정밀도를 선택하더라도 변하지 않는 제약이 하나 있습니다. 입력은 16kHz 모노 PCM이고, 요청당 오디오 상한은 1시간입니다. 다운샘플링과 채널 선택은 모델이 무언가를 보기 전에 이루어지며, 스테레오 회의실 녹음은 채널을 직접 분리하지 않는 한 모노로 믹스됩니다. 이는 체크포인트 결정이 아니라 전처리 결정이며, 이를 잘못 처리하면 BF16-to-FP8 단계보다 전사 품질에 더 큰 손실을 줍니다.

목록에 두 이름이 모두 표시될 때 실행할 검사

중복 이름 상황은 실제로 존재하고 카탈로그와 비교 페이지에서 반복될 것이므로, 짧은 검증 루틴이 설명을 한 단락 더 추가하는 것보다 더 가치 있습니다.

• 저장소 ID — 공식 아티팩트는 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 단 하나뿐입니다. Nemotron 3.5 Transcribe 30B라는 이름이지만 저장소 ID가 다른 행은 양자화 버전이거나 완전히 다른 모델입니다.

• 라이선스 문자열 — 공식 릴리스에서는 OpenMDW-1.1이며, 상업적 사용이 허용됩니다. 연구 전용 또는 비상업용이라고 표시된 목록은 다른 것을 설명하는 것입니다.

• 컨텍스트 및 오디오 윈도 — 65,536 토큰과 1시간. 더 긴 윈도를 명시한 목록은 잘못된 것이거나 다른 체크포인트를 설명하는 것입니다.

• 파라미터 표기 — 이름에는 30B-A4B, 카드에는 34B, 활성 파라미터는 둘 다 4.3B입니다. 총 4B라고 적은 목록은 활성 파라미터 수치를 총량으로 혼동한 것으로, 이 모델에 대해 웹에서 가장 흔히 볼 수 있는 표기입니다.

• 파일 목록 — NVIDIA의 BF16, FP8, NVFP4, 그리고 DFlash2 드래프트 모델. 만약 어떤 페이지에서 "Nemotron 3.5 Transcribe 30B"를 단일 다운로드 파일로 제공하면서 정밀도(precision) 옵션이 없다면, 그것은 벤더의 이름을 달고 있는 커뮤니티 퀀트입니다.

실제로 분리된 라우팅 질문

파일이 선택되고 런타임이 작동하면 배포 문제는 끝나고, 더 오래된 질문이 다시 돌아옵니다. 바로 텍스트는 어떻게 되는가입니다. 트랜스크립트는 요약, 개체 추출, 민감 정보 삭제, 검색 인덱싱, 질의응답을 위한 원자료이며, 그 호출들은 평범한 텍스트 모델 트래픽이자 평범한 텍스트 모델 문제를 안고 있습니다. 즉, 속도 제한, 업스트림 장애, 전체 볼륨의 10분의 9에는 충분할 저렴한 분류 모델 같은 문제입니다.

OrcaRouter는 Nemotron 3.5 Transcribe를 제공하지 않으며, 카탈로그에도 두 이름 중 어느 것으로도 해당 항목이 없습니다. 어디서든 이 모델에 대해 두 개의 행이 보인다면, 위의 리포지토리 확인이 그것을 해결하는 가장 빠른 방법입니다. 이 플랫폼이 실제로 제공하는 것은 트랜스크립트가 만들어진 이후의 계층입니다: 200개 이상의 텍스트 및 비전 모델에 걸친 하나의 OpenAI 호환 키를 공급자 정가에 0% 마크업으로, 공급자 간 자동 페일오버, 그리고 여러 모델을 하나의 호출로 구성하여 저렴한 추출 패스와 값비싼 판단 패스가 단일 엔드포인트 뒤에 함께 존재할 수 있게 하는 라우팅 DSL을 제공합니다. GPU가 트랜스크립트를 작성하고, 라우팅이 그 트랜스크립트의 가치를 결정합니다.

접미사는 두 번째 모델이 아니라 파일 크기 레이블입니다.

두 이름을 머릿속에 가장 명확하게 담아두는 방법은 이렇습니다. Nemotron 3.5 Transcribe는 제품이고, Nemotron 3.5 Transcribe 30B는 리포지토리이며, 30B는 디코더를 기준으로 세지만 카드는 시스템을 기준으로 셉니다. 30.8B와 34B 사이의 차이는 NVIDIA가 조정해야 할 미해결 세부 사항이지만, 구매자가 내리는 결정을 바꾸지는 않습니다. 왜냐하면 결정은 기가바이트와 지원되는 런타임을 기준으로 내려지지, 파라미터 수의 세 번째 숫자로 내려지지 않기 때문입니다.

카드가 감당할 수 있는 정밀도를 선택하고, 런타임이 아키텍처를 표시하는지 확인하며, 두 이름을 별개의 모델로 제시하는 목록은 선택지가 아니라 카탈로그 오류로 취급하십시오. 이번 릴리스의 진짜 갈림길, 즉 진정한 맞대결을 정당화할 만한 비교는 한쪽의 0.6B 스트리밍 인식기와 다른 쪽의 이 30B 오프라인 전사기입니다. 그 비교는 지연 시간과 커버리지에 관한 것이며, 해볼 가치가 있습니다. 모델을 그 자신의 파일명과 비교하는 것은 그럴 가치가 없습니다.