Nemotron 3.5 Transcribe: NVIDIA의 음성 LLM, 13개 언어에서 다이어리제이션 캐스케이드를 능가하다

NVIDIA가 Nemotron 3.5 Transcribe를 2026년 10월 28일 오픈 라이선스로 출시했으며, 이에 관한 모든 헤드라인에 등장하는 숫자는 40입니다. 40개 언어, 하나의 체크포인트, 화자 레이블 포함입니다. 실제로 전사 스택을 구축하는 방식을 바꾸는 숫자는 15.80입니다. 이는 NVIDIA 자체 다중 화자 벤치마크 세트에서 이 모델의 평균 cpWER이며, 회사가 비교한 최고의 특화 캐스케이드에서는 16.83이었습니다. 그 캐스케이드는 음성 인식기와 별도의 화자 분리 파이프라인을 결합한 것으로, 대다수 운영 환경의 회의 전사 시스템이 여전히 그렇게 연결되어 있습니다. NVIDIA는 이 모델이 그러한 구성을 능가한 첫 음성 LLM이라고 주장하며, 이 주장은 검증할 가치가 있습니다. 목록에 언어를 하나 더 추가하는 대신 아키텍처에서 구성 요소를 하나 제거하는 주장이기 때문입니다.

40개 언어라는 수치는 사실이지만, 읽히는 것보다 범위가 좁습니다. 화자 귀속 — 캐스케이드를 대체하는 부분 — 은 40개 언어가 아니라 13개 언어로 훈련됩니다. 이 모델은 녹음 파일만 읽으며, 한 번에 최대 1시간까지 처리하고, 스트리밍 경로는 없습니다. 그리고 작은 다운로드도 아닙니다: 총 34B 파라미터, 토큰당 약 4.3B 활성, BF16 서빙의 기준 사양으로 H100 80GB가 명시되어 있습니다. 이 세 가지 제약은 다이어리제이션 결과가 이번 분기에 쓸 수 있는 것인지, 아니면 다음 분기를 위해 메모해 둘 것인지를 결정합니다.

NVIDIA가 실제로 출시한 것

체크포인트는 다음과 같이 공개됩니다: NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. 그리고 그 이름과 공개된 파라미터 수 사이의 격차는 가장 먼저 정리해야 할 사항입니다. 이 모델은 Mamba-2와 Transformer를 결합한 혼합 전문가 언어 모델인 Nemotron 3.5 Lightning 30B-A3B를 기반으로 합니다. NVIDIA의 모델 카드에는 오디오 스택을 포함해 약 4.3B가 활성인 총 34B 파라미터가 명시되어 있습니다. 이름에 있는 30B를 초과하는 추가 가중치는 인코더입니다. ASR Transformer에 약 600M, 화자 인코더에 약 99M로 합계 약 800M이며, 언어 백본은 약 3.5B가 활성 상태로 남습니다. 여러 기사에서 이를 불일치라고 보도했지만, 그렇지 않습니다. 이름은 LLM을 세고, 모델 카드는 전체 시스템을 세는 것입니다.

아키텍처 측면에서 이해할 가치가 있는 부분은 병렬 전문가 인코더입니다. 고정된 Nemotron 3 Diarization 모델이 화자 활동 표현을 생성하고, 이것이 ASR 인코더의 출력에 주입되어 언어 모델이 단일 패스로 단어와 그 단어를 말할 가능성이 높은 화자를 모두 볼 수 있습니다. 이어서 경량 CTC 어댑터가 생성된 텍스트를 오디오에 다시 정렬하여 화자 귀속 단어 타임스탬프를 생성합니다. 두 번째 정렬 단계도, 중간에 pyannote 호출도 없습니다. 네이티브 다중 토큰 예측은 vLLM 내부에서 추측성 디코딩 드래프트 역할을 겸하며, NVIDIA는 별도로 학습된 DFlash2 드래프트 모델도 제공합니다.

• 전체 및 활성 파라미터 — 총 34B, 토큰당 활성 ~4.3B, 그중 ~3.5B는 언어 백본입니다

• 컨텍스트 및 오디오 — 65,536 토큰, 16 kHz 모노 기준 최대 1시간 녹음, 30초 내부 청크 단위로 디코딩

• 언어 지원 — 전사 40개 언어, 영어로 및 영어에서 번역 32개 언어, 화자 구분 전사 13개 언어

• 라이선스 — OpenMDW-1.1, 상업적 및 비상업적 사용 허용

• 서빙 기준 — BF16 기준 H100 80GB 1대; BF16, FP8 및 NVFP4 빌드가 공개됨

• 스트리밍 — 없음; 파일 입력, 전사 출력 모델입니다.

이번 배포는 한 쌍의 산출물이며, 대부분의 보도가 이 둘을 혼동하기 때문에 구분해 두는 것이 좋습니다. 모델과 함께 NVIDIA는 체크포인트가 아닌 음성 데이터 파이프라인 배포판인 Granary v2를 공개했습니다. 이는 48개 언어와 16개 원천 코퍼스에 걸친 463,062시간으로, Granary v1의 25개 언어에서 늘어난 규모이며, NeMo Curator로 구축되어 공개 매니페스트와 함께 제공됩니다. 각 레코드에는 세 가지 전사 형태 — 텍스트 정규화된 축자, 비유창성을 포함한 역정규화, 비유창성을 제외한 역정규화 — 가 들어 있고, 여기에 과제 레이블, 음성에 근거한 질의응답 쌍, 문맥 편향 용어, 레코드별 품질 플래그가 더해집니다. 이는 미세 조정 레시피가 기대하는 데이터이지, 실행할 수 있는 가중치가 아닙니다. 원본 오디오는 여전히 각 코퍼스 자체의 라이선스에 따라 다운로드해야 하므로, Granary v2는 매니페스트와 파이프라인이 공개라는 의미에서 개방적이지, 오디오가 자유롭게 재배포 가능하다는 의미에서 개방적인 것은 아닙니다.

라이선스는 가중치만큼 중요합니다. OpenMDW-1.1은 상업적 사용을 허용하므로, 이를 연구 전용 범위의 오픈 가중치 스펙트럼 끝이 아니라 Mistral의 Voxtral 제품군과 같은 범주에 놓이게 합니다. 출시 시점의 런타임 지원은 대부분의 음성 LLM 릴리스보다 폭넓습니다. vLLM 0.32.0이 기본 경로이며 전체 기능 세트를 제공하는 유일한 경로이고, 단어 타임스탬프에는 V1 runner와 타임스탬프 미들웨어가 필요하며 DFlash2는 지원하지 않습니다. SGLang 0.5.22 기반의 SGLang-Omni 0.2.0은 OpenAI 호환 오디오 엔드포인트를 통해 전체 파일 전사를 처리하지만 단어 타임스탬프, 화자 귀속 출력, 번역, 추측 디코딩은 지원하지 않습니다. NeMo Speech는 파인튜닝 툴킷을 제공하고, Transformers는 소스 설치에서 인프로세스 사용을 지원하며, GGML 빌드는 RTX 5090 및 RTX PRO 6000을 포함한 일부 Blackwell 제품을 지원합니다.

화자 분리 결과가 곧 스토리입니다.

NVIDIA의 다중 화자 표에는 캐스케이드 비교가 담겨 있으며, 출시 게시물로서는 이례적으로 상세합니다. 세트 전체의 평균 cpWER은 15.80으로, DiCoW v3.3과 DiariZen을 결합한 경우의 16.83과 대비됩니다. 조건별 수치는 격차가 어디서 발생하고 어디서 발생하지 않는지를 보여줍니다. 근접 대화 조건의 AMI는 10.29, AMI 단일 거리 마이크는 17.34, CALLHOME CH109는 11.50, Mixer 6 채널 4는 14.80, NOTSOFAR-1 근접 대화는 14.94, 단일 채널은 25.91이며, AISHELL-4는 32.91 cpCER, AliMeeting은 34.95입니다. 광대역 다중 채널 회의 사례는 강하지만, 원거리 단일 마이크와 중국어 회의 오디오는 훨씬 약한데, 이는 모든 화자 분리 시스템이 어려움을 겪는 지점을 공정하게 설명한 것입니다.

NVIDIA가 의지하는 독립적으로 보이는 교차 검증은 VoiceArena의 Diarization-Bench이며, 여기서 이 모델은 영어 전체 세션에서 cpWER 32.4%를 보고해 14개 시스템 중 1위입니다. 2위인 Multitalker Parakeet과 Nemotron 3 Diarization의 조합은 34.2%이고, 나머지 시스템은 34.7%에서 71.9% 사이에 분포합니다. NVIDIA는 또한 참조 단어 대비 단어 삭제율이 8.32%라고 보고했으며, 이 분야 중앙값은 약 31%입니다. 두 번째 수치는 트랜스크립트를 실제로 출시해 본 사람에게 더 유용합니다. cpWER는 확신이 없는 단어를 버리면 악용될 수 있고, 지표에서 이기면서 참조 단어의 92%를 유지하는 시스템은 더 어려운 일을 하는 것입니다. 둘 다 제3자 벤치마크에 대한 벤더 보고 수치이며, 모델에 대한 독립 평가는 아닙니다.

한계는 언어 수입니다. 화자 귀속은 열세 언어—영어, 프랑스어, 독일어, 힌디어, 이탈리아어, 한국어, 포르투갈어, 러시아어, 스페인어, 일본어, 태국어, 아랍어, 중국어—에 대해 훈련되었으며 최대 여덟 명의 화자를 지원합니다. 녹음이 영어 회의나 나머지 열두 언어 중 하나라면 캐스케이드 교체 논거는 유효합니다. 오디오가 폴란드어, 터키어, 베트남어라면 화자 분리 없이 전사만 얻을 수 있으며 두 번째 구성 요소가 여전히 필요합니다.

실제 순위는 어디일까: 세 개의 리더보드, 세 가지 다른 답

영문 수치는 어떤 NVIDIA 페이지를 읽느냐에 따라 달라지며, 더 좋은 쪽을 고르기보다 그 점을 정확히 짚는 것이 중요합니다. 모델 카드의 9개 세트 평균 단어 오류율은 4.71%이며, Qwen3-ASR-1.7B가 4.94%로 그 뒤를 잇습니다. 같은 날 NVIDIA의 Hugging Face 게시글은 Hugging Face Open ASR Leaderboard의 평균 WER로 5.33%를 제시하며, RTFx는 462.09이고 Qwen3-ASR-1.7B는 5.4%입니다. 둘 다 벤더 자체 수치이며 서로 몇 시간 차이로 게시되었고, 차이는 평균에 어떤 테스트 세트가 포함되는지에 있습니다. 그것들을 평균 내지 말고, 서로 빼지 말고, 소수점을 확정된 것으로 다루지 마십시오. 두 프레이밍 모두에서 살아남는 것은 순위입니다: 해당 리더보드에서 공개 가중치 모델 중 1위입니다.

공급업체가 보고한 세트의 나머지는 형태가 일관됩니다. 다국어 평균 WER은 7개 언어에서 4.62%로, Qwen3-ASR-1.7B의 6.49%와 대비됩니다. 장문 평균은 10.98%로 Parakeet-TDT-0.6B-v3의 13.37%와 대비됩니다. 스타일 제어는 기본 7.56%, 지시 시 6.16%를 기록했으며, Canary-Qwen은 8.16%와 8.36%입니다. 문맥 프롬프팅은 ContextASR-Bench를 문맥 없음의 3.33%에서 세분화된 문맥 적용 시 1.71%로, 어닝 콜 전사를 12.54%에서 로컬 문맥 제공 시 9.58%로 개선합니다.

독립 검증은 그리 좋게 보이지 않는 이야기를 전하며, 이번 주에 모델들을 두고 선택해야 한다면 읽어야 할 것은 바로 이 이야기다. Artificial Analysis의 비스트리밍 단어 오류 지수에서 10월 29일 확인 기준 Nemotron 3.5 Transcribe는 2.8%를 기록한다. 같은 기준에서 Voxtral Small Transcribe 3는 2.1%, MAI-Transcribe-2는 2.0%를 기록하는 반면 Gemini 3.5 Transcribe는 2.6%에 머문다. NVIDIA의 "오픈 가중치 모델 중 공동 1위"라는 표현은 그것이 지목한 특정 모델인 Voxtral Small에 대해서는 방어 가능하다. 같은 지표에서 Voxtral Small도 2.8%로 나오며, NVIDIA는 이를 이 모델의 약 4B 활성 파라미터와 대비되는 24B 모델로 설명한다. 그러나 이 모델이 출시되기 전에 리더보드는 그러한 조합을 이미 넘어섰다. 더 최신 Mistral 계열인 Voxtral Small Transcribe 3는 같은 기준에서 오류율이 약 4분의 1 더 낮다. 그렇다고 해서 화자 분리 결과가 틀린 것은 아니다. Voxtral은 한 번의 처리에서 화자 귀속을 수행하지 않기 때문이다. 이는 올바른 문장이 "화자 귀속 ASR에서 최고의 오픈 가중치 모델"이지 "최고의 오픈 가중치 전사기"가 아니라는 뜻이다.

배포가 실패하는 지점은 언어별 끝부분입니다.

커버리지와 동등성은 서로 다른 주장이며, NVIDIA의 모델 카드는 두 견해의 거리를 확인할 수 있을 만큼 언어별 세부 정보를 공개합니다. 언어 행렬에는 41개 행이 있고 노르웨이어는 작업 체크 표시 없이 포함되어 있어, 실제로 ASR용으로 표시된 언어는 40개입니다. FLEURS 전반에서 오류율은 1.41%에서 63.76%까지 이어지며, 63.76은 노르웨이어입니다. 이탈리아어는 1.41, 스페인어는 2.20, 독일어는 2.73, 프랑스어는 3.16, 영어는 3.35, 아랍어는 6.35, 힌디어는 7.47에 도달합니다. 일본어는 CER 4.42, 한국어는 CER 2.78, 중국어는 CER 8.62입니다. 다국어 리더보드의 언어별 평균에서 힌디어는 OIWER 9.15로, 네덜란드어의 5.96과 독일어의 2.81에 맞섭니다.

카드가 40개 언어 모두에 대해 주장하는 코드 스위칭도 이와 비슷하게 불균등합니다: ASCEND Mandarin-English는 18.74%의 혼합 오류에 도달하고, MUCS Hindi-English는 19.28%, MUCS Bengali-English는 35.46%이며, Monsoon Hindi는 OIWER 9.40%입니다. 번역 품질도 폭넓은 범위에 걸쳐 있습니다 — FLEURS-to-English BLEU는 6.40에서 44.33까지, English-to-FLEURS는 8.70에서 42.65까지, CoVoST2-to-English는 6.95에서 54.46까지입니다. HALAS 세트에서의 강건성은 31.50% WER이며, 이 수치는 악센트가 있거나 노이즈가 많은 현장 녹음을 바탕으로 구축된 어떤 계획이라도 신중하게 조정하게 만드는 값입니다.

실용적인 해석은 "40개 언어"가 용량 계획의 근거로 삼을 수 있는 범위(coverage) 주장이지, 제품 계획의 근거로 삼을 수 있는 품질(quality) 주장은 아니라는 것입니다. 약정하기 전에 관심 있는 특정 언어와 특정 녹음 조건을 자체 클립 수백 개로 테스트하세요. 모델 카드 자체의 파인튜닝 사례 연구가 그 틀입니다: 인도 의료 음성 벤치마크에서 초기 상태의 오류율은 30.8%였고, 영어와 라틴 문자를 명시한 프롬프트로 23.8%까지 낮아졌으며, 약 245시간 분량의 데이터로 적응 훈련을 하자 11.8%까지 떨어졌습니다 — GB300 한 대에서 14 GPU-시간으로 약 62% 오류 감소입니다. 홀드아웃 화자에서는 22.44%에서 12.17%로, 45.8%의 상대적 감소를 보였지만, LibriSpeech test-clean은 1.54%에서 1.69%로 떨어졌는데, 이는 좁은 범위의 적응에서 나타나는 흔한 신호입니다.

운영 비용과 라우팅이 적합한 위치

NVIDIA는 해당 모델의 가격을 공개하지 않았다. 연구 페이지나 모델 카드에는 분당 요금이 없고, 가중치는 OpenMDW-1.1에 따라 무료이며, 출시 당시 호스팅 접근은 NVIDIA 자체 NIM 엔드포인트와 자체 요율을 책정하는 여러 타사 플랫폼을 통해 제공된다. 따라서 비용 문제는 GPU 문제이며, 그에 대한 수치는 이례적으로 완비되어 있다.

RTX PRO 6000 Blackwell Server Edition 한 대에서 DFlash2 드래프트를 사용하는 NVFP4 빌드는 초당 최대 2,238초 분량의 오디오를 처리합니다. 즉 30초 녹음은 0.13초 만에 결과가 반환되며, 이는 100시간 분량의 오디오를 3분 이내로 처리한다는 뜻입니다. 이는 최적화된 NIM 경로이며, NVIDIA는 공개 vLLM 통합이 대략 두 배 느리다고 밝힙니다. H100의 BF16에서 이 카드의 RTFx 수치는 2토큰 추측에서 410, 8토큰 추측에서 270, K=7의 DFlash2 사용 시 340, K=15에서는 260입니다. 그 범위의 최상단에서 H100 한 시간은 약 410시간 분량의 오디오를 처리하므로, 1,000시간 분량의 전사는 대략 2.5 GPU 시간의 연산량입니다. 호스팅된 분당 요금을 앞서는지는 전적으로 카드를 얼마나 포화 상태로 유지하느냐에 달려 있습니다. 월 수백 시간 수준에서는 유휴 상태의 80GB GPU가 더 비싼 선택이며, 대기열이 계속 가득 찬 상태가 되어야만 계산이 뒤집힙니다.

적응 비용은 이 클래스 기준으로 저렴합니다. NVIDIA는 언어 모델에 LoRA를 적용하고 인코더와 프로젝션을 학습시키는 방식으로, 새로운 언어·도메인·출력 스타일에 대해 단일 GPU에서 작업당 0.5~2.3 GPU-시간이 걸린다고 보고하며, 이는 17개 작업에서 평가되었습니다. 이는 충분히 작은 수치이므로 도메인 적응은 연구 프로젝트가 아니라 배포의 일부로 취급해야 합니다 — 위의 의료 사례는 처음부터 끝까지 14 GPU-시간입니다.

다음에 이어질 내용에 중요한 아키텍처 관련 사항이 하나 있습니다: 이 모델은 텍스트를 출력하며, 트랜스크립트 이후에 이어지는 요약, 엔터티 추출, 규정 준수 태깅은 일반적인 LLM 작업입니다. 그 다운스트림 단계가 바로 OrcaRouter가 담당하는 부분입니다 — 200개 이상의 모델을 위한 단일 API를 공급자 정가 대비 0% 마크업으로 제공하고, 파이프라인 도중 공급자가 성능 저하를 일으킬 때 자동 장애 조치하며, 매번 별도의 통합을 추가하지 않고도 긴 트랜스크립트와 짧은 스니펫을 서로 다른 모델로 보낼 수 있는 라우팅 DSL을 제공합니다. Nemotron 3.5 Transcribe는 당사가 호스팅하지 않습니다. 이는 자체 하드웨어나 NVIDIA 엔드포인트를 통해 실행하는 음성 모델입니다. 라우팅 계층은 트랜스크립트가 끝나는 지점에서 시작됩니다.

두 모델이 같은 이름을 공유하는데, 그중 하나만 이 모델입니다.

지난 하루 동안 이번 릴리스에 관해 작성된 내용 중 상당 부분은 다른 체크포인트에 관한 것입니다. NVIDIA는 또한 nemotron-3.5-asr-streaming-0.6b도 공개했는데, 이는 온디바이스 및 CPU 중심 런타임을 위해 만들어진 소형 스트리밍 ASR 체크포인트로, 양자화 빌드는 애플리케이션에 포함해 배포할 수 있을 만큼 작습니다. 이것은 이 모델이 아니며, 화자 귀속 기능을 수행하지 않고, 속도와 정확도 수치도 이전되지 않습니다. 30B-A4B 음성 LLM은 10월 28일에 발표된 모델이고, 0.6B 스트리밍 모델은 노트북에서 실행되는 모델입니다. 읽고 있는 비교 자료에서 40개 언어 지원 주장과 함께 1초 미만의 지연 시간이나 1기가바이트 다운로드를 언급한다면, 그것은 두 모델을 혼동한 것입니다.

누가 지금 행동해야 하고, 누가 기다려야 하는가

녹음된 회의, 통화, 인터뷰를 영어 또는 나머지 12개 화자 분리 언어 중 하나로, 1시간 미만의 파일로 처리하고 있고, 이미 80GB급 GPU 용량이나 기꺼이 비용을 지불할 호스팅 엔드포인트를 보유하고 있다면 지금 바로 실행하십시오. 현재 2개 모델 캐스케이드를 유지하고 있는 경우에 가장 적합합니다. 즉, 상용 사용을 허용하는 라이선스 하에 체크포인트 하나, 단일 패스로 화자 레이블과 단어 타임스탬프까지 포함하는 구성입니다. pyannote를 퇴역시키기 전에 자체 오디오로 평가해 보십시오. 위에 제시된 원거리 및 액센트 오디오 수치가 가장 실망스러울 가능성이 높은 부분입니다.

라이브 스트리밍이 필요하다면 기다리세요. 스트리밍 경로가 없기 때문입니다. 사용하는 언어가 해당 FLEURS 범위의 끝자락에 속한다면, 녹음이 1시간을 넘긴다면, 또는 GPU가 없고 분당 과금되는 호스팅 비용을 감당할 생각이 없다면도 마찬가지입니다. 이미 Artificial Analysis에서 더 낮은 오류를 기록하며 화자 분리가 필요 없는 최신 전사기로 스택을 옮겨 둔 경우에도 기다리세요 — 한 번에 처리하는 화자 귀속이 전환할 이유이며, 그것이 유일한 이유입니다.

주목할 만한 미해결 질문들은 좁고 검증 가능하다. 독립적인 전체 정밀도 평가는 아직 부족하다. 커뮤니티 4비트 양자화를 실행하는 사람들의 초기 보고는 흔한 속도 저하와 정확도 손실을 설명하는데, 이는 모델보다 양자화에 대해 더 많은 것을 말해 준다. SGLang-Omni는 비-vLLM 경로가 진정한 대안이 되기 전에 기능 동등성에 도달해야 한다. 그리고 13개의 화자 분리 언어는 가장 먼저 바뀔 가능성이 큰 숫자다. 왜냐하면 아키텍처적 주장이 집중된 곳이 바로 그곳이기 때문이다.