Nemotron 3.5 Transcribe, 5개 모델 파이프라인을 대체하다. 오픈 빌드에는 여전히 구멍이 있다.

6명의 발화자가 참여한 45분짜리 이사회 통화에는 예전에 다섯 가지 구성 요소가 필요했습니다. 음성 활동 감지, ASR 모델, 화자 분리기, 강제 정렬기, 그리고 원시 출력을 사람이 읽을 수 있는 형태로 다듬어 주는 언어 모델입니다. NVIDIA Nemotron 3.5 Transcribe는 2026년 10월 28일 OpenMDW-1.1 라이선스로 공개되었으며, NVIDIA가 이 스택을 단일 순방향 패스로 축소하려는 시도입니다. 이번 공개를 다시 읽을 가치가 있게 만드는 것은 축소 자체가 아닙니다. 바로 오픈소스 서빙 경로가 아직 하지 못하는 일들의 목록입니다.

이 체크포인트는 부가 기능을 얹은 ASR 모델이 아니라 음성 증강 언어 모델입니다. 340억 개 매개변수의 대부분은 Nemotron 3.5 Lightning 30B-A3B 하이브리드 Mamba–Transformer 전문가 혼합(MoE) 백본입니다. 토큰당 약 43억 개가 활성화되며, 여기에는 약 8억 개의 오디오 인코더가 포함됩니다. 저장소 이름은 여전히 30B-A4B로 표시되는데, 이는 조립된 시스템 전체가 아니라 디코더만 집계한 수치입니다. NVIDIA 자체의 지원 매트릭스, 벤치마크 표 및 라이선스는 모두 모델 카드에 있으며, 그 카드가 이번 릴리스에서 가장 유용한 문서입니다.

다섯 개의 작업, 하나의 체크포인트

핵심은 프롬프트가 전사문을 결정한다는 것입니다. NVIDIA는 다섯 가지 출력 스타일을 동일한 가중치에 학습시켰으며, 호출자는 별도의 모델이나 후처리 스크립트 대신 자연어 지시를 통해 그중 하나를 선택합니다:

• 축어록 — 법률 및 규정 준수 기록을 위해 비유창성, 잘못 시작한 말, 반복을 그대로 보존합니다.

• 문어체 — 자막과 읽기 쉬운 회의록을 위해 문장 부호와 대소문자를 정리한 형식.

• 문맥 반영 — 프롬프트에 제공되는 엔터티 목록이 이름, 제품, 전문 용어의 표기를 결정합니다.

• 화자 귀속 — 각 세그먼트에는 ASR 단계 내에서 생성된 화자 태그가 포함됩니다.

• Rich — 화자 라벨, 문장 부호, 대소문자, 서식을 한데 담아내는 키친싱크 스타일.

전사를 넘어, 동일한 체크포인트는 영어와 31개 언어 간 양방향 음성 번역, 발화 언어 식별, 오디오 이해 — 녹음에 대한 질문 응답 및 음성 지시 수행 — 을 처리합니다. 65,536토큰 컨텍스트 안에서 최대 1시간의 녹음을 처리하며, 30초 단위의 내부 디코딩 청크를 사용하는데 이는 녹음 한계가 아니라 엔지니어링 세부 사항입니다. 단어 타임스탬프는 디코딩 후 경량 CTC 어댑터에서 나옵니다.

화자 레이블은 실제로 어디에서 비롯되는가

대부분의 “하나의 모델이 모든 것을 처리한다”는 주장은 화자 분리(diarization)에서 무너집니다. 화자 정체성은 클러스터링 문제이고 전사는 시퀀스 문제이며, 이 둘은 보통 별도로 해결되기 때문입니다. NVIDIA의 해법은 병렬 전문가 인코더입니다. 동결된 Nemotron 3 Diarization 모델이 화자 활동 표현을 생성하고, 이 표현이 음성 인코더의 출력에 주입되어 언어 백본이 무엇이 말해졌는지 판단하는 동안 누가 말하고 있는지도 볼 수 있게 합니다. LLM 자체는 이 작업을 위해 재훈련되지 않습니다.

그 설계는 회사가 캐스케이드 대신 단일 패스를 내세울 수 있는 이유다. NVIDIA는 다중 화자 평가 세트에서 평균 연결 최소 순열 단어 오류율이 15.80이며, 최고의 특화 ASR+화자 분리 캐스케이드의 16.83과 대비된다고 보고한다. 그리고 이 결과를 중첩 발화가 있는 화자 귀속 전사에서 그런 유형의 시스템을 능가한 첫 음성 LLM이라고 설명한다. 이는 공급업체가 구축한 평가 세트에서 나온 공급업체 수치이며, 아직 어떤 중립 연구소도 이를 재현하지 못했다. 방향성은 타당하다고 보고, 격차는 잠정적인 것으로 받아들여야 한다.

라벨이 붙은 숫자들

NVIDIA의 카드는 9개 공개 영어 Open ASR Leaderboard 테스트 세트 전반에서 평균 단어 오류율 4.71%를 보고합니다. 그 평균 아래의 편차는 크며, 이를 인용하기 전에 알아둘 가치가 있습니다. LibriSpeech test-clean은 1.09%, SPGISpeech는 1.91%인 반면 AMI는 7.81%, URGENT24는 11.00%입니다. 다국어 리더보드는 7개 언어 전반에서 평균 4.62%이며, 독일어는 2.81%, 힌디어는 자체 어휘 외(out-of-vocabulary) 지표에서 9.15%입니다.

출시에 관한 언론 보도에서도 영어 보드에 대해 5.33%를 인용했습니다. 이는 서로 다른 집합 구성에 대한 다른 집계이며 정정이 아니므로, 두 수치는 절대 같은 행에 배치해서는 안 됩니다. 카드의 4.71%는 카드를 인용하는 경우 인용해야 할 수치입니다.

컨텍스트 프롬프팅에 대한 주장은 이번 발표에서 가장 구체적인 부분이다. ContextASR-Bench에서 전체 WER은 개체 목록이 없을 때 3.33%에서 세분화된 개체 목록을 사용할 때 1.71%로 변하며, 명명된 개체 WER은 12.21%에서 2.20%로, 명명된 개체 위음성률은 14.99%에서 1.32%로 떨어진다. 이는 실제로 확인 가능한 메커니즘이다 — 모델에 제품명을 알려주면 모델은 그 이름들을 추측하지 않게 된다 — 절대 점수가 NVIDIA의 하네스에서 나온 것이라 해도 말이다.

독립적인 평가는 덜 호의적이지만 더 유용하다. Artificial Analysis는 비스트리밍 AA-WER v2 표에서 Nemotron 3.5 Transcribe를 3.4%로 기재하며 약 20~23위에 공동 순위로 올려 두었지만, 자사 FAQ에서는 이 모델을 2.8%로 설명한다. 두 수치는 같은 페이지의 같은 표에 속한 값이다. 이 차이는 측정 대상의 차이—엔드포인트, 양자화, 평가 슬라이스—이며, 이 지수가 여러 서빙 구성에서 보여 온 노이즈 폭과 대략 비슷하다. 작성 시점 기준으로 이 표에는 오디오 1,000분당 $2.00의 호스팅 가격도 기재되어 있으며, 이는 시간당 약 $0.12에 해당한다.

운영 팀이 가장 관심을 가질 부분은 처리량 수치입니다. 단일 RTX PRO 6000 Blackwell GPU에서 NVFP4 체크포인트와 DFlash2 드래프트 모델을 사용해 초당 2,238초 분량의 오디오를 처리한다는 수치입니다. NVIDIA가 직접 밝힌 주의사항은 최적화된 서빙 스택이 오픈소스 릴리스에 포함되지 않으며, 함께 제공되는 개발 통합 버전은 대략 두 배 느리게 실행될 것으로 예상된다는 점입니다. 용량 계획을 세우기 전에 이 수치를 절반으로 줄이세요.

오픈 빌드가 중단되는 지점

이 부분은 출시 보도가 건너뛰는 대목이다. 체크포인트 자체는 유능하지만, 이를 둘러싼 통합은 고르지 않고 모델 카드도 그렇게 분명히 밝힌다.

• 스트리밍 없음 — 카드에는 "이 모델은 오프라인 모델입니다"라고 적혀 있으며, 내부 오디오 청킹이 이것을 실시간 스트리밍 서비스로 만들어 주는 것은 아니라고 덧붙입니다. 디코딩이 시작되기 전에 녹음의 매 초가 존재해야 합니다.

• SGLang-Omni 통합은 전사 전용입니다 — 파일 전체 전사를 제공하지만, 카드에 따르면 단어 타임스탬프, 화자별 출력, 번역 또는 추측 디코딩은 포함하지 않습니다. vLLM 경로는 타임스탬프 캡처를 지원합니다. 어떤 런타임을 선택하느냐에 따라 사용할 수 있는 기능이 결정됩니다.

• 타임스탬프와 DFlash2는 상호 배타적입니다 — 추측 디코딩 드래프트 모델을 사용하는 경우 타임스탬프를 사용할 수 없습니다. 출하 구성에서는 빠름 또는 정렬 중 하나만 가능하며 둘 다는 안 됩니다.

• 오디오 이해는 영어만 지원합니다 — 추론, 음성 지시 따르기, 오디오 질의 응답은 "다른 언어에서는 안정적으로 작동하지 않을 수 있다"고 카드에서 경고하며, 전사는 40개 언어를 지원합니다.

• 멈추지 못할 수 있습니다 — 모델이 때때로 종료되지 않고 반복될 수 있기 때문에 카드에서는 정리 가드레일을 권장합니다. 이는 각주가 아니라 운영상의 요구 사항입니다.

• 1시간은 엄격한 실용적 한계입니다. 65,536 토큰을 초과하거나 1시간 분량 녹음에 대한 성능은 "일반화된다고 보장할 수 없습니다." 종일 진행되는 증언 녹취의 경우에는 파일을 분할하고 화자를 직접 대조·정리해야 합니다.

화자 귀속도 40개 언어라는 헤드라인보다 범위가 좁습니다. NVIDIA의 매트릭스에서는 40개 언어 중 13개만 다중 화자 출력용으로 표시되어 있으며, 학습 데이터 혼합은 최대 8명의 화자를 포함합니다. 회의가 튀르키예어나 베트남어로 진행된다면 전사는 잘 할 수 있지만 화자 레이블은 여전히 얻지 못할 수 있습니다.

배포와 그 비용

모델 가중치는 OpenMDW-1.1에 따라 상업적 및 비상업적 용도로 무료로 사용할 수 있으며, BF16, FP8, NVFP4 및 GGUF로 공개되고, H100 80GB 한 대에서의 참조 구성과 Ampere, Hopper, Blackwell 및 Lovelace 제품군 전반에 걸친 지원을 제공합니다. 서빙 스택을 직접 구성하지 않으려는 팀을 위한 NIM 컨테이너와 파인튜닝용 NeMo Speech도 있습니다. NVIDIA는 한 GPU에서 작업당 0.5~2.3 GPU-시간으로 17개 작업에 걸쳐 모델을 적응시켰다고 보고하는데, 이는 도메인 적응을 이론이 아닌 현실적인 일로 만들어 주는 수치입니다.

경제성은 명확히 갈린다. 호스팅 방식에서 Artificial Analysis에 기재된 1,000분당 $2.00은 오디오 1시간당 약 $0.12로, 대부분의 관리형 트랜스크립션보다 저렴하며 일반적인 클라우드 STT 청구서의 약 3분의 1 수준이다. 자체 호스팅의 경우 한계 비용은 GPU 시간이다. 벤더가 제시한 2,238대 1의 처리량 기준으로 보면 1,000시간 분량의 오디오는 적합한 카드에서 30분 미만의 연산에 불과하므로, 문제는 가격이 아니라 하드웨어를 소유하느냐 임대하느냐, 그리고 오디오가 네트워크를 벗어날 수 있느냐로 바뀐다. 두 경로 모두 타당하다. 그러나 스프레드시트 위에서 이 둘은 서로 가까운 값이 아니다.

체크포인트가 수행하지 않는 작업의 절반

전사는 텍스트를 만들어내며, 다운스트림 비용의 대부분은 바로 이 텍스트에서 발생합니다. 통화 요약, 액션 아이템 추출, 개인 데이터 마스킹, 지역 사무소를 위한 영어 출력 번역, 인계 과정에서 화자 레이블이 유지되었는지 확인하는 작업이 여기에 해당합니다. 이들은 일반적인 텍스트 모델 워크로드이며, ASR과 동일한 장비에서 실행할 필요는 없습니다.

바로 이런 곳에서 라우터가 제 역할을 합니다. OrcaRouter는 그 다운스트림 호출들을 0% 마크업으로 하나의 키 뒤에 모읍니다 — 공급자의 정가가 그대로 전달되어 벤더 가격 변경이 당일 반영되며, 한 공급자의 성능이 저하될 때 자동 장애 조치가 작동하고, 요약, 마스킹, 번역을 서로 다른 모델로 보낼 수 있는 라우팅 DSL을 하나의 워크플로 안에서 제공합니다. 분명히 말하면, NVIDIA Nemotron 3.5 Transcribe는 OrcaRouter의 카탈로그에 없으며, 여기서 그와 반대되는 것을 암시하지도 않습니다. 우리가 라우팅하는 것은 트랜스크립트가 생성된 이후의 텍스트 계층이며, 이는 대부분의 팀이 트랜스크립션 파이프라인의 예산을 책정할 때 가장 과소평가하는 계층입니다.

모델 자체를 평가하고 있다면, 정직한 방법은 호스팅된 엔드포인트를 먼저, 직접 보유한 하드웨어를 그다음으로 사용하는 것입니다. 카드에 표기된 수치는 벤더 측정과 독립 측정 사이에서 1포인트 넘게 차이가 나며, 이를 판가름할 유일한 오디오는 당신의 것입니다.

무엇이 추천을 바꿀 수 있나요?

다음 분기에 주목할 만한 세 가지가 있습니다. 첫째, 오픈소스 서빙 스택이 최적화된 NIM 경로를 따라잡을 수 있는지 여부입니다. 따라잡기 전까지는 광고된 처리량이 호스팅 전용 수치이며, 오픈 릴리스는 그 절반 정도입니다. 둘째, NVIDIA 외부에서 15.80 cpWER과 개체명 6배 개선을 재현할 수 있는지 여부입니다. 둘 다 강력한 주장이지만 현재는 한 연구소의 평가 하네스에 의존하고 있습니다. 셋째, 오디오 이해가 영어를 넘어 확장될 수 있는지 여부입니다. 왜냐하면 단순히 전사하는 것이 아니라 녹음에 질문하는 그 기능은 이 규모에서 경쟁하는 공개 체크포인트가 제공하지 않는 부분이기 때문입니다.

당장의 실용적 결론은 좁고 화려하지 않다. 화자 라벨이 붙은 1시간 분량의 다국어 전사가 필요하고 배치 워크플로를 감수할 수 있다면, 이 체크포인트는 이용 가능한 공개 선택지 중 가장 강력하며 문맥 프롬프팅 메커니즘은 진정으로 차별화된다. 실시간 캡션이나 스트리밍 에이전트, 또는 가능한 한 빠른 디코드와 함께 단어 수준 정렬이 필요하다면, 이번 릴리스는 아직 그 요구를 충족하지 못하며 그런 기능을 제공하는 제품들이 여전히 우선 찾아야 할 대상이다.