Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 매개변수 64배, 43배 더 느림

이 비교에서 가장 유용한 객체는 279메가바이트 파일, 즉 Granite Speech 5.0 470M TurboCTC의 Q4_K_M 양자화다. IBM의 인코더 전용 음성 인식기인 이 모델은 GPU도, 이름값을 하는 파이썬 환경도, 서비스 계약도 없이 노트북 CPU에서 영어를 전사한다. Nemotron 3.5 Transcribe는 NVIDIA가 2026년 10월 28일에 공개 가중치로 발표한 300억 파라미터 규모의 음성 증강 언어 모델로, 데이터센터급 가속기와 약 60기가바이트의 BF16 가중치를 필요로 한다. NVIDIA의 모델은 64배 더 크고, 각 벤더가 공개한 처리량 수치를 기준으로 하면 GPU 초당 약 43배 더 느리다. 또한 둘 중 화자가 누구였는지 알려줄 수 있는 것은 이 모델뿐이다.

그 사실들 중 어느 것도 결정적인 것은 아니다. 그것들은 우연히 같은 리더보드에서 측정된 두 대의 서로 다른 머신을 설명하며, 핵심 질문은 당신의 워크로드에 여유 공간이 필요한지 아니면 단지 말만 필요한지이다.

비자기회귀 CTC 모델 대 생성형 음성 LLM

Granite Speech 5.0 470M TurboCTC는 16,384개 조각으로 구성된 BPE 출력 계층을 갖춘 16개의 Conformer 블록이며, CTC 목표로 훈련되고 그리디 방식으로 디코딩됩니다. 언어 모델도, 프로젝터도, 생성 루프도 없습니다. 오디오가 입력되면 프레임 동기식 레이블 시퀀스가 출력되며, 100 Hz에서 12.5 Hz로 서브샘플링됩니다. 이러한 설계 덕분에 빠르고 작으며, 레이블 집합이 다루지 않는 작업은 할 수 없습니다. 프롬프트에 대한 개념도, 출력 스타일도, 번역 대상도, 화자 필드도 없습니다.

Nemotron 3.5 Transcribe는 정반대되는 아키텍처를 갖추고 있으며, 그 차이는 단순한 세대 차이가 아니다. 음성 인코더가 화자 활성 신호를 병렬 전문가 인코더를 통해 인코더에 주입하는 프로즌 Nemotron 3 Diarization 모델에 입력을 전달하고, 하이브리드 Mamba–Transformer 혼합 전문가 디코더가 대본을 텍스트로 생성하는데, 300억 개의 매개변수 중 약 40억 개가 토큰마다 활성화된다. 출력이 분류되는 대신 생성되기 때문에, 지시를 내릴 수 있다: 축어 형태 또는 문어 형태, 예상 개체 목록, 번역 대상, 화자 속성이 부여된 출력, 또는 오디오에 관한 질문에 대한 음성 답변 등이다.

• 매개변수 — 총 약 30B, 토큰당 활성 약 4B로 470M 인코더 전용과 대비됩니다.

• 디코딩 — 30B MoE에 대한 자기회귀 생성 대 탐욕적 비자기회귀 CTC.

• 라이선스 — OpenMDW-1.1 대 Apache-2.0(둘 중 더 관대한 쪽이며, IBM의 별도 -nc 계열 라이선스는 CC-BY-NC-SA-4.0).

• 풋프린트 — BF16, NVFP4, GGUF 빌드로 제공될 경우 약 60GB인 반면, 커뮤니티 GGUF 포트의 Q4_K_M에서는 279MB입니다.

• 언어 — 2026년 10월 21일 다국어 업데이트 이후 전사 40개, 번역 31개 대 7개(영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 이탈리아어, 일본어).

• 스피커 — 최대 8명, 화자 귀속, 13개 언어 지원 대 없음; 화자 분리에는 별도 모델이 필요합니다.

• 타임스탬프 — 디코드 후 CTC 어댑터를 통한 단어 단위 vs 없음; CTC 피크 위치는 단어 경계가 아닙니다.

• 스트리밍 — 없음, 녹음된 오디오만 vs 없음.

정확도 격차는 크기 격차보다 작으며, 평균값은 일치하지 않습니다.

IBM은 다국어 TurboCTC 릴리스에 대해 공개 영어 테스트 세트 9개 전반에서 평균 단어 오류율 {{1}}5.51%{{/1}}를 보고했으며, 8월 출시 당시의 {{2}}5.78%{{/2}}에서 개선되었습니다. NVIDIA는 Hugging Face Open ASR Leaderboard에서 평균 영어 WER {{3}}5.33%{{/3}}를, 자사 연구 페이지에서는 공개 테스트 세트 9개 전반에서 {{4}}4.71%{{/4}}를 보고합니다. 두 수치 모두 벤더가 보고한 값이며, 두 평균은 동일한 데이터 혼합이 아닙니다. IBM의 9개 세트와 NVIDIA의 8개 세트 리더보드 항목은 구성과 정규화 방식이 다르고, 연구 페이지의 별도 9개 세트 수치는 자사 리더보드 항목과 또 다릅니다. 이들을 빼서 그 차이를 품질 격차라고 부르지 마십시오. 방어 가능한 설명은 더 좁습니다 — 공개 영어 단편 리더보드에서 이 두 모델은 서로 0.2포인트 이내에 있으며, 이는 {{5}}64배 더 작은{{/5}} 모델로서는 놀라운 결과이고, 리더보드 평균에서 LibriSpeech 형태의 깨끗한 읽기 음성이 얼마나 큰 비중을 차지하는지에 대한 경고입니다.

단어 오류율은 또한 실제로 두 모델을 구분 짓는 요소를 가린다. Granite는 분류기다. 가장 가능성 높은 레이블 시퀀스를 출력하고, 음향이 모호한 부분에서는 그럴듯한 무언가를 출력한다. Nemotron은 뒤에 언어 모델을 두고 텍스트를 생성하기 때문에, 프롬프트에 엔터티 목록을 넣으면 ContextASR-Bench에서 명명된 엔터티 오류가 6배 줄어든다는 맥락적 프롬프팅 주장이 가능하다. 제품 코드로 가득한 영업 통화 녹취록에서 작은 모델은 그 편향을 적용할 메커니즘이 없지만 큰 모델에는 있다.

처리량: 462 대비 19,870 RTFx

Hugging Face 리더보드에서 Nemotron 3.5 Transcribe의 RTFx는 462.09로, 이는 리더보드 하네스에서 컴퓨트 1초당 약 462초 분량의 오디오를 처리한다는 뜻입니다. IBM의 10월 업데이트에서는 단일 H200에서 TurboCTC의 RTFx가 19,870로 보고되었는데, 이는 출시 당시 약 12,600에서 단일 블록 그래프 재사용 최적화를 거친 뒤 상승한 수치입니다. 이는 43배의 차이이며, WER 수치와 달리 적어도 두 개의 서로 다른 테스트 혼합이 아닌 두 개의 경쟁력 있는 가속기에서 측정된 값입니다.

NVIDIA 자체 헤드라인은 다른 종류의 수치다. RTX PRO 6000 Blackwell 한 장에서 NVFP4 체크포인트와 DFlash2 드래프트 모델을 사용해 초당 최대 2,238초 분량의 오디오를 처리한다. 이는 리더보드의 462보다 높은데, 다른 측정 방식이기 때문이다. NVIDIA 자체 Hugging Face 게시물에 명시된 대로, 높은 동시성에서 30초 클립을 대상으로 추측 디코딩을 활성화하고 아직 출시 예정이라고 설명된 양자화를 적용해 측정한 것이다. 두 수치를 함께 읽으면 솔직한 결론은 Nemotron의 처리량은 구성에 따라 한 차수만큼 달라지는 반면, TurboCTC의 처리량은 아키텍처의 속성이라는 것이다. 자기회귀 루프가 없는 모델은 30B MoE가 느려질 수 있는 방식으로 느려질 수 없다.

4억 7천만 개의 파라미터가 300억 개로는 할 수 없는 것을 어떻게 가능하게 하는가

첫 번째 답은 배포 형태입니다. 279MB GGUF는 CPU에서, 스마트폰에 가까운 에지 기기에서, 데스크톱 애플리케이션 내부에서, 참을성이 있다면 라즈베리 파이급 보드에서 실행됩니다. 이제 커뮤니티 GGUF 이식판과 모델을 일급 엔진으로 취급하는 C++ 런타임 제품군이 있습니다. Nemotron 3.5 Transcribe는 NeMo Speech 플러그인이 있는 vLLM 또는 SGLang-Omni에서, BF16의 80GB 가속기나 NVFP4의 Blackwell 카드에서 실행됩니다. 이것들은 스펙트럼 위의 두 지점이 아니라 서로 다른 조달 범주입니다.

두 번째는 지연 하한입니다. CTC 모델은 한 번의 순전파로 전사를 반환합니다. 생성 모델은 한 번에 토큰 하나를 반환하며, 짧은 파일에서의 실제 경과 시간 지연은 오디오보다 디코드 루프에 의해 좌우됩니다. 배치 아카이브에는 이 점이 무관합니다. 대화형 환경 — 받아쓰기 상자, 통화 품질 모니터, 스크럽을 따라가야 하는 자막 도구 — 에서는 두 모델 중 작은 모델만이 사용자가 알아차리기 전에 끝납니다.

세 번째는 라이선스 명확성입니다. Apache-2.0은 법무 부서가 이미 승인한 라이선스이고, OpenMDW-1.1은 너무 최신이라 일부 법무 부서에서는 검토를 원할 것입니다. 장애 요인이 벤치마크가 아니라 조달 양식이라면, IBM의 모델이 이를 더 빠르게 통과합니다.

300억 개 파라미터가 4억 7천만 개 파라미터가 할 수 없는 것을 당신에게 제공하는 것

화자 문제부터 보겠습니다. 그리고 이게 결정적입니다. TurboCTC에는 화자 표현이 전혀 없습니다. 화자가 귀속된 전사본을 얻으려면 앞단에 다이어라이제이션 모델을 두고, 병합 단계를 거치고, 병합을 위한 오류 예산까지 책정해야 합니다. 이른바 표준 캐스케이드입니다. Nemotron 3.5 Transcribe는 동결된 다이어라이제이션 모델을 인코더에 내장하고 화자 레이블을 직접 출력합니다. 최대 8명의 화자를 13개 언어에서 지원하며, 디코딩 이후 CTC 어댑터를 통해 화자가 귀속된 단어 타임스탬프를 제공합니다. NVIDIA가 보고한 다이어라이제이션 오류율은 David AI 벤치마크에서 21개 언어 기준 18.26%로, 14개 시스템 중 최고이며, 가장 근접한 경쟁자는 자사 Nemotron 3 Diarization 모델의 18.38%입니다. 이는 벤더의 자체 평가 환경에서 나온 수치이며 독립적으로 재현된 적은 없습니다. 이 수치가 함축하는 캐스케이드 비교, 즉 모델 하나 대 모델 셋이라는 비교는 벤치마크 주장이 아니라 배포 방식에 대한 설명일 뿐입니다.

언어와 번역은 두 번째입니다. TurboCTC는 10월 업데이트 이후 7개 언어를 지원합니다. Nemotron은 전사에 40개 언어, 영어로 또는 영어에서 번역하는 데 31개 언어를 지원합니다. 대기열이 유럽 언어이고 단일 언어라면 7개면 충분합니다. 그렇지 않다면 비교는 끝입니다.

세 번째는 파인튜닝입니다. NVIDIA는 단일 GPU에서 작업당 0.5~2.3 GPU-시간으로 적응이 이루어진다고 보고하며, 의료 음성 사례에서는 3,619개 클립에서 파인튜닝을 통해 단어 오류율이 30.8%에서 11.8%로 낮아졌고, 홀드아웃 화자에서는 22.44%에서 12.17%로 개선되었습니다. IBM의 TurboCTC도 파인튜닝이 가능하며 Apache-2.0이지만, 훨씬 작은 모델에서 CTC 헤드를 파인튜닝하게 되고, 설득할 언어 모델이 없기 때문에 추가 컨텍스트로 얻을 수 있는 상한은 더 낮습니다.

그것을 결정하는 비용 모델

TurboCTC의 경제성은 거의 지루할 정도입니다. H200 한 대로 19,870 RTFx를 서비스하면 매우 큰 대기열이 포화되고, 범용 CPU에서 양자화된 279MB 빌드는 오디오 시간당 거의 비용이 들지 않으며, 전기료가 주요 비용 항목입니다. 스택 어디에도 분당 과금 계량기는 없습니다.

Nemotron의 경제성은 규모만 다를 뿐 같은 구조입니다. 분당 계량 과금은 없지만, 가속기는 훨씬 더 크고 처리량 상한은 훨씬 더 낮습니다. Blackwell 카드 한 장이 초당 2,238초의 오디오를 처리하며, 높은 동시성에서는 100시간을 3분 이내에 소화하고, 중첩이 있는 한 시간 분량 회의에서는 그보다 훨씬 짧은 시간에 처리합니다.

• 월 20시간 규모의 대기열 — CPU에서 TurboCTC는 사실상 무료이며, Nemotron은 한 달의 대부분을 유휴 상태로 보낼 임대 또는 자체 보유 가속기가 필요합니다.

• 화자 관련 요구 사항이 없는 월 2,000시간 규모의 아카이브에서는 단일 GPU에서 TurboCTC를 실행하거나 소규모 CPU 집합을 사용하는 구성이 훨씬 더 저렴하고 빠릅니다.

• 6인 회의를 월 2,000시간 아카이빙하는 구성 — TurboCTC + 다이어라이저 + 병합 계층을 단일 카드에서 Nemotron과 비교 측정한 결과입니다. 대형 모델의 가격이 정당화되는 유일한 구성이며, 여기서도 캐스케이드가 하드웨어 측면에서는 더 저렴합니다.

• 오디오 업로드를 금지하는 기밀 유지 제약이 있는 경우 — 둘 다 자체 호스팅이 가능하므로 어느 쪽이든 제약이 충족되며, 결정은 화자와 언어로 넘어갑니다.

파이프라인의 후처리 단계는 어느 인식기를 선택하든 라우팅 계층이 존재 가치를 증명하는 곳입니다. 트랜스크립트는 요약되고, 태그가 지정되고, 라우팅되며, OrcaRouter는 200개 이상의 텍스트 및 멀티모달 모델을 하나의 키로 이용할 수 있게 합니다 제공업체 정가를 0% 마크업으로 그대로 전달하며, 자동 페일오버와 하나의 트랜스크립트 유형은 저렴한 요약기로, 또 다른 유형은 더 강력한 모델로 두 번째 통합 없이 보낼 수 있는 라우팅 DSL을 갖추고 있습니다. Nemotron 3.5 Transcribe도 Granite Speech 5.0 470M TurboCTC도 해당 카탈로그에서 제공되지 않습니다 — 우리는 음성-텍스트 변환을 호스팅하지 않습니다 — 따라서 음성 선택은 별도의 계약으로 남고, 그 상위 계층만 이식 가능하게 됩니다.

리더보드가 아니라 업무의 형태를 기준으로 고르세요.

작업이 "깨끗하고 대부분 영어인 오디오를 최대한 저렴하고 빠르게 텍스트로 바꾸는 것"이라면 Granite Speech 5.0 470M TurboCTC가 승자이며, 비교 자체가 무의미할 정도입니다. 이 모델은 Apache 라이선스의 279MB 모델로, 30B 시스템보다 40배 이상 빠르면서도 공개 영어 평균 성능에서 거의 손실이 없습니다. 화자를 위해 구축하는 캐스케이드는 그 효율성에 치르는 대가이며, 화자가 애초에 필요 없었다면 그 대가를 치를 일도 없습니다.

작업이 "40개 언어 중 하나로 된 까다로운 녹음에서 화자 귀속·시간 표시·구조화된 전사본 하나를 생성하는 것"이라면, Nemotron 3.5 Transcribe는 둘 중에서 이를 시도하는 유일한 모델이며, 아직 독립적으로 재현되지 않은 벤더의 화자 분리 수치는 그것이 대체하는 캐스케이드 방식보다 더 나은 성능을 낸다는 것을 시사한다. 처리량 비용은 실제이고 하드웨어 비용도 실제이지만, 회의가 많은 워크로드에서는 어느 것도 감당하기 어려운 수준은 아니다.

피해야 할 실수는 이것을 세대 간 경쟁으로 보는 것이다. 470M CTC 모델은 30B 음성 LLM의 구식 버전이 아니다. 그것은 주로 깨끗한 읽기 음성으로 구성된 벤치마크에서 우연히 비슷한 점수를 받는, 서로 다른 도구다. 다음 릴리스가 그것을 obsolete로 만들지는 않는다. 당신이 가진 가장 형편없는 녹음이 어느 쪽이 필요했는지 알려줄 것이다.