Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo: WER 1포인트 차이에 40배의 풋프린트

전사 작업이 3분짜리 모노 인터뷰 클립 폴더이고, 보유한 장비가 24GB 워크스테이션 카드라면, Nemotron 3.5 Transcribe와 Whisper Large v3 Turbo 사이의 비교는 정확도가 등장하기 전에 이미 결론이 난 셈입니다. NVIDIA의 새 모델은 80GB 가속기에서 검증된 340억 파라미터 규모의 음성 시스템입니다. OpenAI의 터보 변형은 8억 900만 파라미터 모델로, int8 가중치 기준 0.8GB에 들어가며 CPU에서 실행됩니다. 이 둘이 이번 주에 비교되는 이유는 오류율이 서로 약 1포인트 차이 안에 들어왔기 때문인데, 그건 이 조합에 관해 가장 유용하지 않은 사실입니다.

Nemotron 3.5 Transcribe는 2026-10-28에 OpenMDW-1.1 라이선스로 개방형 가중치(open weights) 형태로 출시되었으며, 이 라이선스는 상업적 사용을 허용합니다. Whisper Large v3 Turbo는 2024-10-01에 나온 MIT 라이선스 모델로, 이는 뉴스거리가 아니라 모든 새로운 음성 모델이 비교 기준으로 삼는 베이스라인입니다. 이 글에서 답하려는 질문은 어느 쪽 점수가 더 좋은가—두 업체 모두 당신이 그렇게 읽어주길 바라겠지만—가 아니라, 당신이 가진 오디오에서 어느 쪽을 실제로 실행할 수 있는지, 그리고 그 비용은 얼마인지입니다.

각 모델이 실제로 무엇인지

아키텍처 차이는 세대 격차가 아닙니다. 그것은 범주상의 차이이며, 거의 모든 다운스트림 트레이드오프를 설명해 줍니다.

• 아키텍처 — 음성 인코더와 고정된 99M 화자 분리 인코더를 결합한 하이브리드 Mamba–Transformer 전문가 혼합 LLM으로, 전체 약 34B에 토큰당 4.3B가 활성화되는 반면, large-v3에서 증류된 인코더–디코더는 디코더가 32개 레이어에서 4개로 축소되었습니다.

• 오디오 윈도 — 최대 1시간 길이의 녹음은 단일 패스로 처리되며, 그보다 긴 경우에는 고정된 30초 윈도와 청크 방식의 장시간 디코딩을 사용합니다.

• 화자 라벨 — 최대 8명의 화자를 13개 언어로 출력에 내장하며, 전혀 없는 경우와 대비됩니다. Whisper는 어휘에 화자 토큰이 없으므로 별도의 다이어라이저가 반드시 필요합니다.

• 단어 수준 타이밍 — 경량 CTC 어댑터가 완성된 전사본을 오디오에 정렬하며, 이는 세그먼트 수준 타임스탬프 토큰만 사용하는 방식과 대조되고, 단어 타이밍에는 강제 정렬이 필요합니다.

• 언어 지원 범위 — 40개 언어 전사, 31개 언어 영어로/영어에서 번역, 13개 언어 화자 식별 제공, 반면 99개 언어는 전사만 제공되고 번역은 없음.

• 디스크상의 가중치 — OpenMDW-1.1 기준 BF16에서 약 68GB이며, MIT 기준 fp16에서 1.6GB, int8에서 0.81GB와 대비됩니다.

정확도 수치는 서로 맞아떨어지지 않는데, 바로 그게 핵심이다.

Artificial Analysis는 두 모델이 동일한 척도에 나타나는 유일한 공개 지수를 운영하며, 그 수치들은 서로 일치하지 않기 때문에 주의 깊게 읽을 가치가 있습니다. 리더보드 표에서 Whisper Large v3 Turbo는 하나의 고속 추론 엔드포인트에서 AA-WER 4.6%, 두 번째 엔드포인트에서 5.5%로 표시됩니다. Nemotron 3.5 Transcribe는 호스팅 엔드포인트의 경우 3.4%로 표시됩니다. NVIDIA 자체의 발표에서는 AA-WER 2.80%를 인용하며 오픈 웨이트 모델 중 공동 1위라고 하는데, 같은 리더보드의 설명 문단은 2.8%를 반복하는 한편 표에는 3.4%가 실려 있습니다 — 누군가 벤더들을 비교하기 시작하기도 전에 단일 페이지 안에서 발생한 불일치입니다.

표를 액면 그대로 받아들이면 Nemotron 3.5 Transcribe가 대략 1.2점 더 낫습니다. 이제 Whisper Large v3 Turbo의 자체 두 항목이 동일한 모델에서 0.9점 차이 난다는 점을 보십시오. 이 두 시스템 사이의 겉으로 보이는 격차 대부분은 엔드포인트 구성 — 배칭, 디코딩 설정, 오디오 전처리 — 이지 아키텍처가 아닙니다. 단일 WER 차이를 결론으로 인용하는 사람은 호스트를 바꾸면 거의 같은 폭으로 달라지는 수치를 인용하는 것입니다.

Open ASR Leaderboard는 더 대단해 보이는 이야기를 들려줍니다. Whisper Large v3 Turbo의 영어 단문 평균은 이 리더보드에서 약 7.8%인 반면, NVIDIA는 연구 페이지에서 자사 모델이 아홉 개 테스트 세트에 걸쳐 4.71%를 기록한다고 보고하고, 함께 게시된 Hugging Face 게시물에서는 평균 영어 WER 5.33%를 보고합니다. 이는 정규화 방식이 다른 서로 다른 테스트 혼합이므로, 3포인트 격차는 기껏해야 방향성 수준입니다. 더 중요한 것은 존재하지 않는 것입니다. 바로 Whisper Large v3 Turbo와의 벤더 간 정면 비교입니다. NVIDIA는 자사 모델을 캐스케이드 화자 분리 시스템 및 다른 오픈 가중치 음성 모델과 비교할 뿐, 대부분의 팀이 오늘날 사용하는 turbo 체크포인트와는 비교하지 않습니다. 유통되는 모든 "Whisper를 앞선다" 수치는 벤치마크 전반에 걸친 추론이며, 우리 수치도 포함됩니다.

Whisper가 메울 수 없는 능력 격차

프롬프트 기반 출력은 제쳐두고, 실질적인 차이는 Nemotron 3.5 Transcribe가 한 번의 처리로 화자 귀속 전사를 생성한다는 점입니다. 화자 태그는 오디오 특징에 융합된 고정된 다이어리제이션 인코더에서 비롯되며, 응답에는 태그가 지정된 전사와 함께 원시 화자 세그먼트가 포함되고, 모델은 이를 <spk:0>부터 <spk:7>까지로 표시합니다. 두 사람이 진행하는 팟캐스트에서는 편의 기능입니다. 60분짜리 징계 청문회, 진료 방문, 다자간 세일즈 통화에서는 이것이 바로 제품입니다.

Whisper Large v3 Turbo는 화자를 전혀 표현할 수 없다. 훈련 전사문에는 화자 레이블이 포함된 적이 없고, 입력은 모노 16kHz로 다운믹스되어 살아남았을 수도 있었던 단 하나의 물리적 단서를 파괴한다. 여기에 레이블 생성을 요청하면 그럴듯해 보이지만 오디오에 근거가 전혀 없는 텍스트가 나온다. 표준적인 우회 방법은 WhisperX다: 단어 타이밍을 위한 강제 정렬과 별도로 호스팅되는 화자 분리 모델을 세그먼트 경계에서 결합하는 것이다. 이 방법은 작동하고 널리 배포되어 있지만, 움직이는 부품이 세 개인 반면 Nemotron 3.5 Transcribe는 하나다.

긴 오디오에도 같은 구조적 이점이 적용됩니다. 1시간을 한 번의 패스로 처리하는 것이 30초 윈도를 이어 붙이는 것보다 낫습니다. 그리고 윈도 이어 붙이기에는 알려진 실패 모드가 있습니다. 타임스탬프 토큰 없이 디코딩하면 거의 모든 경계에서 단어가 누락됩니다. 측정된 20분 분량 강연 하나에서는 그 방식으로 단어의 약 3%가 손실되었습니다. Nemotron 3.5 Transcribe의 CTC 어댑터는 바로 그런 종류의 오류를 피하기 위해 존재하지만, 초기 vLLM 지원에는 단어 타임스탬프가 포함되지 않았다는 점에 주의하세요.

이 모델이 겨냥해 개발된 과제들에서 NVIDIA가 보고한 수치는 강력하지만 벤더 자체 보고 수치다. David AI 화자 분리 벤치마크에서 21개 언어 전반에 걸쳐 18.26% DER로, 14개 시스템 중 최고로 기술되며, VoiceArena에서는 32.4% cpWER로 역시 14개 중 최고다. 프롬프트로 제공되는 문맥적 엔터티 목록은 ContextASR-Bench에서 개체명 오류를 6배 줄인 것으로 평가된다. 아직 이 중 어느 것도 독립적으로 재현된 바 없으며, 이 모든 것은 이제 막 하루 된 모델에 관한 주장이다.

Whisper Large v3 Turbo가 여전히 확실히 앞서는 부분

첫 번째 답은 언어 범위이며, 생각보다 지루하지 않습니다. Whisper Large v3 Turbo는 99개 언어를 지원합니다. Nemotron 3.5 Transcribe는 전사에 40개, 번역에 31개, 화자 귀속에 13개 언어를 지원합니다. 처리 대기열에 카자흐어, 타밀어, 스와힐리어 또는 웨일스어가 포함되어 있다면 비교는 여기서 끝납니다. 터보 모델은 해당 언어를 전사하지만, 더 새롭고 더 큰 모델은 그렇게 한다고 주장하지 않습니다.

두 번째 답은 배포 마찰입니다. Whisper Large v3 Turbo는 whisper.cpp, faster-whisper, MLX에서 CPU로, 노트북에서, Jetson에서 실행됩니다. Nemotron 3.5 Transcribe는 vLLM 0.32.0과 NeMo Speech 플러그인, 또는 SGLang-Omni 0.2.0을 요구하며, 80GB H100에서 BF16으로, L40S에서 FP8으로, 또는 RTX 5090에서 NVFP4로 실행되어야 합니다. 이는 비교 가능한 운영 부담이 아닙니다.

세 번째는 turbo의 가격이 공개된, 지루할 정도로 단순한 시간당 요율이라는 점입니다. 호스팅 엔드포인트는 최소 10초 과금으로 오디오 1시간당 약 $0.04를 청구하며, 빠른 엔드포인트에서는 대략 실시간의 250배 속도로 동작합니다. 오디오 1,000시간의 비용은 약 $40입니다. Nemotron 3.5 Transcribe는 전체 체크포인트에 대해 공개된 정가가 없으며, 이를 제공하는 호스팅 엔드포인트도 분당 요율을 공개하지 않습니다.

벤치마킹 중인 Nemotron 3.5가 어떤 버전인지 확인하세요.

이번 주 보도에서 가장 흔한 오류는 잘못된 모델을 비교하는 것입니다. 발표된 "Nemotron 3.5" 비교의 상당수는 실제로 nvidia/nemotron-3.5-asr-streaming-0.6b를 평가합니다. 이는 이전 릴리스의 0.6B 캐시 인식 스트리밍 모델로, 자체 수치와 자체 약점을 지닙니다. 표에서 80ms에서 1120ms까지의 청크를 언급한다면, 그것은 Nemotron 3.5 Transcribe를 테스트하는 것이 아닙니다. 이 점이 중요한 이유는 스트리밍 모델이 실제 비교에서 원시 정확도 면에서 Whisper Large v3 Turbo에 뒤지고(하나의 다국어 리더보드에서 3.35% 대 2.55%), 단어 정렬에서도 크게 뒤지는데, 여기서 논의하는 모델은 이와 다른 비스트리밍 34B 시스템이기 때문입니다.

두 번째 함정은 서빙입니다. 간편한 경로인 SGLang-Omni 0.2.0은 NeMo 없이도 작동하는 엔드포인트를 제공하지만, 타임스탬프, 화자 라벨, 번역은 제공하지 않습니다. 전체 경로인 NeMo Speech 플러그인이 포함된 vLLM 0.32.0은 이 세 가지를 모두 제공하지만, 단어 수준 타임스탬프는 첫 PR이 아니라 후속 작업으로 추가되었습니다. 따라서 "Nemotron 3.5 Transcribe"라는 세 가지 배포 레시피는 세 가지 서로 다른 제품처럼 동작할 수 있습니다. 화자 귀속이 전환하려는 이유라면, 엔지니어링 시간을 투입하기 전에 해당 경로를 검증하십시오.

운영하는 데 드는 비용, 솔직하게 말하면

호스팅 방식 비교는 거의 간단합니다. Whisper Large v3 Turbo는 오디오 1시간당 약 $0.04로 1,000시간당 약 $40이며, 직접 보유해야 할 하드웨어가 없습니다. Nemotron 3.5 Transcribe는 아직 그런 방식으로 판매되지 않으므로, 이를 원하는 팀은 청구서가 아니라 GPU 가격을 산정하는 셈입니다.

NVIDIA가 자체적으로 제시한 처리량 수치는 컴퓨팅 비용의 하한입니다. GPU 시간 1초당 오디오 2,238초, 즉 RTX PRO 6000 Blackwell에서 DFlash2 drafter와 NVFP4를 사용한 경우로, 약 100시간의 오디오를 3분 이내에 처리할 수 있다는 계산입니다. 온디맨드 기준 GPU 시간당 약 $2라면, 이는 오디오 시간당 1센트를 크게 밑도는 하한을 의미합니다 — 완전 배칭 기준이며, 실제 프로덕션 큐는 그렇게 동작하지 않습니다. 이는 하드웨어가 낼 수 있는 상한으로 보아야 하며, 실제로 달성하게 될 속도로 보아서는 안 됩니다.

즉, 실제 비교는 Whisper Large v3 Turbo와 Nemotron 3.5 Transcribe의 비교가 아니다. 실제 비교는 Nemotron 3.5 Transcribe와, Whisper Large v3 Turbo에 화자 분리 모델, 강제 정렬기, 세그먼트 병합 코드 및 이러한 연결 작업에 필요한 언어별 튜닝을 더한 파이프라인의 비교다. 이미 WhisperX를 프로덕션에서 운영하고 있다면 그 비용의 대부분을 이미 지불한 것이므로, 전환해야 할 이유는 WER 격차가 시사하는 것보다 약하다. 아직 구축하지 않았다면 30B 모델은 그렇지 않았다면 인력을 투입해야 했을 파이프라인과 경쟁하는 셈이다.

마이그레이션 중에 두 가지를 모두 운영하는 모든 분을 위한 실용적인 참고 사항: 두 개의 전사 백엔드를 하나의 OpenAI 호환 엔드포인트 뒤에 두는 것은 컷오버를 두 번째 공급업체 계약이 아니라 구성 변경으로 바꿔 줍니다. 그것이 바로 OrcaRouter가 제공하기 위해 존재하는 계층입니다 — 라우팅하는 공급자 전반에 걸쳐 하나의 키와 하나의 엔드포인트를 제공하며, 공급자 정가가 0% 마크업으로 그대로 전달되고 그들 사이에 자동 장애 조치가 이루어집니다. 이것은 어느 모델이 더 나은지를 바꾸지 않습니다. 바꾸는 것은 그것을 알아내는 데 드는 비용과 그것에 대해 틀렸을 때 드는 비용입니다.

누가 무엇을 골라야 할까요?

• 여러 화자와 감사 추적이 포함된 회의, 법률, 임상 또는 컨택트 센터 녹음 — Nemotron 3.5 Transcribe. 화자 귀속과 단어 타임스탬프를 한 번의 처리로 제공하는 것은 다른 방식이라면 직접 구축해야 했을 기능이며, 1시간 창은 청킹 로직을 완전히 없애 줍니다.

• 대용량 모노 오디오, 폭넓은 언어 지원, 노트북 또는 CPU 배포, 예측 가능한 시간당 과금 — Whisper Large v3 Turbo. 809M 파라미터와 시간당 $0.04라는 조건에서, 이는 실제 트래픽의 매우 큰 비중에 대해 가장 저렴한 정답이며, 2년간 실전에서 검증되었습니다.

• 혼합 워크로드 — 모든 작업에 turbo를 실행하고, 화자 구분, 전문 용어 목록 또는 번역이 필요한 오디오만 더 큰 모델로 라우팅하세요. 선택 기준은 모델의 명성이 아니라 오디오 속성입니다: 화자 수, 도메인 용어집 존재 여부, 녹음 길이.

이전하기 전에 물어볼 만한 질문들

Nemotron 3.5 Transcribe가 단일 24GB GPU에서 실행될 수 있나요?

편안하지는 않습니다. NVIDIA는 80GB H100에서 BF16을, L40S에서 FP8을, 그리고 32GB 카드인 RTX 5090에서 NVFP4 체크포인트를 검증했습니다. 24GB 디바이스는 모든 검증된 구성보다 낮으며, 오디오 타워는 모든 텐서 병렬 랭크에 복사되므로 멀티 GPU 샤딩으로도 작은 단일 카드를 구제할 수 없습니다.

Whisper Large v3 Turbo가 화자 라벨이나 번역을 지원하나요?

둘 다 아닙니다. turbo 변형은 전사만으로 학습되었기 때문에 번역 작업을 넘기면 사용할 수 없는 출력이 나옵니다 — 번역에는 전체 large-v3 체크포인트가 필요합니다. 화자 레이블에는 pyannote 같은 별도의 다이어라이저가 필요하며, 그 발화 구간을 Whisper의 대략적인 세그먼트 타임스탬프에 결합하는 것이 파이프라인에서 제대로 구현하는 데 가장 오래 걸리는 부분입니다.

파라미터 격차가 지연 시간으로 드러나나요?

오디오 1분당 기준은 아닙니다. 아닙니다. Whisper Large v3 Turbo는 빠른 호스팅 엔드포인트에서 30초 창을 1초보다 훨씬 짧은 시간에 반환하며, Nemotron 3.5 Transcribe는 NVIDIA가 GPU 초당 수천 오디오 초라고 설명하는 처리량으로 1시간 파일을 단일 패스로 처리합니다. 눈에 띄는 차이는 다른 곳에 있습니다. turbo에는 스트리밍 모드가 없고 Nemotron 3.5 Transcribe에도 없으므로, 실시간 캡션은 둘 다 범위 밖입니다.

비영어 오디오에는 어느 쪽이 더 좋나요?

어느 쪽 대답도 안전하지 않습니다. Whisper Large v3 Turbo는 99개 언어를 지원하지만 언어별로 품질 편차가 크고, Nemotron 3.5 Transcribe는 40개 언어를 지원하며 공급업체가 보고한 다국어 결과와 적응 레시피를 제공합니다. NVIDIA는 GPU 1개에서 몇 시간 미세 조정한 뒤 홀드아웃 의료 도메인의 WER이 22.44%에서 12.17%로 개선되었다고 보고합니다. 아직 독립적인 다국어 직접 비교가 없으므로, 영어 이외의 언어라면 자체 오디오로 블라인드 테스트를 하는 것이 책임 있는 조치입니다.

이 평결을 바꿀 수 있는 것은 무엇인가요

가능성이 높은 순서대로 세 가지입니다. vLLM의 전사 API에 단어 수준 타임스탬프가 도입되면 전체 서빙 경로가 기본이 되고, 세 가지 배포 레시피 간의 격차가 줄어들 것입니다. 양자화된 체크포인트가 폭넓게 배포되면 하드웨어 최소 요구 사항이 80GB 카드에서 소비자 기기 쪽으로 낮아질 것입니다. 그리고 Whisper Large v3 Turbo와의 진정으로 독립적인 다국어 직접 비교는 추론을 측정으로 대체할 것입니다.

그중 하나가 출시되기 전까지는, 결정은 WER 0.1포인트 차이에 가까운 문제가 아닙니다. 이는 여러분의 오디오에 관한 질문입니다. 오디오에 목소리가 둘 이상 있고, 어느 목소리가 무엇을 말했는지 알아야 한다면, Nemotron 3.5 Transcribe는 뒤에 파이프라인 없이 한 번의 처리로 이를 수행하는 최초의 오픈 모델입니다. 그렇지 않다면, 1년 전 출시된 809M 모델이 천 시간당 40달러로 여전히 그 일을 해내며, 34B 모델은 호스트를 바꿀 때마다 달라지는 수치를 위해 구입해야 하는 상당한 양의 하드웨어입니다.