Nemotron 3.5 Transcribe vs NVIDIA Parakeet TDT 0.6B: 626,000회 다운로드된 현역이 대체 모델을 만나다

Hugging Face에서 626,000건 이상의 다운로드를 기록한 것은 NVIDIA Parakeet TDT 0.6B입니다. 이 모델은 2025년 8월 등장 이후 기본 자체 호스팅 영어 인식기로 자리 잡아 온 6억 파라미터 트랜스듀서입니다. 이 다운로드 중 거의 전부가 이 모델을 단독으로 실행하는 것은 아닙니다. 표준 배포 방식은 단어 인식을 위한 Parakeet, 화자 분리를 위한 별도의 다이어라이저, 그리고 두 출력을 세그먼트 경계에서 이어 붙이는 병합 단계로 구성됩니다. Nemotron 3.5 Transcribe는 2026년 10월 28일 공개 가중치로 발표된 NVIDIA의 제안으로, 그 중간 계층을 없애려는 것입니다. 캐스케이드 없이 40개 언어에서 최대 8명의 화자를 전사·분리하고 타임스탬프를 부여하는 단일 체크포인트입니다. 또한 GPU 초당 처리량 기준으로 43배 느리고 디스크상 크기는 약 25배 더 크며, 이는 발표 자료가 앞세우지 않는 부분입니다.

이 매치업에서 흥미로운 점은 두 모델이 같은 회사에 속한다는 것입니다. 이는 도전자가 외부에서 들어와 현직 제품을 밀어내는 것이 아니라, NVIDIA가 첫 번째 제품이 애초에 수행하도록 만들어지지 않았던 작업의 절반을 위해 두 번째, 훨씬 더 무거운 제품을 판매하는 것입니다.

두 아키텍처, 직무에 대한 두 가지 이론

Parakeet TDT 0.6B v3는 FastConformer 인코더에 토큰 및 지속 시간 트랜스듀서 디코더를 연결한 모델입니다. TDT 모델은 각 단계에서 토큰과 지속 시간을 모두 예측하므로 프레임을 건너뛰고 실시간보다 훨씬 빠르게 실행할 수 있습니다. 이것이 이 모델이 빠른 이유 전체입니다. 자동 언어 감지로 25개 유럽 언어를 지원하고, 네이티브 단어 수준 타임스탬프를 제공하며, CC-BY-4.0으로 배포되는데 이는 라이선스가 가질 수 있는 거의 가장 제한 없는 수준입니다. 화자 표현은 전혀 없습니다. 약한 표현도, 아무것도 없습니다.

Nemotron 3.5 Transcribe는 음성 증강 언어 모델입니다. 음성 인코더, Parallel Expert Encoder를 통해 화자 활동 특징을 주입하는 동결된 Nemotron 3 Diarization 모델, 그리고 토큰당 300억 개 파라미터 중 약 40억 개가 활성화되는 하이브리드 Mamba–Transformer mixture-of-experts 디코더로 구성됩니다. 이 모델은 프레임을 분류하지 않습니다. 텍스트를 생성하며, 이 때문에 생성 방식을 지시받을 수 있습니다.

• 파라미터 — 총 약 30B, 토큰당 약 4B 활성 대 600M.

• 디코딩 — 자기회귀 생성 대 비자기회귀 방식인 토큰-지속시간 트랜스듀서.

• 라이선스 — OpenMDW-1.1 vs CC-BY-4.0.

• 언어 — 40개 언어 전사, 31개 언어는 영어로/영어에서 번역, 자동 감지되는 25개 유럽 언어와 비교.

• 화자 — 최대 8명, 화자 구분, 13개 언어 지원 vs 없음.

• 타임스탬프 — 디코딩 후 CTC 정렬, 화자 귀속 vs 네이티브 단어 수준 타이밍.

• 처리량 — Open ASR 리더보드에서 RTFx 462 대 RTFx 3,333.

• 오디오 길이 및 스트리밍 — 파일당 1시간, 녹음 전용 vs 녹음, 0.6B 스트리밍 자매 모델이 라이브 오디오를 별도로 처리.

정확도 수치는 누가 호스팅하는지에 따라 달라집니다.

Hugging Face Open ASR Leaderboard의 영어 단문 평균에서 Parakeet TDT 0.6B v3는 6.34%, Nemotron 3.5 Transcribe는 5.33%를 기록했습니다. 이는 동일한 공개 리더보드에서 1%포인트 차이로, 이 시리즈의 대부분의 비교보다 더 신뢰할 만한 비교입니다 — 동일한 평가 하네스, 동일한 테스트 세트, 두 공급업체가 직접 제출한 결과입니다. 그래도 전체 이야기는 아닙니다. 두 항목의 채점 시점이 달랐고 리더보드의 평균은 깨끗한 낭독 음성에 의해 주도되기 때문입니다.

Artificial Analysis는 매우 다른 이야기를 들려주며, 그 이유를 이해할 가치가 있습니다. 그 보드에서 Parakeet 항목은 4.5%에 위치해 있어 Open ASR 평균이 시사하는 것보다 훨씬 앞서 있고, Nemotron 3.5 Transcribe는 3.4%에 있습니다. 4.5%는 자체 하드웨어의 체크포인트가 아니라 호스팅된 엔드포인트의 구성에 속하며, 배포자의 배치 처리 및 디코딩 선택에 따라 그 수치는 거의 1포인트 가까이 움직입니다. 호스팅된 Parakeet 점수를 자체 호스팅 점수와 비교하는 것은 이번 주 보도에서 가장 흔한 오류입니다. 그리고 이는 반대 방향으로도 적용됩니다. NVIDIA가 Nemotron에 대해 내세운 2.8%의 출시 주장은 제출 수치이며, 보드의 현재 3.4%가 측정값입니다.

독립적인 인간 검토 결과는 여전히 더 좁습니다. Perit의 영어 세트에서 Parakeet TDT 0.6B v3는 WER 2.13%, 22개 중 14위를 기록하며 클립의 54%를 완벽하게 전사했습니다. GPT Transcribe와 MAI Transcribe 2는 1.76%로 6위와 7위에 올랐습니다. Nemotron 3.5 Transcribe의 30B 체크포인트는 그 순위표에 전혀 없습니다. 그 순위표에 있는 nemotron-3.5-asr-streaming-0.6b 모델은 3.35%, 21위를 기록합니다 — 다른 작업을 위한 다른 모델이며, 이 기사에서 다루는 모델과 자주 혼동됩니다.

치환이 실제로 삭제하는 대상

오늘날 Parakeet 사용자들이 돌리는 캐스케이드는 세 부분과 세 가지 실패 모드를 가지고 있습니다. 인식기는 단어 타임스탬프가 붙은 텍스트를 생성합니다. 화자 분리기는 화자 턴을 생성합니다. 병합 단계는 턴을 단어에 할당하는데, 그 방식이 정확히 문제가 되는 지점 — 두 사람이 동시에 말할 때 — 에서 잘못되는 중첩 기반 추론법을 사용합니다. 단일 모델 대체안에 대해 NVIDIA가 직접 보고한 수치는 바로 그 실패를 겨냥합니다. David AI 벤치마크에서 21개 언어에 걸쳐 18.26%의 화자 분리 오류율로 14개 시스템 중 최고, VoiceArena에서 32.4%의 연결 최소 순열 WER로 14개 중 최고(2위는 Multitalker Parakeet + Nemotron 3 Diarization 캐스케이드로 34.2%), 그리고 중첩된 영어 발화에서 참조 단어의 8.32%가 누락되어 중앙값 약 31%와 대비되었습니다.

그것들은 벤더가 제공한 하네스에서 나온 벤더 수치이며 독립적으로 재현된 적이 없습니다. 하지만 2위가 무엇인지 주목하십시오. 바로 이 비교의 제목에 나오는 모델로 구성된 NVIDIA 자체의 캐스케이드입니다. 이 회사는 신제품이 자사 구제품과 화자 분리기를 합친 것보다 뛰어나다는 벤치마크를 공개하고 있습니다. 이는 이례적으로 직접적인 증거이며, 동시에 벤더가 가장 잘 생산할 수 있는 위치에 있고 결과가 반대였다면 가장 공개하지 않았을 법한 종류의 증거이기도 합니다.

대체 모델이 두 번째로 없애는 것은 언어 처리입니다. Parakeet은 25개 유럽 언어를 지원하고, Nemotron은 전사에 40개 언어, 영어로 또는 영어에서의 번역에 31개 언어를 지원하며, 13개 언어에서는 화자 귀속 기능을 제공합니다. 작업 대기열이 EU에서 끝난다면 그 차이는 이론에 불과합니다. 아랍어, 중국어(만다린), 힌디어, 일본어가 포함된다면 Parakeet은 애초에 선택지가 아니었고, 비교는 Nemotron과 전혀 다른 무언가 사이의 것이 됩니다.

이것을 교체하는 데 드는 비용

먼저 처리량입니다. Parakeet의 3,333 RTFx는 Nemotron의 462와 동일한 리더보드 하네스에서 7.2배 차이입니다. 이는 매개변수 비율이 암시하는 것보다 작은 격차입니다. MoE가 토큰당 300억 개 가중치 중 약 40억 개만 활성화하기 때문이지만, 여전히 실질적인 차이입니다. NVIDIA의 더 대담한 주장, 즉 RTX PRO 6000 Blackwell 한 장에서 초당 최대 2,238초 분량의 오디오를 처리한다는 주장은 NVFP4 체크포인트와 DFlash2 드래프트 모델을 가정한 것이며, 높은 동시 처리 환경에서 30초 클립으로 측정한 것입니다. 어느 수치도 틀리지 않았습니다. 서로 다른 구성을 측정한 것이며, 더 큰 수치를 토대로 수립한 용량 계획은 한 시간짜리 회의에서 기대에 부응하지 못할 것입니다.

풋프린트, 두 번째입니다. Parakeet TDT 0.6B는 몇 기가바이트면 들어가고 중급 GPU에서 쾌적하게 실행되며, 양자화 빌드는 CPU에서도 실행됩니다. Nemotron 3.5 Transcribe는 BF16에서 수십 기가바이트이고, 데이터센터 가속기에서 NeMo Speech 플러그인을 사용하는 vLLM이나 SGLang-Omni를 요구합니다. 같은 하드웨어에서 30B 모델이 0.6B 모델을 대체하는 그런 버전은 없습니다.

성숙도, 세 번째. Parakeet은 1년간의 배포 실적, 수천 개의 포럼 답변, 그리고 NeMo, Transformers 및 C++ 런타임에서 작동하는 툴체인을 갖추고 있습니다. Nemotron 3.5 Transcribe는 이제 겨우 하루입니다. GGUF 및 NeMo-Speech.cpp 지원은 곧 제공될 예정이라고 설명되어 있으며, 양자화된 로컬 빌드는 아직 출시되지 않았습니다. 파이프라인이 지루할 정도로 안정적이어야 한다면, 그것은 이 모델을 거부할 이유가 아니라 한 분기 정도 기다릴 이유입니다.

기존 업체가 여전히 완승하는 곳

우선, 상호작용이 필요한 경우부터 보죠. Parakeet의 transducer 디코딩은 오디오가 들어오는 대로 단어를 반환하며, 자체 타임스탬프는 사후 정렬 단계가 아니라 디코더의 속성입니다. Nemotron 3.5 Transcribe는 녹음된 오디오를 위해 명시적으로 설계되었습니다 — NVIDIA 자체의 Hugging Face 게시물에서 그렇게 밝히고 있습니다 — 그리고 라이브 세션을 위한 별도의 0.6B 스트리밍 모델이 있습니다. 제품이 실시간 자막이라면, 이 헤드라인에 나온 모델 중 어느 것도 정답이 아닙니다; 스트리밍 형제 모델이 정답이며, 그것은 다른 비교입니다.

소규모 온프레미스라면 두 사례만 보면 된다. 워크스테이션용 GPU 한 장을 갖춘 진료소, 아카이브와 컴플라이언스 담당자를 둔 법무법인, GPU 한 대를 지원받은 연구팀: 0.6B의 Parakeet은 현실적인 배포이지만 30B의 Nemotron은 아니다. 깨끗한 영어에서 약 1점 차이 나는 정확도는 하드웨어 비용을 정당화하지 못한다.

영어 전용이고 화자 요구 사항이 없는 작업은 세 가지입니다. 그중 대부분은 전사 작업이죠. 솔직히 요약하면 Parakeet의 626,000회 다운로드 중 대부분은 이번 업그레이드로 개선되지 않는 작업을 위한 것입니다.

파이프라인의 절반이 자체 하드웨어일 때 파이프라인을 계속 가동하기

인식기를 자체 호스팅하면 관리형 API에는 없는 실패 모드가 생깁니다. 바로 여러분의 그래픽 카드, 여러분의 드라이버, 여러분의 유지보수 시간대입니다. 바로 이것이 파이프라인의 나머지 절반 — 전사록을 구조화된 레코드로 바꾸는 요약기, 분류기, 추출기 — 을 이중화가 내장된 엔드포인트에 두어야 한다는 주장의 근거입니다. OrcaRouter는 하나의 키 뒤에서 200개 이상의 텍스트 및 멀티모달 모델을 실행합니다, 자동 페일오버를 통해 업스트림이 저하되면 제공자 전반에서 전환되며, 제공자 목록 가격을 0% 마크업으로 그대로 전달하고, 라우팅 DSL을 통해 통합을 중복하지 않고도 회의록과 통화 메모를 서로 다른 모델로 보낼 수 있습니다. Nemotron 3.5 Transcribe와 Parakeet TDT 0.6B는 둘 다 그 카탈로그 밖에 있습니다 — 우리는 음성-텍스트 변환을 제공하지 않습니다 — 하지만 그 출력을 읽는 계층은 GPU 하나가 고장 난다고 해서 실패할 필요는 없습니다.

업그레이드 결정

파이프라인이 문제라면 Parakeet을 Nemotron 3.5 Transcribe로 교체하세요. 화자 분리기(diarizer)와 병합 단계를 유지 관리하고 있다면, 회의에 세 명 이상의 목소리가 등장한다면, 오디오가 유럽권 언어가 아니라면, 또는 지원 티켓에 "겹치는 발화(overlapping speech)"라는 단어가 나타난다면 말입니다. 그렇다면 30B 체크포인트는 과분한 선택이 아니라, 움직이는 부품 두 개와 그에 따르는 오류 예산을 없애는 일이며, 처리량 비용은 그저 처리량 비용일 뿐입니다. 회의가 많은 팀이 만들어낼 수 있는 양보다 한 장의 카드가 여전히 처리하는 오디오가 훨씬 많으니까요.

오디오가 영어 또는 유럽 언어이고, 화자가 알려져 있거나 중요하지 않으며, 하드웨어가 워크스테이션이고, 파이프라인이 제대로 작동한다면 Parakeet을 유지하세요. 새 모델이 구 모델을 쓸모없게 만드는 것은 아닙니다. 새 모델은 구 모델이 애초에 설계되지 않았던 사례를 다룹니다. 그리고 독립적인 평가 게시판을 계속 주시하세요. 이 글에서 화자 분리(diarization)에 관해 Nemotron 3.5 Transcribe에 유리한 모든 수치는 NVIDIA 자체 수치이며, 제3자 의견은 아직 발표되지 않았습니다.