Nemotron 3.5 Transcribe vs Muse Voice Transcribe: 하나는 회의를 처리하고, 다른 하나는 회의에 직접 참여한다

어떤 벤치마크보다도 먼저 이 비교를 결정하는 것은 두 개의 녹음입니다. 하나는 지금 진행 중인 통화로, 전사본이 대화 속도를 따라가야 하며 2초만 지연되어도 도구가 무용지물이 됩니다. 다른 하나는 지난 분기 고객 통화를 담은 2시간 분량의 아카이브로, 단어가 200밀리초에 도착하든 20분에 도착하든 누구도 신경 쓰지 않습니다. NVIDIA Nemotron 3.5 Transcribe는 2026년 10월 28일에 공개 가중치 오프라인 체크포인트로 출시되어 두 번째 녹음을 위해 설계되었습니다. Meta Muse Voice Transcribe는 2026년 9월 1일에 Meta Superintelligence Labs에서 출시되어 첫 번째 녹음을 위해 설계되었습니다. 대부분의 비교 페이지는 단어 오류율을 한 열에 넣고 끝내지만, 바로 그런 비교는 성립할 수 없는 비교입니다.

단어 오류율이 아닌 시계

Meta의 모델은 스트리밍 인식 계층이다. 80밀리초 단위의 오디오 청크를 소비하고 소프트 토큰을 내보내며, 강화학습으로 훈련된 "적응형 지연" 메커니즘을 사용해 텍스트로 확정하기 전에 얼마나 많은 문맥을 기다릴지 단어별로 결정한다. 보도된 Meta의 출시 자료에 따르면 음성 종료부터 최종 텍스트까지의 간격은 약 0.16초이며, 이 모델은 라이브 오디오용 WebSocket 또는 일회성 파일용 HTTP 엔드포인트를 통해 제공된다. 또한 엔드포인팅과 음성 활동 감지를 자체적으로 처리하므로 이를 둘러싼 파이프라인은 얇다.

NVIDIA의 모델은 정반대 형태입니다. 카드에는 분명히 적혀 있습니다. "이것은 오프라인 모델입니다"라는 문구와 함께, 내부 청킹이 이 모델을 스트리밍 서비스로 만들지는 않는다고 덧붙입니다. 최대 1시간 분량의 파일을 주면 전사본을 반환합니다. 부분 출력도, 중간 추정도, 말 끊기(barge-in)도 없습니다. NVIDIA는 라이브 오디오용으로 별도의 0.6B 스트리밍 인식기를 판매하는데, 이는 다른 체크포인트이지 이 모델의 모드가 아닙니다.

대표 수치들은 서로 다른 도구에서 측정된 것입니다. Meta는 단어 오류율 3.1%와 Artificial Analysis의 스트리밍 음성-투-텍스트 리더보드 1위를 보고합니다. NVIDIA의 카드에는 공개된 영어 Open ASR 세트 아홉 개 전반에서 평균 4.71%가 보고되어 있으며, Artificial Analysis의 비스트리밍 표에는 배포된 엔드포인트에 대해 3.4%가 나오고, 그 FAQ에는 같은 모델에 대해 2.8%라고 합니다. 이는 서로 다른 두 작업에 대한 세 가지 다른 측정입니다. 3.1%는 스트리밍 결과이고, 3.4%는 다른 오디오 분포에서의 배치 결과입니다. 이들을 빼면 아무 의미도 없는 0.3포인트의 ‘승리’가 만들어지며, 스트리밍 모델이 길고 잡음이 많고 억양이 있는 오디오에서 갖는 불리함은 실제이지만 그 산술에서는 보이지 않습니다.

스피커: 20여 개 대 8개

화자 분리 격차는 숫자들이 대략 같은 것을 측정하는 유일한 부분이며, 그 격차는 큽니다.

• 화자 수 상한 — Meta는 단일 녹음에서 20명 이상의 화자를 지원한다고 광고합니다. NVIDIA는 최대 8명이 섞인 혼합 데이터로 훈련하며, 모델 카드에는 추론 시 최대 화자 수가 명시되어 있지 않습니다.

• 겹침 — Meta 자체 페이지에서는 화자 분리가 "비중복 발화"에 적용된다고 명시합니다. NVIDIA의 아키텍처 전체의 논점은 겹치는 발화입니다. 고정된 화자 분리기의 화자 활성 정보가 인코더에 주입되어, 모델이 사람들이 서로 말을 겹쳐 하는 동안에도 단어를 해당 화자에게 귀속할 수 있습니다. 이것이 NVIDIA의 다중 화자 세트에서 평균 cpWER 15.80이라는 주장의 근거입니다.

• 레이블 언어 지원 범위 — Meta는 25개 이상의 언어를 지원합니다. NVIDIA는 전사용으로 40개 언어를 지원하지만 그중 13개 언어를 다중 화자 출력용으로 표시합니다. 터키어 회의는 전사되지만 레이블은 제공되지 않습니다.

• 레이블 형식 — Meta는 "A"와 같은 발화자 문자만 출력하고, NVIDIA는 화자 분리 세그먼트에 다시 매핑되는 <spk:0> 스타일 태그를 출력합니다.

사용 사례가 패널, 법정, 또는 세 명의 참가자가 동시에 겹쳐 말하는 지원 통화라면, 결정을 좌우하는 제약은 WER 열이 아니라 8명 화자 상한입니다. 사용 사례가 사람들이 대부분 순서대로 말하는 20명 규모의 전체 회의라면, 중요한 숫자는 Meta의 20+이며 NVIDIA의 8은 넘을 수 없는 벽입니다.

언어: 25 대 40, 그리고 두 숫자 모두 겉보기와 다르다

Meta 자체 개발자 페이지에는 "25개 이상 언어"라고 나와 있으며 문장 내 및 문장 간 코드 전환을 지원하는데, 이는 이중 언어 회의에서 중요합니다. 출시 관련 보도에서는 이 모델이 70개 이상 언어로 훈련되었고 그중 25개 언어가 광범위하게 검증되었다고 전했습니다. 이는 유용한 구분인데, "훈련"되었지만 검증되지 않은 언어는 신뢰하기 전에 테스트해 봐야 하는 언어이기 때문입니다. NVIDIA의 카드에는 ASR 지원 언어 40개, 영어로 및 영어에서의 양방향 번역 지원 언어 31개, 그리고 별도의 48개 레이블 언어-ID 구성 요소가 나열되어 있습니다.

• 유럽 지역 커버리지의 폭이 필요하다면 — Meta의 검증된 25개 언어는 NVIDIA의 40개보다 좁지만, Meta의 목록은 기업 고객이 실제로 녹음하는 언어 쪽에 더 치우쳐 있습니다.

• 번역이 필요한 경우 — 오직 NVIDIA만 이를 수행합니다. Meta의 모델은 전사만 하며, 전사 내용을 다른 언어로 번역하지 않습니다.

• 코드 스위칭이 필요하다면 — Meta는 이를 기본 지원한다고 주장하지만, NVIDIA의 자료에는 이에 필적하는 내용이 언급되지 않았고, NVIDIA의 오디오 이해는 전사 언어와 관계없이 영어만 지원합니다.

기록이 실제로 담고 있는 내용

타임스탬프는 겉보기에는 사소해 보이는 차이가 값비싼 차이로 바뀌는 지점입니다. Meta는 턴 수준 타임스탬프, 즉 세그먼트 경계를 제공하며 단어별 시간은 제공하지 않고, 신뢰도 점수는 전혀 공개하지 않습니다. NVIDIA는 CTC 어댑터를 통해 단어 타임스탬프를 제공하지만, DFlash2 투기적 디코딩 드래프트가 활성화되면 타임스탬프를 사용할 수 없다는 제약이 있습니다.

• 타임스탬프 — Meta는 턴 단위, NVIDIA는 단어 단위이지만 가장 빠른 디코드 경로와 함께 제공되지는 않음.

• 신뢰도 — Meta는 이를 공개하지 않으며, NVIDIA도 단어별 신뢰도를 공개하지 않습니다.

• 입력 형식 — Meta는 16 또는 24 kHz의 모노 16비트 PCM을 요구하며, 그 외의 형식은 ffmpeg로 변환하라고 안내합니다. NVIDIA는 16 kHz 모노를 허용하고 파일을 직접 처리합니다.

• 프롬프팅 — 두 방식 모두 출력에 편향을 준다. Meta의 키워드 및 언어 편향은 문서에 따르면 "모델을 살짝 넛지할 뿐 철자를 보장하지는 않는다". NVIDIA의 문맥적 프롬프팅은 세밀한 엔터티 목록을 사용하면 명명된 엔터티 WER이 12.21%에서 2.20%로 떨어진다고 보고한다 — 벤더가 직접 수행한 결과이긴 하지만 훨씬 더 강한 주장이며, 약한 넛지와는 다른 메커니즘을 함축한다.

• 출력 스타일 — NVIDIA의 다섯 가지 스타일(축어적, 서면형, 문맥 기반, 화자 귀속, 리치)은 지시에 따라 선택됩니다. Meta는 하나의 형식을 반환하며 후처리를 기대합니다.

오디오 시간당 가격

Meta는 1,000분당 $3.00을 청구하며, 이는 오디오 1시간당 $0.18이고, 공개된 티어나 무료 허용량은 없습니다. Artificial Analysis의 NVIDIA 호스팅 목록은 1,000분당 $2.00, 즉 1시간당 약 $0.12이며, 가중치는 OpenMDW-1.1에 따라 무료로 다운로드할 수 있으므로 셀프 호스팅은 Meta가 어떤 가격으로도 제공하지 않는 세 번째 옵션입니다.

대량 사용 시 계산은 간단하며, 더 저렴한 가격표에 유리하지 않습니다. 월 오디오 1,000시간의 비용은 Meta를 통하면 $180, 호스팅된 Nemotron 엔드포인트를 통하면 $120입니다. 셀프 호스팅의 경우 동일한 1,000시간은 NVIDIA가 주장하는 NVFP4 처리량 기준으로 RTX PRO 6000 Blackwell에서 1시간 미만의 GPU 시간입니다. 임대 GPU 요율로 계산하면 약 $2의 컴퓨팅 비용에 운영, 스토리지, 그리고 이를 담당하는 엔지니어 비용을 더한 정도입니다. 월 10,000시간이면 $1,800와 수백 달러 사이의 차액으로 운영 비용을 상당히 충당할 수 있지만, 월 100시간이면 그 차액으로 운영 비용을 전혀 충당하지 못합니다.

셀프 호스팅으로 실제로 얻는 것은 가격이 아니다. 그것은 계약상 네트워크를 벗어나는 것이 금지된 오디오로 전사 작업을 실행할 수 있는 능력과, 공급업체의 엔드포인트 성능이 저하될 때 파이프라인을 계속 유지할 수 있는 능력이다. 규제를 받는 팀들이 다른 경우라면 임대했을 GPU를 구매하는 이유가 바로 여기에 있다.

각각 어디서 망가지는가

Meta의 실패 모드는 지연 문제와 맞닿아 있습니다. 화자 분리는 겹치지 않는 발화를 가정하므로, 말이 끼어드는 열띤 고객 지원 통화에서는 발화 차례를 잘못 표시합니다. 전사문에는 단어 타임스탬프가 없어 자막 생성, 오디오 검색 및 비디오와의 다운스트림 정렬을 망가뜨립니다. 입력 계약은 엄격하며, 바이어싱은 권고 사항입니다. 번역, 오디오 질의응답, 자체 호스팅 옵션이 없습니다.

NVIDIA의 실패 모드는 워크플로와 맞닿아 있습니다. 스트리밍할 수 없어 실시간 자막, 음성 에이전트, 실시간 통화 라우팅을 제공할 수 없습니다. 오디오 이해는 영어만 지원합니다. 녹음당 최대 1시간으로 제한됩니다. 제공되는 SGLang-Omni 통합은 화자별 출력, 단어 타임스탬프, 번역을 생략하므로 카드가 약속하는 기능 중 일부는 vLLM 경로나 NIM 컨테이너가 필요합니다. 또한 때때로 종료되지 않을 수 있으며, 카드에서는 이에 대비할 것을 권장합니다.

두 실패 집합 중 어느 것도 다른 모델에 유리하게 작용하는 버그가 아니다. 그것들은 문제의 두 가지 형태다. 오디오가 발생하는 동안 함께 존재하는 모델, 그리고 오디오가 끝난 뒤 철저히 살피는 모델.

둘 다 필요하다면, 이 파이프라인은 타협이 아닙니다.

가장 흔한 실제 배포 방식은 선택 사항이 전혀 아니다. 라이브 오디오는 Meta의 스트리밍 엔드포인트를 거친다. 통화가 진행되는 동안 텍스트를 얻을 수 있는 유일한 방법이기 때문이다 — 캡션, 상담원 지원, 실시간 검색. 그런 다음 같은 녹음은 NVIDIA의 체크포인트가 야간에 오프라인으로 다시 전사한다. 배치 패스가 더 깨끗한 텍스트, 화자별 단어 타임스탬프, 필요 시 비영어 통화의 영어 번역을 생성하기 때문이다. 스트리밍 전사본은 현재를 위한 것이고, 배치 전사본은 기록을 위한 것이다. 하나의 모델을 두 역할 모두에 강제로 넣으려는 팀은 대개 지연되는 라이브 뷰나, 누구도 보고 있지 않은 오디오에 대한 비싼 스트리밍 비용 중 하나를 얻는다.

그 파이프라인의 후반부, 즉 통화 요약, 에이전트 성과 채점, 개인 데이터 비식별 처리, 플래그가 지정된 대화를 사람에게 라우팅하는 작업은 평범한 텍스트 작업이며 ASR과 같은 GPU에 있을 이유가 없습니다. OrcaRouter는 이러한 텍스트 호출을 단일 키 뒤에서 0% 마크업으로 실행합니다, 제공업체의 정가를 변경 없이 그대로 전달하며, 제공업체에 문제가 생기면 자동 장애 조치를 수행하고, 라우팅 DSL을 통해 하나의 워크플로 안에서 요약과 분류를 서로 다른 모델로 보낼 수 있습니다. Meta Muse Voice Transcribe도, NVIDIA Nemotron 3.5 Transcribe도 OrcaRouter의 카탈로그에 없습니다. 라우터는 텍스트 워크로드가 존재하는 지점인 트랜스크립트 이후에 위치합니다.

세 가지 질문이 어떤 리더보드보다 더 빠르게 결판을 냅니다. 오디오가 도착한 뒤 텍스트가 얼마나 빨리 존재해야 합니까? 답이 "통화 중"이라면 결정은 Meta의 몫이고 WER 논의는 장식일 뿐입니다. 동시에 몇 명이 말하며, 그들이 겹칩니까? 답이 "8명 이상, 그리고 예"라면 그것은 NVIDIA의 영역입니다. 그리고 오디오가 네트워크를 떠나도 됩니까? 답이 "아니오"라면 이 두 모델 중 하나만 배포할 수 있습니다.

나머지 — 3.1%, 4.71%, $0.18 —는 같은 회의의 서로 다른 순간을 위해 설계된 두 제품 사이의 승부를 가르는 요소입니다.