Nemotron 3.5 Transcribe vs Grok Voice Transcribe 2.0: 사용자 GPU에서 오픈 웨이트, 아니면 시간당 $0.20

Grok Voice Transcribe 2.0은 스트리밍하는 오디오 1시간마다 0.20달러, 배치 처리하는 1시간마다 0.10달러를 청구합니다. Nemotron 3.5 Transcribe는 시간당 요금을 청구하지 않는 대신, 약 340억 개 파라미터를 담을 수 있는 GPU를 직접 보유하라고 요구합니다. 그 문장만 읽으면 이 비교는 계량기와 기계의 가격 전쟁처럼 보이고, 계량기가 분명히 지는 것처럼 보입니다. 하지만 지지 않습니다. 두 모델이 모두 등장하는 유일한 벤치마크 보드에서 과금형 모델이 더 정확하며, 오픈 모델은 그 점을 따질 만큼 가깝지도 않습니다.

이 둘은 6주 간격으로 출시되었습니다 — Grok Voice Transcribe 2.0은 2026-09-18에, Nemotron 3.5 Transcribe는 2026-10-28에 — 그리고 서로 다른 용도로 만들어졌습니다. 하나는 사람이 아직 말하고 있는 동안 단어를 반환하는 WebSocket을 갖춘 호스팅 API입니다. 다른 하나는 다운로드하고 로드한 뒤 완료된 녹음에 적용하는 체크포인트입니다. 지연 시간, 언어 수, 화자 라벨, 비용 구조, 심지어 법적 약관까지 모두 그 단 하나의 차이에서 비롯되며, 그래서 흥미로운 질문은 어느 쪽이 전사를 더 잘하느냐가 아닙니다.

각각 무엇인지, 여섯 줄로

형태의 대비가 워낙 뚜렷해서 스펙 목록이 마치 범주 오류처럼 읽히는데, 바로 그게 핵심이다.

• 배포 방식 — xAI 자체 인프라에서 호스팅되는 REST 및 WebSocket API와, 사용자가 vLLM, SGLang-Omni 또는 NeMo Speech에서 직접 서빙하는 OpenMDW-1.1 라이선스의 공개 가중치.

• 크기 — xAI는 매개변수 수를 공개하지 않지만, 오디오 인코더를 포함해 총 34B, 활성 약 4.3B이며, Nemotron 3.5 Lightning 30B-A3B Mamba 및 Transformer mixture-of-experts 백본을 기반으로 합니다.

• 오디오 입력 — 최대 500MB의 파일을 12가지 컨테이너 형식과 3가지 원시 인코딩으로 지원하며, 멀티채널 모드를 통해 2~8채널을 처리할 수 있습니다. 이에 비해 65,536 토큰 컨텍스트 내에서 16kHz 모노 PCM으로 최대 1시간까지의 녹음을 처리합니다.

• 실시간 경로 — 대략 500ms마다 중간 결과를 제공하는 스트리밍, 기본 400ms로 설정되는 엔드포인팅, 스마트 턴 감지, 별도의 배치 엔드포인트를 갖춘 방식과, 전혀 스트리밍하지 않고 모델이 완료된 파일을 읽어 트랜스크립트를 반환하는 방식의 대비입니다.

• 언어 지원 범위 — xAI 문서에 명시된 37개 언어와 해당 문서에서 38개 이상이라고 설명된 언어 대비, NVIDIA 카드에서는 40개 언어가 전사되고 영어와의 번역 쌍이 31개입니다.

• 화자 레이블 — 모든 단어에 화자 정수를 부여하는 diarize 플래그로, 배치와 스트리밍에서 사용 가능한 방식과, 최대 8명의 화자 및 13개 언어를 한 번의 처리로 화자 속성이 반영된 전사 결과를 생성하는 융합형 화자 분리 인코더를 비교합니다.

• 가격 — 배치에서는 오디오 시간당 $0.10, 스트리밍에서는 오디오 시간당 $0.20이며, 공개된 시간당 요금이 없는 것과 대비됩니다. NVIDIA는 가중치를 판매하고 컴퓨팅은 사용자가 제공하기 때문입니다.

그들이 만나는 단 하나의 보드, 그리고 그것은 당신이 예상하는 방식으로 깨지지 않는다

Artificial Analysis는 음성-투-텍스트 리더보드를 두 개의 레인으로 운영한다. 완료된 파일을 위한 배치 레인과 부분 결과를 출력하는 모델을 위한 스트리밍 레인이다. Nemotron 3.5 Transcribe는 첫 번째 레인에만 해당된다. 그 레인에서 Grok Voice Transcribe 2.0은 AA-WER 2.3%로 약 60개 모델 중 5위에 올랐으며, NVIDIA의 모델은 출시 자료에서 2.80%로 제시되고 출시 후 며칠간 라이브 표에서는 3.4%로 나타난다. 2.8%라 하든 3.4%라 하든, 어느 쪽이든 호스팅 모델이 두 모델이 공유하는 유일한 척도에서 0.5포인트에서 1포인트 사이의 차이로 이긴다.

그 결과는 언뜻 보이는 것보다 피해가 작은데, 두 모델이 같은 이유로 이 비교표에 올라 있지 않기 때문이다. NVIDIA의 주장은 Nemotron 3.5 Transcribe가 최고의 오픈 가중치 음성 모델이라는 것이며, 그 좁은 비교표에서는 실제로 그렇다. 이 모델이 앞서는 비교 대상은 다른 다운로드 가능 체크포인트들이고, 그 안에서는 2.8%가 넘어야 할 수치다. Grok Voice Transcribe 2.0은 독점 모델로 다른 영역에서 경쟁한다. 두 모델을 서로 맞대어 인용하면 "호스팅 모델이 오픈 모델을 0.5점 차로 앞선다"는 헤드라인이 나오지만, 그것은 제품 결정이 아니라 벤치마크 구성비를 측정한 것일 뿐이다.

스트리밍 부문에서는 비대칭이 통계적이라기보다 구조적인 것이 된다. Grok Voice Transcribe 2.0은 최종 WER 2.7%로 스트리밍 1위 자리를 차지하며, 발화 종료 후 0.49초에 출력되고, 동일한 지연 시간에서 첫 부분 결과 3.4%를 기록해 약 서른두 개 스트리밍 모델 중 1위다. Nemotron 3.5 Transcribe는 스트리밍할 수 없어 항목이 없다. 이는 파일 입력, 전사 출력 모델이며, 청크 스트리밍 경로가 문서화되어 있지 않다. 라이브 캡션 배포를 계획하면서 두 모델의 정확도를 비교하는 사람은 자신이 사용할 수 없는 모델을 비교하는 것이다.

두 보드 모두 반복해서 언급할 가치가 있는 경고 문구를 담고 있다. AA-WER은 같은 모델이라도 서로 다른 서빙 엔드포인트에 따라 거의 1점 가까이 움직이므로, 위의 0.5점 차이는 대략 측정 노이즈의 폭과 맞먹는다 — 방향성은 실제지만 판단으로서는 약하다. 그리고 xAI 자체의 6.8% 다국어 짧은 구문 수치는 버전 1.0의 20.6%에서 하락한 것으로, 공개된 코퍼스가 아니라 프로덕션 트래픽으로 구축한 내부 세트에서 나온 것이다. 이는 벤더 세트에 관한 벤더의 주장이며, Artificial Analysis에는 전혀 나타나지 않는다.

스트리밍은 오픈 모델이 넘을 수 없는 선이다

콜센터 상담원, 실시간 캡션, 회의 어시스턴트 또는 음성 봇의 경우 결정은 정확도를 고려하기 전에 이미 내려집니다. Grok Voice Transcribe 2.0은 WebSocket을 통해 원시 바이너리 오디오 프레임(pcm, mulaw, alaw 또는 opus)을 받아들이고, 초당 약 두 번 중간 결과를 반환하며, 엔드포인팅과 스마트 턴 감지를 통해 발화 종료 신호를 제공합니다. 이것이 녹취록이 실시간처럼 느껴지게 만드는 원리이며, Atlassian의 Loom이 출시 당시 자사 비디오 라이브러리를 이 모델로 옮긴 이유이기도 합니다.

Nemotron 3.5 Transcribe는 설계상 정반대의 형태를 지닙니다. 한 번의 처리로 최대 1시간 분량의 오디오를 읽고 완전한 대본을 반환하며, 단어 타임스탬프는 생성 중이 아니라 생성 후에 경량 CTC 어댑터가 만들어냅니다. 이 설계는 길고 지저분한 녹음에서 정확도를 얻는 대신, 짧고 상호작용적인 모든 작업에서 지연이라는 비용을 치릅니다. NVIDIA에는 제품 라인에 별도의, 훨씬 더 작은 스트리밍 음성 인식기인 Nemotron Speech Streaming EN 0.6B가 있지만, 이는 지원 범위가 다른 별개의 모델이지 이 체크포인트의 스트리밍 모드가 아닙니다. 나중에 스트리밍을 붙일 생각으로 30B 모델을 구매하는 것은 잘못된 것을 두 번 사는 셈입니다.

마흔 개 언어 대 서른일곱 개, 그리고 움직인 숫자

표면상으로는 격차가 세 언어입니다. 실제로는 어느 페이지를 읽느냐에 달려 있습니다. xAI의 음성-텍스트 변환 문서에는 아랍어와 보스니아어부터 우르두어와 베트남어까지 37개의 명명된 언어가 나열되어 있으며, 스페인어, 포르투갈어, 아랍어에는 지역 변형이 있고, 총계는 38개 이상이라고 설명합니다. 9월 출시 무렵 발표된 지원 범위는 25개라고 했습니다. 문서가 더 최신이자 더 구체적인 출처이지만, 출시 게시물과 문서 페이지 사이에 13개나 달라지는 언어 수는 그대로 받아들이기보다 자체 오디오와 대조해 검증해야 할 수치입니다.

NVIDIA의 카드는 더 세분화되어 있고, 이번에는 더 보수적입니다. 언어별 체크 표시 표가 있는 40개 언어이며, 그중 13개는 다중 화자 전사용으로 표시되어 있습니다. 화자 귀속에 중요한 언어는 40개보다 좁은 집합입니다. 아랍어, 중국어(만다린), 영어, 프랑스어, 독일어, 힌디어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어, 태국어입니다. 아카이브가 폴란드어나 터키어라면 Nemotron 3.5 Transcribe가 이를 잘 전사하겠지만 누가 무엇을 말했는지는 알려주지 않을 것입니다. 그게 아마 구매하려던 기능이었을 겁니다.

여기서 번역은 Nemotron 전용 칼럼입니다. 이 모델은 전사와 동일한 패스에서 31개 쌍을 영어로 및 영어에서 번역하며, Grok Voice Transcribe 2.0은 이를 제공하지 않습니다. xAI의 API는 말한 언어로 텍스트를 반환합니다. 작업이 이중 언어 회의록이라면, 이는 Grok 쪽의 어떤 프롬프트 엔지니어링으로도 재현할 수 없는 기능입니다.

화자 레이블: 불리언 기준과 비교한 융합 인코더

이것은 두 제품이 마케팅이 암시하는 것보다 서로 더 가까운 유일한 측면이며, 솔직한 답은 둘 다 그렇게 한다는 것이다.

• Nemotron 3.5 Transcribe — 프로즌 상태의 Nemotron 3 Diarization 모델이 화자 활동 표현을 ASR 인코더에 공급하므로, 언어 모델이 입력의 일부로 누가 말하고 있는지 알 수 있습니다. 출력에는 최대 8명의 화자 태그와 원시 세그먼트, 그리고 단어 수준 타임스탬프가 포함됩니다. 중간에 별도의 서비스 없이 단 한 번의 패스로 처리됩니다.

• Grok Voice Transcribe 2.0 — diarize=true로 설정하면 배치와 스트리밍 모두에서 모든 단어가 정수 화자 필드와 함께 반환됩니다. 멀티채널 모드는 한 단계 더 나아갑니다. 최대 8개 채널을 독립적으로 전사하고 채널 인덱스와 함께 반환하므로, 소스가 믹싱된 녹음이 아니라 멀티채널 녹음일 때 정확한 귀속이 가능합니다.

실질적인 차이는 존재 여부가 아니라 지원 범위입니다. Grok의 플래그는 API가 지원하는 언어 전반에서 작동하지만, NVIDIA의 융합 경로는 13개 언어용으로 훈련되었습니다. 그리고 멀티채널은 적용되는 환경에서 확실한 이점입니다. 좌석마다 마이크가 하나씩 있는 회의실에서는 화자 분리기가 추측할 필요가 없습니다. 그러나 컨퍼런스 현장에서 나온 혼합 모노 파일은 화자 분리기가 필요하며, 그 경우 융합 인코더와 호스티드 플래그 사이의 품질 격차는 오직 여러분의 오디오로만 판가름할 수 있습니다.

월 1,000시간 기준의 산수

가격은 두 모델이 실제로 갈라지는 지점이며, GPU 비용에 관한 경험담을 주고받기보다 직접 계산해 보는 것이 좋습니다.

월 1,000 오디오 시간 기준으로 Grok Voice Transcribe 2.0은 배치 모드에서 100달러, 스트리밍에서 200달러입니다. 연간으로는 1,200달러 또는 2,400달러이며, 하드웨어도, 유지보수 시간도, 콜드 스타트도 필요 없습니다. Nemotron 3.5 Transcribe의 비용은 GPU 비용에 따라 달라집니다. NVIDIA 연구 페이지는 DFlash2 드래프트 모델과 함께 사용하는 NVFP4 체크포인트가 단일 RTX PRO 6000 Blackwell에서 초당 2,238초 분량의 오디오를 전사한다고 주장합니다. 이는 심지어 한 차수(10배) 낮춰 잡아도 1,000시간의 오디오를 월 몇 GPU 시간 안에 처리할 수 있다는 뜻입니다. 제약은 컴퓨팅이 아니라 소유입니다.

• 스트리밍 요율 대비 손익분기점 — $8,000 워크스테이션 카드는 1,000 스트리밍 시간 기준 40개월 후, 배치 요율 기준으로는 80개월 후에 비용을 회수합니다.

• 월 10,000시간 기준 — 동일한 카드는 스트리밍 대비 4개월 만에 손익분기점에 도달하며, 시간당 요금은 약 2센트로 떨어집니다.

• 클라우드 GPU 대여 — 시간당 약 2달러의 H100은 공급업체가 주장하는 처리량이 명시된 수치의 극히 일부에서만 성립하더라도 두 모델의 정가를 능가합니다. 고정 비용은 엔지니어링 시간, 스토리지, 그리고 이제 모델 서버를 운영한다는 사실이 됩니다.

따라서 손익분기점은 전혀 전사 정확도에 관한 것이 아니다. 그것은 처리량과 오디오가 네트워크를 벗어나도 되는지 여부에 관한 것이다. 월 수천 시간 미만이라면 호스팅 요금이 엔지니어링 비용보다 저렴하다. 그 이상이거나 규정 준수 장벽이 있으면 모델 가중치가 이기고 비교 결과는 뒤집힌다.

OrcaRouter가 적합한 경우와 그렇지 않은 경우

이 트랜스크라이버 중 어느 것도 현재 OrcaRouter의 카탈로그에 없습니다. 우리가 제공하는 모델은 텍스트 및 비전 모델이며, 여기 어떤 내용도 둘 중 어느 하나를 위한 엔드포인트로 해석되어서는 안 됩니다. 트랜스크립션 파이프라인이 실제로 생성하는 것은 이후 요약, 엔티티 추출, 민감 정보 삭제, 분류 및 검색이 필요한 방대한 텍스트 덩어리입니다. 그 호출들이 바로 200개 이상의 모델 전반에 걸친 단일 OpenAI 호환 키가 진가를 발휘합니다: 공급업체 정가를 0% 마크업으로 그대로 전달하므로 공급업체의 가격 인하가 당일 반영되고, 하나의 업스트림이 성능 저하될 때 자동 페일오버가 이루어지며, 그리고 값싼 분류 작업은 소형 모델로 보내면서 값비싼 요약은 프런티어 모델에 유지할 수 있는 라우팅 DSL을 제공합니다. Nemotron 3.5 Transcribe를 셀프 호스팅한다면 GPU가 곧 트랜스크라이버이며, 라우팅은 트랜스크립트 이후에 이루어지는 일입니다.

어느 걸 고를까?

이 결정은 모델 카드가 아니라 오디오의 클럭에 관한 것입니다.

• 라이브 오디오, 음성 에이전트, 자막, 콜 라우팅 — 고민할 필요 없이 Grok Voice Transcribe 2.0입니다. 스트리밍은 네이티브로 지원되고, 최종 전사본까지 지연 시간은 0.5초 미만이며, 배치 엔드포인트도 야간 백필에 동일한 모델을 사용합니다.

• 여러 화자가 포함된 완성된 녹음, 영어 이외 언어 — Nemotron 3.5 Transcribe는 GPU를 갖추고 있고 13개 언어 화자 경로가 해당 오디오를 지원한다면 사용할 수 있습니다. 이는 이 모델이 염두에 두고 개발된 사례이며, 40개 언어와 단일 패스 화자 분리가 0.5포인트의 정확도 격차를 앞서는 경우입니다.

• 이중 언어 아카이브 — Nemotron 3.5 Transcribe, 번역 쌍이 동일한 처리 과정 안에서 함께 제공되며 Grok은 번역하지 않기 때문입니다.

• 사용량이 적고 GPU가 없으며 영어만 필요하다면 — Grok Voice Transcribe 2.0을 배치 모드로 시간당 $0.10에 사용하세요. 1,000시간이면 100달러입니다. 그 비용을 아끼려고 Blackwell 카드를 사는 데 드는 돈은 어떤 오픈 웨이트 라이선스의 자유로도 만회할 수 없습니다.

매혹적인 네 번째 답 — Nemotron을 지금 배포하고 스트리밍은 나중에 추가하는 것 — 은 존재하지 않는다. NVIDIA가 출시한 모델은 의도적으로 오프라인이며, 함께 판매하는 스트리밍 제품군은 이 모델의 한 모드가 아니라 0.6B 영어 인식기다. 먼저 필요한 형태를 선택하라. 리더보드 논쟁은 기다릴 수 있다. 왜냐하면 AA-WER 0.5점은 같은 모델이 호스트를 바꿀 때 움직이는 변동 범위 안에 넉넉히 들어오기 때문이다.