Grok Voice Transcribe 2.0 vs Granite Speech 5.0 470M TurboCTC: 12,600배 실시간이 0.5초를 만나다

Granite Speech 5.0 470M TurboCTC는 단일 H200에서 매초 약 3.5시간 분량의 오디오를 전사하며, Grok Voice Transcribe 2.0은 말을 멈춘 뒤 0.49초 만에 첫 부분 전사 결과를 반환합니다. 이 두 수치는 마치 같은 종류의 측정값인 것처럼 비교 게시물에서 나란히 놓이지만, 결코 같은 종류의 측정값이 아닙니다 — 하나는 지연 시간이 전혀 붙지 않은 배치 데이터센터 처리량 수치이고, 다른 하나는 처리량을 아무도 공개하지 않은 모델의 지연 시간 수치입니다. IBM은 2026년 8월 25일 Apache 2.0 아래에서 Granite Speech 5.0 470M TurboCTC를 출시했으며, 언어 모델 디코더를 완전히 제거하고 단일 비자기회귀 CTC 패스로 디코딩합니다. SpaceXAI는 2026년 9월 18일 Grok Voice Transcribe 2.0을 배치의 경우 오디오 1시간당 $0.10, 스트리밍의 경우 시간당 $0.20인 관리형 API로 출시했습니다. 두 모델 모두 같은 문제의 반대편 절반을 해결하는 뛰어난 전사 모델이며, 수치를 직접 비교하기만 멈추면 둘 중 하나를 고르는 일은 더 쉬워집니다.

12,600× 실시간, 그리고 이를 수식하는 말들

Granite 수치는 배치 추론으로 단일 NVIDIA H200에서 측정된 12,600 RTFx입니다 — IBM이 발표 시점에 보고한 수치이며, 이후 독립적으로 재현된 바는 없습니다. RTFx는 오디오 길이 대 처리 시간의 비율이므로, 12,600은 실제 경과 시간 1초당 약 3.5시간 분량의 오디오를 의미합니다. IBM 스스로의 설명에 따르면 이는 이전 Granite Speech 릴리스보다 20배 이상 높은 처리량이며, 여기서 실제로 중요한 주장은 바로 이것입니다: 속도 향상은 하드웨어를 추가한 것이 아니라 작업을 제거한 데서 비롯되었습니다.

그것이 아닌 것은 지연 시간 수치다. 초당 3.5시간 분량의 오디오를 끝내는 배치 작업이라도, 배치가 어떻게 구성되는지와 시작하기 전에 얼마나 많은 오디오를 투입하는지에 따라 개별 파일의 첫 토큰을 반환하는 데 여전히 오랜 시간이 걸릴 수 있다. IBM은 TurboCTC에 대해 지연 시간 수치를 전혀 공개하지 않는다. far-field 리더보드에서 두 체크포인트는 가장 빠른 두 항목이지만, 그곳의 처리량은 단일 NVIDIA L4에서 측정되었으며, 이는 데이터센터에 준하는 가속기이지 휴대폰이 아니다.

이것이 중요한 이유는 그 모델이 노트북, 휴대폰, 엣지 디바이스용으로 명시적으로 포지셔닝되어 있다는 점 — IBM 자신의 표현이다 — 이며, 그중 어느 것에서도 단일 스트림 성능을 발표한 사람이 아무도 없다. 누군가 발표하기 전까지는 "12,600×"를 임대한 GPU에서 백필을 얼마나 저렴하게 처리할 수 있는지에 관한 진술로 취급해야 한다. 이는 진정으로 가치 있고 근거가 충분한 주장이며, 한 사용자가 문장 하나를 얼마나 빨리 돌려받는지에 관한 진술로 취급해서는 안 된다.

IBM이 제거한 것, 그리고 그것이 당신에게 치르게 하는 대가

TurboCTC는 인코더 전용 설계입니다. CTC로 학습된 16계층 Conformer 음향 인코더이며, 하나의 비자기회귀 패스에서 그리디하게 디코딩되고, 16,384유닛 서브워드 출력 계층을 갖습니다. 루프 안에는 언어 모델이 없습니다. 바로 여기서 속도가 나오고, 바로 여기서 기능이 잘려 나옵니다. 그리고 그 타격은 작지 않습니다. 이전 Granite Speech 모델들과 비교하면, TurboCTC는 음성 번역을 제거하고, 키워드 바이어싱을 제거하며, 타임스탬프나 구두점 도구를 제공하지 않습니다.

그것을 관리형 모델이 정가에 포함하는 내용과 나란히 놓고 보면 거래의 윤곽이 구체화된다:

• 핵심 용어 바이어싱 — Granite Speech 5.0 470M TurboCTC는 없음 vs Grok Voice Transcribe 2.0에서는 요청당 최대 100개 핵심 용어

• 단어 수준 타임스탬프 — TurboCTC에는 제공되지 않음 vs 신뢰도 점수와 함께 포함됨

• 음성 번역 — 이전 Granite Speech 모델에는 있었지만, 여기서는 제거됨 vs 어느 쪽으로도 제공되지 않음

• 언어 지원 범위 — 영어 전용 vs. 25개 언어 서식 지원과 함께 폭넓은 다국어 입력 세트 전반에 걸친 자동 감지

• 다이어라이제이션 — 직접 해결해야 하는 별도 문제인지, 요청 가격에 포함되는지

• 채널 — 한 번에 하나의 스트림 대 한 요청에서 최대 8개의 오디오 채널

• 텍스트 정규화 — 미적용 vs 발화된 날짜, 통화, 전화번호를 문자 형태로 변환하는 역 텍스트 정규화

• 배포 — 직접 다운로드해서 실행하는 가중치 vs us-east-1의 관리형 엔드포인트

그 목록을 점수표가 아니라 서로 다른 두 제품에 대한 설명으로 읽어 보세요. 처리량을 얻어낸 것은 바로 화자 분리, 바이어싱, 정규화를 제거한 덕분이었습니다. 40,000건의 통화 녹음을 검색 인덱스로 일괄 백필하는 작업에는 타임스탬프나 화자 턴이 필요하지 않습니다 — 저렴해야 하고 끝나야 합니다 — 그리고 그 작업에서 빠진 기능들은 빠진 것이 아니라 덜어낸 무게입니다.

실시간으로 처리하는 모든 작업에서는 그 반대입니다. 음성 에이전트를 만든다면, 핵심 용어 목록이 있어야 "Kubernetes"와 "Granola", 고객 이름의 철자를 올바르게 맞출 수 있습니다. 반면 바이어싱 메커니즘이 없는 전사기는 매번 이들을 틀리게 처리하며, 파인튜닝 외에는 고칠 방법이 전혀 없습니다. 파인튜닝은 예산이 다른 별개의 프로젝트입니다. 그 단 하나의 누락된 기능이 TurboCTC를 일부 워크로드에서는 부적합하게 만들고 다른 워크로드에서는 아무런 관련이 없게 만듭니다. 그래서 모델 비교는 워크로드 비교보다 덜 유용합니다.

깔끔하게 수행할 수 없는 정확도 비교

IBM은 Open ASR Leaderboard에서 Apache 2.0 체크포인트에 대해 5.00%의 총합 단어 오류율을, 비상업용 형제 모델에 대해 4.85%를 보고한다. 이는 공개 영어 단문 세트 전반에 걸친 수치다. 이 수치들은 AMI와 Earnings22 및 장문 대화 세트가 평가에 포함되는 리더보드상의 배치 수치이며, 벤더가 보고한 것이다. 리더보드의 도구를 통해 실행되었지만 공식 표에는 아직 반영되지 않았고, 공식 표에는 비공개 테스트 세트도 포함된다. 모델 카드에 공개된 세트별 세부 내역은 읽어볼 가치가 있다. 평균이 많은 것을 가리기 때문이다: LS Clean 1.42%, LS Other 2.66%, SPGISpeech 3.18%, Voxpopuli-Cleaned-AA 4.88%, Earnings22-Cleaned-AA-chunked 6.69%, AMI-Cleaned 7.52%, Gigaspeech-Cleaned 8.67%이며, 평균을 내면 정확히 5.00%가 된다. 같은 카드에는 H200 한 대에서 측정한 평균 RTFx 13,042.98이 기재되어 있는데, 이는 IBM의 출시 게시물이 사용한 12,600이라는 수치보다 높으며, 두 수치 모두 같은 주에 같은 하드웨어에서 나온 회사 자체의 수치다.

Grok Voice Transcribe 2.0의 2.7% 최종 전사 수치는 비교 가능한 측정값이 아닙니다. 이는 Artificial Analysis의 AA-WER Streaming 보드에서 나온 것으로, AA-AgentTalk 50%, VoxPopuli 25%, Earnings22 25%의 가중 합성치입니다 — 약 8시간 분량의 에이전트 가중 영어 대화 오디오를 스트리밍 인터페이스를 통해 측정한 것입니다. 데이터 세트도 다르고, 가중치도 다르고, 작동 방식도 다릅니다. 2.7%를 5.00% 옆에 놓고 관리형 모델이 대략 두 배 더 정확하다고 결론 내리는 것은 이 비교에서 저지를 수 있는 가장 흔한 실수입니다.

정직하게 말할 수 있는 것은 더 좁지만 여전히 유용하다. 두 모델 모두 각각 측정된 오디오에서 강점을 보인다. Grok Voice Transcribe 2.0은 다른 모델들도 함께 측정되는 독립적으로 운영되는 스트리밍 리더보드에서 1위를 차지하는데, 이는 정확한 값이 이식 가능하지 않더라도 그 순위를 검증할 수 있게 해준다. Granite Speech 5.0 470M TurboCTC는 표준 공개 ASR 세트에서 집계 WER을 보유하고 있으며, 별도로 비상업용 체크포인트가 정확도에서 5위, Apache 라이선스 버전이 9위를 차지하는 원거리 결과도 있는데, 이는 잡음이 많고 잔향이 있는 음성에서 측정된 것으로, 이 세트에서 가장 어려운 조건이며 두 모델 수치 중 틀림없이 가장 정직한 부분이다.

오디오가 깨끗한 영어 낭독 음성이라면, 이 둘 사이의 정확도 격차는 리더보드 순위가 시사하는 것보다 작을 가능성이 큽니다. 노이즈가 있거나, 악센트가 있거나, 전화 음성 또는 비영어라면, 어느 리더보드도 별로 알려주지 못하며, 자신의 테스트 세트만이 그 역할을 해 주는 유일한 도구입니다.

시간당 $1.67에 맞서는 프리 웨이트

비용 비교는 이 두 모델을 정말로 쉽게 구분할 수 있는 유일한 지점인데, 사람들이 흔히 인용하는 그 수치는 양쪽 방향 모두에서 틀렸다.

• 배치 전사 — Grok Voice Transcribe 2.0은 오디오 1시간당 $0.10, 즉 1,000분당 약 $1.67인 반면, Granite Speech 5.0 470M TurboCTC는 라이선스 비용 없이 GPU 시간이 추가됩니다

• 스트리밍 — 오디오 1시간당 $0.20, 1,000분당 약 $3.33, IBM이 공개한 호스팅 스트리밍 경로는 없음

• 라이선스 — 가중치 없이 제공되는 상용 API 대 메인 체크포인트에는 Apache 2.0, 더 정확한 비상업용 버전에는 CC-BY-NC-SA-4.0

“무료”는 그 첫 번째 행에서 많은 일을 도맡고 있다. 470M encoder-only 모델은 보통의 하드웨어에서 실행할 수 있을 만큼 작다 — 이것이 설계의 핵심이며, IBM이 8개의 H100에서 열흘 만에 학습해 `transformers>=5.16.0`을 대상으로 WebGPU 데모와 함께 출시한 이유이기도 하다 — 하지만 GPU, 서빙 스택, 오토스케일링, 재시도, 온콜 로테이션 비용은 여전히 누군가가 부담한다. 소규모에서는 관리형 가격이 대개 엔지니어링 시간보다 저렴하다. 규모가 크고 꾸준한 사용량에서는 임대 하드웨어 경로가 이기며, 전환점은 오디오 볼륨이 아니라 활용률의 함수다: 계속 바쁘게 돌리는 GPU는 시간당 저렴하지만, 피크 트래픽을 위해 계속 예열해 두는 GPU는 그렇지 않다.

누구든 이를 전제로 설계하기 전에 짚고 넘어갈 만한 라이선스 세부 사항이 하나 있습니다. 두 체크포인트 중 더 정확한 쪽, 즉 WER 4.85%인 체크포인트는 CC-BY-NC-SA-4.0에 따른 비상업용 체크포인트입니다. Apache 2.0 체크포인트는 5.00%인 쪽이며, 제품에 탑재해 출시할 수 있는 쪽입니다. 이는 모델을 사용할 권리 자체를 얻는 대가로 맞바꾼 0.15포인트의 정확도 차이이며, 또한 "Granite Speech 5.0"에 대해 4.85%를 인용한 뒤 상업적 배포를 논하는 비교는 잘못된 체크포인트를 인용하고 있다는 뜻이기도 합니다.

의사결정 규칙

세 가지 질문이 어떤 벤치마크 표보다도 이 두 모델을 더 빠르게 구분한다.

전사 결과가 화자가 아직 말하고 있는 동안 실시간으로 사용됩니까? 그렇다면 TurboCTC는 후보가 아닙니다. 느려서가 아니라, 스트리밍 인터페이스도 부분 출력도 없기 때문이며, 부분 전사 결과는 빠른 배치 디코딩과는 별개의 아키텍처적 선택입니다. 그렇지 않다면 처리량 이점이 전부가 되고, 처리된 오디오의 시간당 비용 측면에서는 IBM의 모델을 이기기가 매우 어렵습니다.

해당 작업에 도메인 어휘가 필요한가? 그렇다면 바이어싱을 지원하는 모델이 기본적으로 우세하며, TurboCTC에 핵심 용어 바이어싱이 없다는 점은 단순히 불편한 것이 아니라 실격 사유가 된다. 그렇지 않다면, 관리형 측에서 사용하지도 않을 기능에 비용을 지불하는 셈이다.

오디오가 적당한 하드웨어에서 녹음된 영어 낭독 음성인가? 그렇다면 둘 다 강력하며, 선택은 운영에 관한 문제다. 그렇지 않다면 두 보드 모두 정보를 주지 못하므로 오직 직접 평가만이 중요하다.

그 선택이 어느 쪽으로 귀결되든, 이 결정의 비용을 낮춰 주는 것은 운영 계층입니다. OrcaRouter는 200개 이상의 모델을 하나의 OpenAI 호환 키 뒤에 배치하고 제공업체 전반에 걸친 자동 페일오버를 제공합니다. 따라서 단일 리전 관리형 음성 엔드포인트가 잠시 문제를 겪더라도 그것이 곧 여러분의 장애가 되지 않으며, 제공업체의 정가가 0% 마크업으로 그대로 전달됩니다. 즉, 벤더 가격 변경이나 새로운 체크포인트가 같은 날 우리 쪽에 반영됩니다. 정답이 진정으로 불분명한 워크로드의 경우, 이는 잘못 선택하는 데 따르는 비용을 없애 줍니다. 하나의 엔드포인트 뒤에서 두 모델을 여러분의 오디오로 직접 벤치마크하고, 더 나은 쪽을 유지하다가 다음 모델이 출시되면 모델 문자열만 바꾸면 됩니다.

간단히 말하면: Granite Speech 5.0 470M TurboCTC는 "우리가 통제하는 하드웨어에서, 저렴하게, 우리가 지금까지 녹음한 모든 것을 전사하라"에 대한 더 나은 답이고, Grok Voice Transcribe 2.0은 "우리가 서빙 스택을 운영하지 않고도, 실시간으로, 정확하게 이것을 전사하라"에 대한 더 나은 답이다. 12,600×라는 헤드라인과 0.49초라는 헤드라인은 둘 다 사실이며, 어느 쪽도 다른 쪽에 대한 증거가 아니다.