Grok Voice Transcribe 2.0 vs Whisper Large v3 Turbo: 무료 베이스라인이 여전히 더 잘하는 것

Whisper Large v3 Turbo는 2024년 10월 1일 MIT 라이선스로 공개된 이후 “전사가 필요하다”는 요구에 대한 기본 답이 되어 왔으며, Grok Voice Transcribe 2.0에 관한 어떤 것도 그 이유를 바꾸지 않는다. SpaceXAI의 새 모델은 2026년 9월 18일 출시되었고, 정말로 훨씬 더 나은 전사기다 — Artificial Analysis의 AA-WER Streaming 보드에서 최종 전사문 기준 단어 오류율 2.7%, 첫 부분 결과 기준 3.4%를 기록했으며, 비스트리밍 보드에서 Whisper 제품군이 기록한 4.07%와 대비된다. Turbo 자체는 보통 자신이 증류된 원본인 전체 Large v3보다 0.2~0.3%포인트가량 뒤처진다. 가격도 배치의 경우 오디오 1시간당 $0.10, 스트리밍의 경우 1시간당 $0.20이다. Whisper Large v3 Turbo는 8억 900만 개 파라미터로 이루어진 1.6GB 파일로, 자체 하드웨어에서 실행되고, 사용량을 계량하지 않으며, 오디오를 어디에도 전송하지 않고, 속도 제한도, 동시성 상한도, 지원 중단 일정도 없다. 이 비교는 더 나은 모델과 더 나쁜 모델 사이의 비교가 아니다. 정확도를 임대하는 것과 컴포넌트를 소유하는 것 사이의 비교다.

32초의 창이 전체 아키텍처입니다.

Whisper Large v3 Turbo는 모든 Whisper 모델의 구조를 계승합니다: 오디오는 고정된 30초 윈도우로 처리되고, 인코더는 윈도우당 한 번 실행되며, 디코더는 해당 청크에 대한 텍스트를 출력합니다. Turbo는 이를 더 저렴하게 만들었습니다 — 32개 대신 4개의 디코더 레이어, Large v3보다 약 8배 빠르고, 10GB 대신 약 6GB의 VRAM — 하지만 형태는 바꾸지 않았습니다. 윈도우 간에 지속적인 상태가 없기 때문에 모델 내부에는 "지금까지의 문장"이라는 개념이 없습니다.

그 단 하나의 설계상 사실이 이후의 모든 것을 설명한다. 네이티브 스트리밍은 없는데, 스트리밍은 발화 도중에 부분 출력을 확정하는 것을 요구하지만 이 모델에는 그럴 메커니즘이 없기 때문이다. 실시간 Whisper 배포는 존재하지만, 그것은 청킹에 음성 활동 감지를 더하고, 누군가가 작성해 지금은 유지보수하고 있는 이어 붙이기 계층을 더한 것이며, 그 파이프라인에서 나오는 지연 시간은 Grok Voice Transcribe 2.0이 달성하는 0.5초가 아니라 초 단위로 측정된다. 화자 분리 기능도 없다. 화자 분리는 무엇이 말해졌는지가 아니라 누가 말하고 있는지에 관한 별개의 문제이기 때문이다. 그리고 Turbo 변형은 특히 일반 텍스트만 반환한다 — 타임스탬프도, 신뢰도 점수도, 음성으로 말한 숫자와 이메일 주소를 표기 형태로 바꿔 주는 역텍스트 정규화도 없다.

Grok Voice Transcribe 2.0은 정반대 방식으로 구축되었습니다. 스트리밍이 주 전송 방식이고, 배치는 REST 엔드포인트 뒤에서 동일한 가중치를 사용하며, 기능 목록은 Whisper가 애플리케이션에 남겨 둔 것들의 목록처럼 읽힙니다: 단어별 신뢰도를 포함한 단어 수준 타임스탬프, 추가 비용 없이 포함되는 화자 분리, 최대 8개 독립 채널에 걸친 다채널 전사, 요청당 최대 100개 도메인 용어에 대한 핵심 용어 바이어싱, 25개 언어에 걸친 역방향 텍스트 정규화, 필러 단어 제거, 그리고 음성 에이전트를 위한 Smart Turn 발화 턴 종료 감지. Whisper를 중심으로 청킹 및 스티칭 파이프라인을 유지해 왔다면, 그 목록은 바로 당신이 작성한 코드에 대한 설명입니다.

정확도 격차, 그리고 그것이 보이는 것보다 작은 이유

• 최종 전사 정확도(스트리밍) — Grok Voice Transcribe 2.0은 AA-WER Streaming에서 WER 2.7%인 반면, Whisper Large v3 Turbo 항목은 없는데, 이는 해당 모델이 네이티브로 스트리밍할 수 없기 때문입니다.

• 배치 정확도 — Grok Voice Transcribe 2.0이 Artificial Analysis의 비스트리밍 보드에서 2.29% AA-WER를 기록한 반면, Whisper Large v3는 4.07%를 기록했으며, 독립 테스트에서 Turbo는 일반적으로 풀 Large v3보다 0.4~0.6포인트 뒤처집니다

• 깨끗한 영어 오디오 — Whisper Large v3 Turbo는 LibriSpeech test-clean에서 약 2.1%의 WER을 달성하고 test-other에서는 약 4.2%를 기록하므로, 스튜디오 품질의 음성에서는 프론티어 API와의 격차가 거의 없어집니다.

• 실제 환경 오디오 — 동일한 독립 벤치마크에서 Turbo는 2인 비즈니스 통화에서 약 4.6%, 소음이 있는 오디오에서 8–12%를 기록했는데, 바로 이 지점에서 프런티어 모델의 격차가 벌어집니다.

• 배치 처리량 — Grok Voice Transcribe 2.0은 단일 보급형 소비자용 GPU에서 약 실시간 대비 162배인 반면, Whisper Large v3 Turbo는 약 80배이며, 더 빠른 서빙 하드웨어에서는 그 몇 배에 달합니다

• 스트리밍 지연 시간 — Grok Voice Transcribe 2.0에서 첫 부분 결과까지 0.49초인 반면, 자체 호스팅 Whisper 스트리밍 파이프라인은 1–5초이며, 이는 모델 기능이라기보다 글루 코드와 VAD에 불과합니다

그 목록을 정직하게 읽으면, 비용을 지불하는 것에 대한 정확도 논거는 실재하지만 조건부다. 깨끗하고 화자가 한 명이며 녹음이 잘 된 영어에서는 Whisper Large v3 Turbo가 충분히 근접해 있어 그 차이가 결과를 바꾸는 경우는 드물다. 8kHz 전화 통신, 잡음이 많은 콜센터 오디오, 억양 있는 발화, 그리고 짧은 도메인 특화 문구 — 바로 SpaceXAI가 2.0을 튜닝할 때 겨냥한 세트들이며, 자사가 보고한 수치가 전화 통신에서 10.6%에서 7.1%로, 짧은 다국어 명령에서 20.6%에서 6.8%로 움직인 — 에서는 그 격차가 라우팅에 사용할 수 있는 전사와 읽어야 하는 전사 사이의 차이가 된다. 이는 회사 오디오에 대한 회사 보고 수치이고, SpaceXAI 외부의 누구도 재현하지 않았으며, 그것이 가리키는 방향은 열화된 오디오에 대한 모든 독립적 Whisper 테스트와 일치한다.

비용 비교는 $0.10 대 $0이 아닙니다

Whisper의 라이선스 비용은 무료지만, 실행하는 데는 비용이 듭니다. 6GB VRAM에 1.6GB 모델을 올리고 대략 실시간의 80배 속도로 변환하는 GPU 인스턴스가 실제 비용 항목이며, 일반적인 클라우드 GPU 요금에서는 연속 워크로드의 경우 호스팅된 API와 같은 자릿수에 들어갑니다 — 중요한 예외는 오디오가 흐르든 안 흐르든 용량에 대한 비용을 지불한다는 점입니다. 호스팅된 Whisper 엔드포인트는 저렴한 쪽은 1,000분당 $1.20 미만부터 몇 달러까지 다양한 가격대에 존재하며, 이러한 편차는 "Whisper"가 모델이지 서비스 수준이 아니라는 유용한 알림입니다. Artificial Analysis의 정규화된 가격표는 가장 저렴한 호스팅 Whisper Large v3 엔드포인트를 1,000분당 $0.50과 $1.15로 책정하는데, 둘 다 Grok Voice Transcribe 2.0의 $1.67 배치 요금을 밑돕니다 — 하지만 그 엔드포인트 중 어느 것도 당신의 것이 아니며, 둘 다 다른 사람의 속도 제한과 보존 정책이 붙어 있습니다.

셀프 호스팅이 확실히 우위를 점하는 지점은 변동 폭이 큰 대용량 워크로드다. 1만 시간 분량의 미디어 아카이브는 1주일에 처리하든 1년에 처리하든 자체 GPU에서 비용이 동일하며, 처리 시점을 결정하는 동안 시간당 요금계가 돌아가지 않는다. 오디오를 절대 네트워크 밖으로 내보내서는 안 되는 컴플라이언스 파이프라인은 어떤 가격을 지불하더라도 대체할 호스팅 서비스가 없다. 그 요구사항은 재무적이라기보다 아키텍처적인 것이기 때문이다. 그리고 파인튜닝은 가중치를 직접 보유한 경우에만 가능하다. Whisper의 MIT 라이선스 덕분에 809M 파라미터 모델을 가져다 단일 화자, 단일 억양, 또는 좁은 도메인 어휘에 맞게 조정할 수 있는데, 이는 어떤 가격대에서도 API가 제공하지 않는 역량이다.

그 거울상은 호스팅 모델의 가격이 당신이 통제하지 못하는 사이에 움직일 수 있다는 점이다. SpaceXAI는 1.0에서 2.0으로 넘어갈 때 요금을 그대로 유지했는데, 이는 동일 가격에서의 모델 개선이었다. 그리고 Microsoft의 MAI-Transcribe-2는 오디오 시간당 정확히 $0.10에 책정되었으며, 이는 최전선의 하한선이 어디인지 알려준다. OrcaRouter를 통해 라우팅하면 그 정가들은 0% 마크업으로 그대로 전달되므로, 공급업체의 인하는 재가격 주기 후가 아니라 발생한 당일에 청구서에 반영된다. 이것은 이 비교에서 임대 측의 진정한 장점이며, 무료 측은 애초에 청구서를 전혀 보내지 않는다는 사실과 견주어 저울질할 가치가 있다.

각각이 실제로 무엇을 위한 것인지

오디오가 이미 파일로 존재하고, 음량이 높거나 불규칙하며, 녹음 상태가 비교적 깨끗하고, 데이터를 네트워크 밖으로 내보낼 수 없거나 시간당 과금을 예산이 감당할 수 없을 때는 Whisper Large v3 Turbo를 유지하세요. 오프라인 아카이브, 1.6GB 모델을 양자화해 맞춰 넣는 엣지 및 온디바이스 전사, 지연 시간보다 처리량이 제약 조건인 배치 파이프라인, 그리고 자체 오디오로 파인튜닝하는 것이 필요한 정확도에 도달하는 길인 모든 프로젝트에서 여전히 올바른 선택입니다. 이를 둘러싼 도구 — 엣지를 위한 whisper.cpp, 프로덕션을 위한 faster-whisper, 제한된 메모리를 위한 GGUF 빌드 — 는 2년간의 커뮤니티 단련을 거쳤으며, 이는 이제 막 이틀 된 API가 결코 가질 수 없는 일종의 신뢰성입니다.

오디오가 아직 도착하고 있을 때, 녹음이 열화되었을 때, 누가 언제 말했는지 알아야 할 때, 도메인 어휘를 파인튜닝하는 대신 바이어스해야 할 때, 또는 화자가 말을 끝내기 전에 애플리케이션이 부분 전사본에 따라 동작할 때 Grok Voice Transcribe 2.0으로 이동하십시오. 업그레이드 경로는 기존 통합에서 파라미터 하나를 바꾸는 것과 문제가 생겼을 때 1.0으로 되돌리는 핀 하나뿐이므로, 시험해 보는 비용이 저렴합니다. 역방향 마이그레이션은 저렴하지 않다는 점에 주목할 가치가 있습니다. 화자 분리와 턴 감지를 갖춘 스트리밍 API에 맞춰 작성된 코드는 일반 텍스트를 반환하는 배치 모델로 자연스럽게 축소되지 않으며, 이는 파이프라인을 확정하기 전에 실제 오디오의 일부에서 호스팅 경로를 검증해야 한다는 근거가 됩니다.

결정이 실제로 내려지는 곳

Whisper를 어느 규모로든 운영하는 대부분의 팀은 이 두 모델 중 하나를 고르는 게 아니라 하이브리드로 운영합니다. 아카이브에는 Whisper를 씁니다. 무료이고 깨끗한 오디오에서는 충분히 좋기 때문입니다. 실시간 경로에는 프런티어 API를 씁니다. 3.4% 부분 WER로 스트리밍하는 다른 것은 없기 때문입니다. 그리고 다운스트림에는 출력된 텍스트를 요약하거나 분류하거나 그에 따라 행동하는 세 번째 모델을 둡니다. 바로 그 세 번째 단계에서 보통 난립이 일어납니다 — 추론 모델을 위한 두 번째 공급업체 계약, 두 번째 자격 증명 세트, 모니터링해야 할 두 번째 레이트 리밋. OrcaRouter는 그 계층을 허물어 버립니다. 200개 이상의 모델에 걸친 하나의 키, 공급업체 성능이 저하될 때 자동 장애 조치, 그리고 같은 전사본을 여러 모델로 보내 비교한 뒤 하나를 고르고 싶을 때 쓰는 라우팅 DSL입니다. 전사 호출 자체는 여전히 선택한 공급업체로 전달됩니다. 증식이 멈추는 것은 그 이후의 모든 것입니다.

Whisper 쪽에서 지켜볼 것은 새로운 체크포인트가 아닙니다 — 이 제품군은 Turbo 이후로 움직이지 않았고, OpenAI의 관심은 GPT Transcribe 라인으로 옮겨갔습니다. 지켜볼 것은 서빙 계층입니다. 매년 자체 호스팅 도구는 더 빨라지고 필요한 하드웨어는 더 작아지며, 그곳에서의 모든 개선은 시간당 비용을 지불할 이유를 줄여줍니다. SpaceXAI 쪽에서 지켜볼 것은 기본값 전환입니다: 2.0이 기본값이 되고 1.0이 지원 중단되면, 모델을 지정한 적 없는 모든 통합이 지연 시간을 포함해 한꺼번에 이동할 것입니다. 어느 개발도 근본적인 분할을 바꾸지는 않습니다. 하나는 소유하고 튜닝하는 모델, 하나는 임대하고 호출하는 모델, 그리고 정직한 답은 대부분의 프로덕션 스택이 결국 둘 다 실행하게 된다는 것입니다.