Phonon vs Whisper Large v3 Turbo: 오프라인 음성 루프의 두 반쪽

비교하는 것은Phonon 31M과Whisper Large v3 Turbo 범주 오류입니다. 그리고 그것은 현재 음성 공학에서 가장 유용한 범주 오류입니다. Gradium이 2026년 10월 20일에 출시한 Phonon 31M은 텍스트를 오디오로 변환합니다. OpenAI가 2024년 10월 1일에 출시한 Whisper Large v3 Turbo는 오디오를 텍스트로 변환합니다. 둘은 경쟁하지 않습니다. 둘은 같은 순환의 양 끝이며, 둘 다 직접 보유한 하드웨어에서 실행할 수 있을 만큼 작고 빠릅니다.

이 둘을 함께 놓으면 사람들이 혼란스러워하는 두 번째 이유가 있습니다. 둘 다 WER이라는 숫자를 발표하지만, 그 두 숫자는 정반대의 의미를 지닙니다. Whisper의 경우 단어 오류율은 전사가 틀린 빈도를 측정합니다. Phonon의 경우에는 전사자가 모델이 생성한 음성을 잘못 듣는 빈도를 측정합니다. 두 경우 모두 숫자가 낮을수록 좋지만, 이들은 같은 측정값이 아니며, 이를 한 칼럼에 함께 넣는 것이 잘못된 비교가 만들어지는 방식입니다.

한 사람은 듣고, 한 사람은 말한다

Whisper Large v3 Turbo는 음성 인식 모델입니다. Whisper large-v3의 전체 인코더를 유지하고 디코더를 32개 층에서 4개로 줄여 15억 5천만 개 대신 8억 900만 개의 파라미터를 생성합니다. 99개 언어를 지원하고 언어를 자동 감지하며 번역용으로 훈련되지는 않았습니다. OpenAI의 문서는 정확도 손실이 약간 있는 대신 large 모델보다 대략 8배 빠르다고 설명합니다. 회사가 모델 카드에 정확한 배수를 공개하지 않았으므로, 정확한 속도 수치는 모두 제3자 테스트에 해당합니다.

Phonon 31M은 음성 합성 모델입니다. 텍스트와 목소리를 입력받아 Mimi 잠재 표현에 대한 플로 매칭 트랜스포머를 통해 24 kHz 모노 오디오를 생성합니다. 토크나이저를 제외하면 3,100만 개의 파라미터를 가지며, 64.5 MB q8 GGUF로 제공되고 Apache 2.0 라이선스입니다. 듣기 기능은 전혀 없어 전사, 화자 분리, 언어 감지를 할 수 없습니다.

둘의 유일한 공통점은 설계 목표입니다. 둘 다 데이터 센터 없이 실행되도록 만들어졌습니다. Whisper Turbo는 개방형 ASR 기준선의 기본값이 된 제품군에서 빠르고 저렴한 구성원입니다. Phonon은 합성 부분도 똑같이 저렴하게 만들려는 시도입니다.

같은 세 글자, 두 가지 다른 측정

Whisper Large v3 Turbo는 영어 Open ASR Leaderboard에서 평균 WER 7.83을 보고했으며, 전체 large-v3의 7.44와 비교됩니다. LibriSpeech test-clean에서는 수치가 약 2.0%입니다. 이 수치들은 모델이 깨끗한 음성을 들을 때 잘못된 단어를 얼마나 자주 쓰는지를 나타냅니다.

Phonon 31M은 모델 카드에서 Seed-TTS에서 0.51%, 더 어려운 세트에서 1.5%를 보고하며, 릴리스 블로그에서는 동일한 어려운 세트에서 1.70%를 보고합니다. 이 수치는 whisper-large-v3가 Phonon의 출력을 들을 때 잘못된 단어를 쓰는 빈도를 나타냅니다. 채점자가 Whisper 자체라는 점에 주목하세요. Gradium의 방법론은 피할 수 없는 방식으로 순환적입니다. TTS 모델을 측정하려면 ASR 모델이 필요하고, ASR 모델 자체의 오류율이 TTS가 얼마나 좋아 보일 수 있는지의 하한을 정합니다.

그렇기 때문에 TTS WER 0.5%와 ASR WER 7.8%는 비교할 수 없으며, TTS WER이 약 1% 미만일 때는 "전사자가 어려움을 겪지 않았다"로 읽어야지 "음성이 거의 완벽하다"로 읽어서는 안 됩니다. 인간 청취자와 자동 채점자는 특히 운율에서 의견이 갈리는데, WER은 이를 전혀 포착하지 못합니다.

• 작업 — Phonon 31M의 텍스트 음성 변환; Whisper Large v3 Turbo의 음성 텍스트 변환.

• 매개변수 — Phonon 31M의 경우 토크나이저를 제외하고 31M, Whisper Large v3 Turbo의 경우 809M입니다.

• 언어 — Phonon 31M은 영어만 지원, Whisper Large v3 Turbo는 99개 언어 지원.

• 출력 — Phonon 31M용 24 kHz 모노 오디오; Whisper Large v3 Turbo용 타임스탬프 포함 텍스트.

• 보고된 정확도 — Whisper로 측정한 Phonon 31M의 Seed-TTS WER 0.51%; Open ASR Leaderboard에서 Whisper Large v3 Turbo의 평균 영어 WER 7.83.

• 라이선스 — Phonon 31M은 Apache 2.0, Whisper Large v3 Turbo는 MIT.

오프라인 음성 루프 규모 산정

네트워크 연결 없이 작동하는 음성 비서가 목표라면, 필요한 모델 목록은 두 개가 아니라 세 개입니다. 음성 인식, 언어 생성, 음성 합성입니다.

Whisper Large v3 Turbo는 8억 900만 개의 파라미터를 가지며, 16비트 정밀도에서 가중치가 약 1.6GB입니다. GPU 추론은 일반적으로 활성화와 배치 처리를 위해 수 GB의 작업 메모리를 예약합니다. 양자화된 GGUF 빌드는 약간의 정확도 저하를 대가로 메모리 사용량을 더 줄입니다. Turbo 형태로는 휴대폰급 모델이 아니지만, 더 작은 Whisper 변형과 증류 버전은 휴대폰급입니다.

Phonon 31M은 64.5MB입니다. 이는 WhisPER Turbo 가중치 파일의 약 25분의 1이며, CPU 코어, iPhone Neural Engine 또는 Raspberry Pi에서 실행됩니다.

중간에 있는 언어 모델이 변수입니다. 4비트로 양자화된 1B~4B 인스트럭트 모델은 몇 기가바이트에 들어가며 오프라인 어시스턴트의 일반적인 선택입니다. 전체 루프 — Whisper Turbo, 소형 인스트럭트 모델, Phonon — 는 ASR이 가장 무거운 구성 요소인 가운데 노트북이나 고급형 휴대폰이 감당할 수 있는 범위에 들어갑니다.

그 비대칭성이 실용적인 통찰이다. 사람들이 걱정하는 루프의 절반 — 합성, 즉 인간처럼 들려야 하는 부분 — 은 이제 저렴한 절반이다. 인식이 비싼 쪽이다.

지연 시간 예산

Phonon의 벤더 수치에 따르면 첫 오디오는 MacBook Air M5 코어에서 5~7ms, iPhone 16 Pro에서 9ms이며, 처리량은 Gradium의 어떤 문서를 보느냐에 따라 실시간 대비 11.6배에서 41배 사이입니다. Whisper Turbo의 속도는 하드웨어와 백엔드에 크게 좌우됩니다: OpenAI는 large-v3보다 대략 8배 빠르다고 설명하며, 양자화 빌드를 사용한 커뮤니티 벤치마크에서는 Apple silicon에서 실시간 대비 수십 배, CPU에서는 훨씬 느린 수치를 보고합니다.

대화형 루프에서는 인식 단계가 가장 큰 비중을 차지합니다. 3초 분량의 발화는 노트북 GPU에서 전사하는 데 수백 밀리초가 걸리며, 약한 CPU에서는 거의 실시간에 가깝습니다. 이에 비해 합성 단계는 사실상 즉각적입니다. TTS를 먼저 최적화하는 팀은 잘못된 쪽을 최적화하고 있는 것입니다.

언어 지원 범위가 엄격한 제약 조건입니다.

Whisper는 99개 언어를 처리합니다. Phonon 31M은 한 개 언어만 처리하며, Gradium의 설명에는 다른 언어는 잘못 발음된다고 경고되어 있습니다. 따라서 다국어 음성 비서는 이 둘을 조합해 만들 수 없습니다. 일본어에서는 인식이 되지만 합성은 되지 않기 때문입니다.

Gradium의 답은 Phonon 40M 계열로, 영어, 프랑스어, 독일어, 스페인어, 포르투갈어를 지원합니다. 즉 99개 언어가 아니라 5개 언어이며, 40M 체크포인트는 CC BY-NC 4.0이라 별도 계약 없이는 상용 제품에 사용할 수 없습니다. 오픈 ASR과 오픈 TTS 사이의 다국어 격차는 스택에서 가장 큰 축에 속하며, 이번 달에 공개된 그 무엇도 그 격차를 메우지 못했습니다.

실제 제품에서 그것들이 만나는 지점

가장 자연스러운 응용은 전사 및 재생 도구입니다. 회의나 음성 메모를 녹음하고, Whisper로 전사한 다음, Phonon으로 요약을 소리 내어 읽는 것이죠. 둘 다 로컬에서 실행되고, 둘 다 허용적 라이선스를 따르며, 어느 쪽도 오디오를 제3자에게 보내지 않습니다. 의료 받아쓰기 도구, 현장 녹음기, 청각장애인과 난청 사용자를 위한 접근성 앱, 오프라인 언어 학습 장난감 모두 같은 형태에 들어맞습니다.

두 번째 애플리케이션은 로컬 1차 처리와 클라우드 폴백을 갖춘 음성 에이전트입니다. Whisper가 기기에서 전사하며, 신뢰도가 낮으면 오디오가 호스팅 ASR로 전송됩니다. 언어 모델이 답변 초안을 작성하며, 더 큰 모델이 필요하면 요청이 외부로 라우팅됩니다. Phonon이 결과를 말하며, 기기가 열 스로틀링 상태이면 호스팅 TTS가 대신합니다. 각 단계에는 로컬 옵션과 원격 옵션이 있고, 제품이 요청별로 어느 것을 사용할지 결정합니다.

그들 사이의 텍스트 레이어

Whisper는 전사본을 만들고, Phonon은 스크립트를 소비하며, 무언가가 하나를 다른 하나로 바꿔야 한다. 그 무언가는 언어 모델이며, 그것은 루프에서 커지는 것이 이득인 유일한 부분이다.

OrcaRouter는 이 두 모델 중 어느 것도 호스팅하지 않습니다 — Whisper Large v3 Turbo는 자체 추론 스택에서 실행되고, Phonon은 디바이스에서 실행되므로 둘 다 저희 카탈로그에 나타나지 않습니다. 플랫폼이 다루는 것은 그 중간입니다: 200개 이상의 언어 모델을 제공업체 정가로 0% 마크업에 이용할 수 있는 단일 API, 제공업체 간 자동 장애 조치, 그리고 일상적인 요청은 저렴한 모델로, 어려운 요청은 더 강력한 모델로 보낼 수 있는 라우팅 DSL입니다. 오프라인 우선 설계에서 이 계층은 온라인 상태로 유지되는 부분입니다.

실제로 비교해야 할 것

음성 모델을 선택하고 있다면 Phonon을 다른 TTS 시스템과 비교하고 Whisper Turbo를 다른 ASR 시스템과 비교하세요. 제품을 만들고 있다면 루프를 비교하세요: 총 메모리, 총 지연 시간, 총 라이선스, 총 언어 수. 그 기준에서 이 조합은 영어 전용, 오프라인, 허용적 라이선스 작업에는 일관성이 있지만, 다국어 또는 40M 계층의 상업적 용도에는 일관성이 없습니다.

피해야 할 실수는 Phonon의 0.51% WER를 Whisper의 7.83% 옆에 놓고 보고 합성이 인식을 능가했다고 결론내리는 것이다. 이 숫자들은 서로 다른 것을 측정하는 서로 다른 과정에서 나오며, 그중 하나는 다른 하나에 의해 측정된다. 유용한 질문은 어느 모델이 더 나은가가 아니다. 이번 달에 공개된 구성 요소로 조립할 수 있는 루프가 염두에 둔 제품에 충분히 좋은가 — 그리고 영어, 오프라인, 노트북 환경에서는 그 답이 방금 바뀌었다.