Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM은 벤치마크에서 승리하고, Whisper는 99개 언어에서 승리하다

대부분의 사람들이 가장 먼저 확인하는 두 가지 수치에서, Granite Speech 5.0 2B는 Whisper large-v3-turbo를 앞서며, 격차는 작지 않습니다. IBM의 모델은 Open ASR Leaderboard의 영어 단문 테스트 세트 9개에서 570 RTFx로 평균 5.06%의 단어 오류율을 기록합니다. OpenAI의 turbo 체크포인트는 같은 리더보드에서 200 RTFx로 평균 7.83%를 기록합니다. 같은 벤치마크에서 더 빠르고 더 정확하며, 출시일은 약 2년 차이입니다. 오디오가 영어이고 오디오가 깨끗하다면, 그것이 비교의 전부이며 여기서 읽기를 멈추셔도 됩니다. 이번과 같은 릴리스의 배후에 있는 문서화된 AI 실패 및 에이전트 인시던트는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.

이 페이지가 여전히 존재해야 하는 이유는 세 번째 숫자인 99입니다. Whisper large-v3-turbo는 99개 언어를 처리하고, Granite Speech 5.0 2B는 전사용으로 6개 언어를 지원하며 추가로 2개 언어로 번역합니다. 영어에서 2.8포인트의 WER 우위는 오디오가 베트남어라면 아무 가치도 없습니다. 따라서 진짜 질문은 어느 모델이 더 나은가가 아니라, 당신의 언어 구성이 6개 언어라는 상자 안에 들어가는지, 그리고 들어간다면 마이그레이션 비용이 얼마인지입니다.

Whisper large-v3-turbo는 실제로 무엇인가

여기서는 정확히 짚고 넘어갈 필요가 있습니다. 이 이름이 실제로는 그것이 아닌 것들에 붙기 때문입니다. Whisper large-v3-turbo는 OpenAI가 large-v3를 가지치기한 버전입니다. 인코더는 그대로지만 디코더는 32개 층이 아니라 4개 층입니다. 이 단일 변경만으로 모델은 1,550M 파라미터에서 809M로 줄고 처리량은 대략 세 배로 늘어나지만, 정확도는 비교적 적게 포기합니다. 그래서 2024년 10월 출시 후 몇 달 만에 생태계 전반에서 기본 고속 ASR 체크포인트가 되었습니다.

그 설계에서 세 가지 속성이 나오며, 이들은 모두 이 비교에서 중요합니다:

• 우연히 프루닝된 번역 모델이라서 99개 언어의 전사 및 언어 식별 기능을 물려받았지만 — turbo 변형은 결코 번역용으로 훈련되지 않았습니다. large-v3와 달리, 이 모델은 전사하고 언어를 식별합니다. 한 언어의 음성을 다른 언어의 텍스트로 변환하지는 않습니다. 팀들은 이 사실을 모델 위에 구축한 뒤에야 자주 알게 됩니다.

• 디코더는 자기회귀 방식입니다. 한 번에 4개 레이어씩 토큰을 기록하기 때문에 처리량이 수천이 아니라 200 RTFx에 머뭅니다. Whisper의 속도는 디코딩 패러다임을 바꾼 데서가 아니라 레이어를 제거한 데서 나왔습니다.

• MIT 라이선스이므로, 일부 법무팀이 중요하게 여기는 딱 한 가지 측면에서 실무상 Apache 2.0보다 더 허용적입니다. 분석해야 할 특허 허여 조항이 없고, 함께 배포해야 할 저작자 표시 파일도 없습니다.

Whisper의 진정한 장점은 결코 벤치마크가 아니었습니다. 그것은 2년치 툴링입니다 — faster-whisper, whisper.cpp, 모든 클라우드의 관리형 엔드포인트, 양자화 레시피, 단어 수준 타임스탬프 라이브러리, 그 위에 구축된 화자 분리 스택까지. 그 생태계는 실질적인 전환 비용이며 이 비교는 그것을 정직하게 고려해야 합니다.

격차가 실제로 존재하는 경우와 하네스 아티팩트인 경우

5.06% 대 7.83% 비교는 동일한 리더보드에서 이루어지므로 대부분의 벤더 간 수치보다 더 타당하지만, 동일 조건의 실행은 아니며 세부 사항은 양쪽 모두에 유리하게도 불리하게도 작용한다.

• Granite 수치는 IBM이 리더보드에 제출한 자체 평가 실행에서 나온 것으로, 발표 블로그에서는 "2026년 10월 15일 기준 비공식"이라고 설명합니다. 모델 카드는 같은 결과를 10월 20일 기준 "공식"이라고 부릅니다. 어떤 형용사를 택하든 자유지만, IBM 외부에서 이를 재현한 사람은 아무도 없습니다.

• Whisper 수치는 해당 체크포인트에 대해 리더보드 자체 하네스로 실행되어 리더보드에 공개된 결과이며, 이는 IBM의 파이프라인과는 다른 파이프라인입니다.

• 두 수치는 모두 아홉 개의 공개 테스트 세트에 대한 평균이며, 그중 대부분은 LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI, VoxPopuli의 영어 낭독 음성입니다. 이 평가에서 Whisper의 약점은 잘 문서화되어 있으며 구조적입니다. Whisper는 680,000시간의 약하게 지도된 웹 오디오로 학습되어 정밀한 형식화를 대가로 폭넓은 범위를 얻었습니다.

• 원거리 및 잡음이 많은 오디오에서도 이 순위는 유지됩니다. FFASR 보드(근거리, 높은 SNR, 중간 SNR, 낮은 SNR 평균)에서는 whisper-large-v3가 18.02%, Granite Speech 5.0 2B가 14.80%입니다. 이는 turbo가 아닌 large-v3라는 점에 유의하세요. turbo는 디코더 레이어 수가 적어 잘못된 음향 추정에서 복구하는 능력이 떨어지므로 어려운 오디오에서는 일반적으로 원본 모델보다 약간 더 나쁩니다.

따라서 정확도 격차는 방향성은 아마 실제일 것이고, 공정한 비교에서는 아마 2.8포인트보다 작을 것입니다. 의심할 여지가 없는 것은 그 격차가 어디서 비롯되는가입니다: Whisper의 디코더는 4개 층으로 언어 식별, 전사, 구두점, 대소문자 처리 및 타임스탬프 정렬을 한 번에 수행하도록 요구받는 반면, Granite의 아키텍처는 음향 작업(문자 및 BPE 헤드를 갖춘 CTC 인코더)을 텍스트 생성(1B 언어 모델)과 분리합니다.

언어 상자, 정량화

바로 이곳에서 결정이 내려지는 만큼, 단순한 글머리표 속 숫자 그 이상의 의미가 있습니다.

• Granite Speech 5.0 2B는 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어를 전사하고, 이들 6개 언어와 영어 간 번역을 지원하며, 추가로 영어를 이탈리아어와 중국어(만다린)로 번역합니다.

• Whisper large-v3-turbo는 99개 언어를 전사하고 듣고 있는 언어가 무엇인지 식별합니다. 번역은 하지 않습니다.

• Granite의 7개 언어 지원 형제 모델인 Granite Speech 5.0 470M TurboCTC가 전사 지원 언어에 이탈리아어를 추가했습니다. 이로써 이 제품군은 6개가 아닌 7개의 유럽 및 일본어 언어를 지원합니다.

99 대 7은 Whisper를 지지하는 완전한 논거이며, 그것도 강력한 논거입니다. 하지만 실제적인 분포가 숫자보다 더 중요합니다. 오디오가 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어, 이탈리아어라면 Granite로 충분합니다. 힌디어, 아랍어, 한국어, 터키어, 폴란드어, 베트남어, 인도네시아어, 네덜란드어, 스웨덴어 또는 나머지 90여 개 언어 중 하나가 필요하다면, Whisper는 이 둘 중 작동하는 유일한 모델입니다 — 그리고 영어에서의 WER 우위가 아무리 커도 그 사실은 달라지지 않습니다.

가장 많은 팀이 실제로 처해 있는 것은 중간 사례입니다. 즉 대부분이 영어인 제품에, 전체의 몇 퍼센트 정도로만 등장하는 다양한 언어의 롱테일이 붙어 있는 경우입니다. 티어마다 하나씩, 두 개의 모델을 두는 것은 정상적이고 올바른 답이며, 꼬리 쪽은 물량이 적기 때문에 생각보다 비용이 덜 듭니다.

긴 오디오, 타임스탬프, 그리고 규모가 커질 때 무너지는 것들

Whisper의 배포 스토리는 어떤 벤치마크에도 나타나지 않는 방식으로 성숙해 있습니다. 단어 수준 타임스탬프, 음성 활동 감지, 화자 분리, 청크 단위 디코딩을 통한 스트리밍 — 이 모든 것이 존재하고, 모두 실전에서 검증되었으며, 그 상당 부분이 Whisper의 30초 윈도우와 타임스탬프 토큰을 전제로 합니다.

Granite Speech 5.0 2B는 형태가 다릅니다. IBM은 최대 약 2분 길이의 세그먼트를 권장하며, 더 긴 녹음은 VAD로 분할하라고 안내합니다. 그리고 언어 모델은 16k YaRN 확장 컨텍스트 안에서 10 Hz 임베딩을 봅니다. 기본 2B 체크포인트에는 단어 수준 타임스탬프 헤드가 없습니다. 4.1 세대에서는 화자 귀속 ASR과 단어 수준 타임스탬프를 위한 별도의 "-plus" 변형을 출시했지만, 이에 해당하는 5.0 변형은 아직 존재하지 않습니다.

자막, 화자 라벨이 있는 회의 기록, 또는 특정 구문으로 탐색해야 하는 무엇이든 만들고 있다면 그것은 실제 격차입니다. 5.0 블로그는 타임스탬프 개선을 설명하긴 하지만, 그것들은 새로워진 granite-speech-4.1-2b-plus에 속하는 것이지 5.0 2B에 속하는 것은 아닙니다.

• 단어 수준 타임스탬프가 필요하다면 — 현재는 Whisper large-v3-turbo; Granite 제품군을 원하고 더 오래된 음향 모델을 감수할 수 있다면 Granite 4.1-2b-plus.

• 화자 귀속이 필요함 — 답은 같습니다. 5.0 2B는 이를 수행하지 않습니다.

• 몇 분을 넘어서는 장시간 정확도가 필요하다면 — Granite의 2분 세그먼트 지침은 실질적인 한계이고, Whisper의 이전 텍스트 조건화를 사용하는 30초 청킹에는 잘 알려진 고유한 실패 모드(무음 구간에서의 반복 루프)가 있습니다. 어느 쪽이 확실히 더 낫다고 할 수 없으며, 둘 다 앞단에 VAD가 필요합니다.

Granite에는 있지만 Whisper turbo에는 없는 두 가지 기능

키워드 바이어싱.Granite Speech 5.0 2B는 프롬프트당 최대 2,000개 용어의 키워드 목록을 받아들일 수 있으며, 유럽어 및 일본어 언어군에 걸쳐 23,600시간 분량의 키워드 바이어싱 오디오로 훈련되었습니다. Whisper에는 이에 상응하는 인터페이스가 없습니다. 가장 가까운 방법은 스타일과 어휘를 살짝 유도하는 프롬프트 문자열이지만, 그 뒤에 훈련이 뒷받침되지 않습니다. 제품명, 약품명, 티켓 ID 또는 고객 자체 용어집을 전사하는 배포 환경이라면, 이것이 두 모델 간의 가장 유용한 차이점이며 어떤 WER 평균에도 나타나지 않습니다.

Language-ID 프롬프트. Granite에 오디오가 어떤 언어인지 알려주고 번역이 아닌 전사를 하도록 지시할 수 있습니다. Whisper는 언어를 자동으로 감지하며, turbo 변형에서는 전사만 수행합니다. 메타데이터로 이미 언어를 알고 있는 혼합 언어 말뭉치의 경우, 언어를 강제 지정하면 한 부류의 오류를 완전히 제거할 수 있습니다. Whisper는 때때로 짧은 클립의 언어를 잘못 식별한 뒤 자신 있게 잘못된 언어로 전사하기 때문입니다.

실제로 작동하는 단계별 마이그레이션

언어 문제가 해소되면, 전환은 생태계 격차가 암시하는 것보다 덜 고통스럽습니다. 대부분의 Whisper 기반 파이프라인에는 이미 필요한 연결 지점이 있기 때문입니다.

1. VAD를 그대로 유지하세요. 두 모델 모두 파일이 아니라 세그먼트를 원합니다. Whisper용으로 오디오를 분할하는 데 사용하는 것은 무엇이든 Granite에도 그대로 쓸 수 있으며, 세그먼트당 30초 대신 최대 2분까지 가능합니다.

2. 교체해야 할 것은 디코드 호출이지, 연결 구조(plumbing)가 아닙니다. Granite는 transformers>=4.52.1에서 AutoModelForSpeechSeq2Seq와 AutoProcessor를 통해 로드되거나, vLLM, Q8_0의 llama.cpp, 또는 Apple Silicon의 mlx-audio를 통해 로드됩니다. 서비스가 faster-whisper를 외부 명령으로 호출한다면, 로컬 모델 호출 하나를 또 다른 호출로 바꾸는 것에 불과합니다.

3. 프롬프트를 다시 작성하십시오. Granite는 지시 기반이며, 프롬프트가 모드를 선택합니다: 원시 전사, 구두점이 있는 전사, 키워드 편향, 언어 ID 고정. 이것은 팀들이 건너뛰는 단계이며, 그런 다음 Whisper의 기본 동작을 모델에 제공했기 때문에 모델이 더 나쁘다고 결론을 내립니다.

4. WER 기준선을 LibriSpeech가 아니라 자체 오디오로 다시 잡으세요. 이는 형식적인 절차가 아닙니다. 리더보드에서 드러나는 Whisper의 약점은 포맷팅과 장문 드리프트입니다. 오디오가 30초짜리 깨끗한 영어 클립이고 다운스트림 단계가 포맷팅을 교정하는 언어 모델이라면, 측정된 격차는 거의 0에 가까울 수도 있고, 반대로 오디오에 억양이 있고 원거리 녹음이라면 2.8포인트보다 클 수도 있습니다.

5. 폴백 경로를 유지하세요. Granite Speech 5.0 2B의 비영어권 지원 범위는 명확한 한계이며, 다국어 제품에서는 모델 앞단의 언어 감지기가 선택 사항이 아닙니다. 7개 언어를 벗어나는 모든 입력은 Whisper로 라우팅됩니다.

라우팅 계층이 존재 가치를 입증하는 곳

5단계는 이 마이그레이션이 아키텍처로 바뀌는 부분입니다. 두 음성 모델 앞단에 언어 및 품질 디스패치를 두고, 이후에 전사본을 정리하는 언어 모델이 무엇이든 간에, 이는 파일당 세 번의 모델 호출이 되며, 세 개의 별도 공급업체 통합은 단순한 파이프라인이 유지보수 문제로 변하는 방식입니다.

OrcaRouter는 단일 OpenAI 호환 엔드포인트로200개 이상의 모델을 제공업체 정가에 마크업 없이 제공하며 따라서 후처리 단계 — 정리, 요약, 필드 추출 — 를 음성 코드를 건드리지 않고 교체하거나 A/B 테스트할 수 있고, 제공업체 장애 시 작업이 실패하는 대신 페일오버됩니다. 라우팅 DSL은 디스패치 규칙 자체를 담을 수 있습니다: 언어를 감지하고, 지원되는 일곱 가지 언어는 자체 호스팅 Granite 체크포인트로 보내고, 나머지는 모두 Whisper로 보낸 뒤, 전사본을 작업에 필요한 정리 모델로 넘깁니다. 그 마지막 홉은 오늘 우리가 실제로 제공할 수 있는 부분입니다. Granite Speech 5.0 2B와 Whisper large-v3-turbo 모두 우리 카탈로그에 없으므로 음성 모델은 자체 하드웨어에 남고, 라우팅은 한 단계 다운스트림에서 시작되지만 그곳에서도 통합 작업의 대부분을 줄여 줍니다.

누가 전환해야 하고, 누가 전환하지 말아야 할까

다음과 같은 경우 전환하세요 오디오가 영어와 6개 Granite 언어라면, 정확도가 생태계 숙련도보다 더 중요하다면, 키워드 바이어싱이나 언어 강제가 필요하다면, 그리고 당장은 단어 수준 타임스탬프 없이도 괜찮다면. 5.06% 대 7.83%는 중요한 방향에서의 실질적인 격차이며, 570 RTFx 대 200 RTFx는 전환하면 GPU 비용도 함께 줄어들 가능성이 높다는 뜻입니다.

전환하지 마세요: 나머지 92개 언어 중 하나라도, 단어 수준 타임스탬프, 화자 귀속, 또는 관리형 엔드포인트가 필요하다면 — Granite Speech 5.0 2B는 작성 시점 현재 어떤 추론 제공자도 배포하지 않았으며, 오늘날 이를 사용하는 유일한 방법은 자체 호스팅입니다. Whisper large-v3-turbo는 자체 GPU를 실행할 수 없는 곳을 포함해 어디서나 사용할 수 있습니다.

둘 다 실행하세요 언어 꼬리가 긴 경우라면. 디스패치는 저렴하고, 꼬리는 정의상 저용량이며, 이는 Whisper에게 남은 유일한 논거를 제거합니다.