Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: WER 0.45포인트 차이로 35배 처리량

IBM은 하루 사이에 Granite Speech 5.0 체크포인트 두 개를 공개했는데, 여기서 흥미로운 점은 하나가 더 크다는 게 아니다. 바로 Granite Speech 5.0 2B가 Open ASR 리더보드에서 570 RTFx로 평균 영어 WER 5.06%를 기록하는 반면, Granite Speech 5.0 470M TurboCTC는 19,870 RTFx로 5.51%를 기록한다는 점이다 — 정확도 0.5포인트도 안 되는 차이로 처리량은 약 35배다. 파라미터 수가 그에 비례하는 무언가를 사준다고 생각했다면, 그렇지 않다. 그것이 사주는 것은 번역, 키워드 바이어싱, 언어 ID 제어, 그리고 프롬프트를 따를 수 있는 언어 모델이다. 속도는 그 목록에 없다. 이런 릴리스 뒤에 있는 문서화된 AI 실패와 에이전트 사건들은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 있다.

두 수치 모두 IBM 자체 측정치이며, 같은 리더보드에서 측정되었고 날짜도 서로 일주일 이내라서, 공개된 동일 계열 내 비교 중에서는 상당히 깔끔한 편에 속합니다. 다만 이 역시 감사된 평가가 아니라 벤더가 수행한 평가라고 가정해야 합니다. 두 모델 모두 독립적인 재현 사례가 없으며, 이 글을 쓰는 시점에 제가 찾을 수 있는 어떤 추론 제공업체에서도 서비스되지 않습니다. 우리 자체 카탈로그에서도 마찬가지입니다.

같은 주, 두 가지 다른 릴리스 이야기

이 두 모델은 크기만 다른 쌍둥이가 아닙니다. 출시 방식도 다르고 구축 방식도 다르며, 출시 이력은 두 모델 카드의 내용이 왜 그렇게 다르게 읽히는지 설명해 줍니다.

• Granite Speech 5.0 2B — 저장소는 2026년 10월 7일에 생성되었고, 가중치는 그날 저녁에 커밋되었으며, 모델 카드는 2주 동안 공개적으로 편집되었고, 출시일은 10월 20일로 표시되었으며, 발표 블로그는 10월 21일입니다. 새 모델, 조용한 시작, 요란한 마무리.

• Granite Speech 5.0 470M TurboCTC — 2026년 8월 25일 영어 전용 모델로 처음 출시되었으며 12,600 RTFx를 내세웠습니다. 10월 21일 릴리스는 업데이트이지 새로운 모델이 아닙니다: 동일한 아키텍처, 새로운 16,384 토큰 다국어 BPE 헤드, 6개 언어 추가, 그리고 네이티브 문장 부호 및 대문자 표기를 갖췄습니다.

그 차이는 수치를 들여다볼 때 중요합니다. 2B의 5.06%는 새 체크포인트에 대해 새로 수행한 평가입니다. 470M의 5.51%는 8월에 발표된 5.78%라는 수치에서 개선된 것이며, IBM의 블로그는 이를 “6개 언어를 추가했음에도 더 나은 영어 WER”이라고 표현하는데, 이것이 올바른 해석 방식입니다 — 다국어 업데이트로 영어 정확도가 희생된 것이 아니라 오히려 일부 향상되었습니다.

두 가지 아키텍처, 하나의 결과

Granite Speech 5.0 2B는 음성-언어 모델입니다. 16개 블록으로 구성된 Conformer CTC 인코더가 2계층 윈도우 쿼리 트랜스포머 프로젝터로 입력을 전달하며, 이 프로젝터는 음향 임베딩을 10× 다운샘플링하여 10 Hz로 만듭니다. 이 임베딩은 YaRN을 사용해 16k 위치로 확장된 granite-4.0-1b-base의 중간 체크포인트로 들어갑니다. 지도 미세 조정은 프로젝터와 언어 모델에 대해 공동으로 LoRA로 수행됩니다. 생성은 자기회귀 방식입니다. 언어 모델이 전사 결과를 토큰 단위로 작성합니다.

Granite Speech 5.0 470M TurboCTC는 인코더입니다. 열여섯 개의 Conformer 블록, CTC 목적 함수, 16,384개 유닛의 다국어 BPE 분류 헤드, 100Hz 프레임을 12.5Hz로 낮추기 위한 8배 시간적 서브샘플링, 탐욕적 비자기회귀 디코딩을 사용합니다. 프로젝터도, 언어 모델도, 생성 루프도 없습니다. 출력에 구두점과 대문자가 포함되는 것은 모델이 토큰 스트림에 구두점을 내보내도록 훈련되었기 때문이며, 두 번째 모델이 나중에 추가했기 때문이 아닙니다.

그 결과가 바로 이 비교의 전부입니다. 토큰을 생성하는 2B 모델에는 아무리 배치 처리(batching)를 많이 해도 완전히 없앨 수 없는 토큰당 지연 시간의 하한이 있습니다. 반면 비자기회귀(non-autoregressive) 인코더는 전체 출력을 한 번의 순방향 패스(forward pass)로 내보내므로, 처리량은 배치 크기에 따라 확장될 뿐 거의 다른 어떤 요인에도 좌우되지 않습니다. 그렇게 해서 매개변수가 4분의 1에 불과한 모델이 4배가 아니라 35배 더 빨라지는 것입니다.

470M이 2B가 가진 것들을 포기하는 이유도 여기에 있습니다. 따라야 할 프롬프트가 없으므로 언어 ID 지시도, 키워드 목록도, 번역도 없습니다 — CTC head는 음향을 토큰에 매핑하며, 독일어 음성을 영어 텍스트로 렌더링하라고 지시받을 수 없습니다.

점수판, 그리고 각 숫자가 어디에서 나왔는지

• 매개변수 — Granite Speech 5.0 2B는 2B이고, Granite Speech 5.0 470M TurboCTC는 470M입니다.

• 영어 WER, Open ASR 9세트 평균 — 5.06% 대 5.51%. 두 수치 모두 IBM 평가 실행 결과, 2026년 10월 15–20일.

• 처리량, RTFx — 570 대 19,870. 동일한 리더보드 하네스, 동일한 날짜 범위.

• 잡음 및 잔향 환경의 WER, FFASR — 14.80%(42개 중 4위) vs 17.57%(12위). 2B가 약 2.8포인트 더 견고합니다.

• 라이선스 — 둘 다 Apache 2.0입니다. TurboCTC에는 CC-BY-NC-SA-4.0에 따른 -NC 형제 버전도 있으니, 배포하기 전에 저장소 이름을 확인하세요.

• 언어 — 전사 언어 6개(En, Fr, De, Es, Pt, Ja) + 번역 지원, 반면 7개(이탈리아어 추가)는 번역 미지원.

• 제어 기능 — 언어 ID 프롬프팅, 최대 2,000개 용어에 대한 키워드 바이어싱, 2B의 음성 번역. 470M에는 없음.

• 학습 — 2B의 경우 H100 8대에서 40일 동안 390,000시간; 470M의 경우 H100 8대에서 24일 동안 153,000시간.

견고성 격차는 사람들이 건너뛰는 행입니다. 35배 속도는 눈길을 끌지만, 원거리 잡음 오디오에서 17.57% WER 대 14.80%는 19%의 상대 오차 차이이며, 대부분의 실제 배포 환경에 있는 것은 잡음 오디오입니다. 주방에 있는 노트북에서 오디오가 나온다면, 소형 모델의 속도 이점은 결국 수정해야 하는 전사문에 쓰이고 있는 셈입니다.

470M이 실제로 정확도에서 우위를 차지하는 유일한 부분

TurboCTC 카드는 CSJ eval1, CommonVoice-17, FLEURS — 세 테스트 세트 모두에서 문자 오류율 면에서 2B 모델을 능가한다고 주장하며, 이를 차트 속에 묻어두지 않고 카드 텍스트에 명시적으로 밝힌다. 숫자 자체는 그림에만 있어 우위의 크기를 인용할 수는 없지만, 방향성은 IBM이 자사 두 모델에 관해 직접 내놓은 주장이므로 교차 벤더 비교보다 더 신뢰할 만하다.

그럴 만한 메커니즘이 있습니다. 2B는 문자 헤드에 92자의 표음 가타카나 세트를 추가하고, 일본어 키워드 바이어스가 적용된 ASR 16,500시간과 Fineweb-2 TTS 9,600시간을 훈련에 더해 일본어를 처리하지만, 여전히 결과를 대부분 유럽어 텍스트로 훈련된 언어 모델을 통해 라우팅합니다. 470M은 처음부터 일본어가 포함된 단일 16,384단위 다국어 BPE 어휘를 사용하며 ReazonSpeech에 8,130시간, 합성 일본어에 1,860시간을 사용합니다. 제품이 대량 일본어 전사라면, 이는 작은 모델이 더 빠르면서 더 나은 유일한 맞대결이며, 크기만 보고 2B를 기본값으로 삼기 전에 직접 테스트할 가치가 있습니다.

견적이 아닌 계산된 비용

IBM은 두 모델 모두 가격을 공개하지 않습니다. 둘 다 Apache 2.0 가중치이므로 이를 실행하는 비용은 하드웨어 비용이며, RTFx 수치는 이를 추정할 수 있는 유일한 변수입니다.

하루 1,000시간 분량의 오디오, 즉 중간 규모 콜센터 아카이브를 처리한다고 가정해 보겠습니다. 570 RTFx에서 2B 모델은 약 6,300초의 GPU 시간이 필요하며, 이는 1.7 GPU시간을 조금 넘는 수준입니다. 19,870 RTFx에서 470M은 약 181초, 즉 0.05 GPU시간이 필요합니다. 시간당 대략 $2–3인 H100에서는 하루 몇 달러 대 몇 센트에 해당합니다. 둘 다 작은 숫자이며, 바로 그게 핵심입니다. 이 규모에서는 어느 모델도 비싸지 않으므로 결정은 컴퓨팅이 아니라 정확도와 역량을 기준으로 내려야 합니다.

반대쪽에서는 계산이 달라집니다. 노트북에서 실시간으로 한 스트림을 전사하거나 온디바이스 앱을 실행하는 경우, 2B는 실시간보다 앞서가려면 GPU가 필요하지만 470M은 여유가 남습니다. IBM이 TurboCTC를 노트북, 휴대폰, 엣지 디바이스용으로 포지셔닝하고 Apple Silicon용 mlx-audio를 문서화하는 이유가 여기에 있습니다. 2B는 llama.cpp와 mlx-audio에서도 실행되지만 Q8_0에서이며, 더 낮은 비트 양자화는 약 1분이 넘는 오디오에서 정확도를 잃는다는 경고가 따릅니다.

결정이 실제로 내려지는 순서대로 선택하기

벤치마크부터 시작하지 마세요. 작업이 요구하는 것부터 시작하세요. 세 가지 차이점은 절충 사항이 아니라 반드시 충족해야 하는 요구 사항이기 때문입니다.

출력이 입력과 다른 언어여야 합니까? 그렇다면 2B이며, 비교할 것도 없습니다. 470M은 번역할 수 없습니다. 이 단 하나의 요구 사항만으로 자막 파이프라인, 다국어 회의록, 그리고 비영어 오디오로 구축된 모든 영어 아카이브에서 470M은 제외됩니다.

전사본에 특정 용어가 포함되어야 합니까? 제품명, 약품명, 티켓 ID, 고객의 SKU 목록 — 2B는 최대 2,000개의 용어를 키워드 목록으로 받아들이며, 바로 이 목적을 위해 키워드 편향이 적용된 오디오 23,600시간으로 훈련되었습니다. 470M에는 프롬프트 인터페이스가 없습니다. 소형 모델에서 용어집 기반 배포는 불가능합니다.

오디오가 깨끗한가? 그렇다면 0.45점의 영어 격차는 작은 것이고, 35배의 속도 이점은 거의 공짜로 얻는 셈이다. 그렇지 않다면 — 회의, 콜센터, 원거리 마이크 — FFASR의 2.8점 격차는 소형 모델의 오류가 속도로 절약하는 것보다 더 큰 비용을 치르게 한다는 것을 말해준다.

일본어인가요? 470M을 먼저 테스트하세요. IBM은 세 가지 일본어 테스트 세트 모두에서 이긴다고 합니다.

기기에서 실행되나요? 470M은 이를 위해 설계되었습니다. 2B는 기기에서 실행할 수는 있지만, 이를 위해 설계되지는 않았습니다.

솔직히 요약하자면, 이 둘은 같은 제품의 두 가지 크기가 아닙니다. 하나는 제어 인터페이스를 갖춘 전사 및 번역 시스템이고, 다른 하나는 제어 기능이 전혀 없는 매우 빠르고 매우 저렴한 전사 엔진입니다. "더 나은 것"이 필요하다고 생각하는 대부분의 팀은 사실 번역과 용어집에 관한 질문에 먼저 답해야 하며, 그 두 가지 답이 결론을 내줍니다.

둘 중 어느 쪽에도 걸지 않고 둘 다 실행하기

이 계열을 테스트하는 팀을 위한 합리적인 프로덕션 형태는 두 모델을 모두 배포하는 것입니다. 두 모델의 실패 모드가 서로 반대이기 때문입니다. 470M은 비용이 사실상 0에 가깝게 반올림될 정도로 저렴하게 대량의 깨끗한 전사를 처리하고, 2B는 어려운 오디오, 비영어 오디오, 그리고 용어집이 필요한 모든 것을 처리합니다. 들어오는 각 파일을 분류하는 라우터 — 언어 감지, 신호 대 잡음 추정, 용어집 첨부 여부 확인 — 를 만들어 알맞은 체크포인트로 보내는 것은 아마 50줄 정도의 코드로 가능하며, 대량 처리에는 2B 가격을 지불하지 않으면서 꼬리 부분의 오류율을 낮춰 줍니다.

그 분류 단계는 작은 모델 호출이며, 두 번째 벤더 SDK를 내장하는 대신 하나의 엔드포인트를 통해 실행할 가치가 있는 부분입니다. OrcaRouter는 다음을 노출합니다: 단일 OpenAI 호환 API 뒤에서 공급자 정가로 추가 마크업 없이 200개 이상의 모델, 그리고 그 라우팅 DSL은 언어 및 품질 기반 디스패치를 애플리케이션 코드 대신 규칙으로 표현할 수 있습니다. 자동 장애 조치는 이번과 같은 릴리스 이후 일주일 동안 가장 중요합니다. 그 시점에는 체크포인트가 나온 지 이틀밖에 안 됐고, 아무것도 독립적으로 검증되지 않았으며, 이를 시도하는 가장 안전한 방법은 두 번째 경로를 따뜻하게 유지하는 것입니다. 하지만 그중 어느 것도 아직 Granite Speech 자체를 실행하는 데 도움이 되지는 않습니다 — 현재 저희는 두 체크포인트 중 어느 것도 제공하지 않으므로, 음성 모델은 계속 자체 호스팅되고 라우팅 계층은 한 단계 하류에서 시작합니다.

하나만 배포해야 한다면 2B를 배포하세요. 이 모델은 470M이 할 수 있는 모든 것을 할 수 있으며, 속도는 여전히 실시간보다 35배 빠르고, 정확도는 일본어를 제외한 IBM이 공개한 모든 벤치마크에서 더 우수합니다. 470M은 비용이나 지연 시간 프로파일이 이를 정당화할 때 추가하는 전문 모델이지, 시작점으로 삼는 기본값이 아닙니다.