Granite Speech 5.0 2B: IBM의 새 ASR 모델, IBM이 공식 발표하기 전까지 2주 동안 Hugging Face에 올라와 있었다

저장소는Granite Speech 5.0 2B용으로, 2026년 10월 7일에 생성되었습니다. 가중치는 같은 날 저녁에 커밋되었고, 커밋 메시지에는 "Upload granite-speech-5.0-2b checkpoint."라고만 적혀 있었습니다. 그다음 모델 카드는 13일 동안 공개적으로 편집된 채 그대로 있었습니다 — 13일에는 벤치마크 차트가 추가되었고, 19일에는 출시일과 공식 리더보드 결과가 표시되었으며, 20일에는 모델 서명 파일이 추가되었습니다 — 그 후 IBM이 실제로 이를 발표한 블로그 글을 2026년 10월 21일에 게시했습니다. 이 블로그 글은 제가 이 글을 쓰는 현재 하루밖에 되지 않았고, 여전히 IBM이 이 모델에 관해 어디에서든 말한 유일한 내용입니다: 보도자료도, ibm.com 발표 페이지도, Granite 제품 사이트의 일반 랜딩 페이지 외에는 아무것도 없습니다. 이와 같은 출시의 배경에 있는 문서화된 AI 실패 및 에이전트 사고는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.

그러므로 정직한 설명은 "예고 없이"도 아니고 "요란하게 출시"도 아니다. 그것은 2주 동안 조용히 다운로드할 수 있었고, 모델 카드가 공개적으로 작성되었으며, 이 기사 하루 전에 발표가 이루어진 모델이다. 이어지는 내용은 검증 가능한 부분과 여전히 IBM의 말뿐인 부분을 구분한다.

체크포인트에 실제로 무엇이 들어 있나요?

Granite Speech 5.0 2B는 음성-언어 모델입니다. Conformer 음향 인코더가 프로젝터를 통해 소규모 언어 모델로 입력을 전달하는 구조입니다. 이 모델은 2026년 4월 29일 동일한 파라미터 수와 동일한 Apache 2.0 라이선스로 출시된 granite-speech-4.1-2b의 직계 후속 모델입니다.

• 크기 및 형식 — 2B 파라미터, BF16 safetensors, Apache 2.0, 저장소 게이팅 없음.

• 인코더 — CTC와 두 개의 분류 헤드로 학습된 16개의 Conformer 블록: 348개의 문자 출력(처음 256개 ASCII 항목에 일본어용 92자 음성 가타카나 세트를 더한 것)과 Granite 4.0 토크나이저에서 가져온 100,353개의 BPE 출력. 은닉 크기 1,024, 128차원 어텐션 헤드 8개, 컨볼루션 커널 15, 4초 블록 어텐션.

• 프로젝터 — 15개씩 묶인 1,024차원 음향 임베딩 블록 위에서 동작하는 2계층 윈도우 쿼리 트랜스포머로, 블록 및 계층마다 3개의 학습 가능한 쿼리를 사용합니다. 인코더의 2배 다운샘플링에 더해 5배 다운샘플링하므로, 언어 모델은 100Hz 프레임 대신 10Hz 임베딩을 보게 됩니다.

• 언어 모델 — 다음의 중간 체크포인트: granite-4.0-1b-base, YaRN을 통해 16k 위치까지 확장되었으며 LoRA 어댑터는 프로젝터와 함께 공동으로 훈련되었습니다.

• 훈련 — 공개 및 합성 오디오 약 390,000시간, IBM의 Blue Vela 클러스터에서 8대의 NVIDIA H100으로 총 40일(인코더 훈련 26일, 프로젝터 훈련 14일).

• 언어 — 전사: 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어; 해당 6개 언어와 영어 간 양방향 번역, 추가로 영어에서 이탈리아어로, 영어에서 만다린으로 번역.

390,000시간은 이 모델이 잘하는 분야에서 가장 중요한 숫자입니다. 모델 카드에서 이를 세분화해 보면 가장 큰 단일 블록은 깨끗한 낭독 음성이 아닙니다. LibriHeavy는 구두점 없는 오디오 45,600시간과 구두점 있는 오디오 45,800시간을 제공하고, VoxPopuli Granary는 24,000시간에 구두점 있는 23,900시간을 더하며, 그다음으로 IBM이 문맥 ASR이라고 부르는 59,900시간이 있습니다. 이는 동일한 코퍼스를 프롬프트 앞에 잡음 섞인 이전 세그먼트 문맥을 붙여 다시 잘라 구성한 것입니다. 또 다른 7,100시간과 16,500시간은 각각 유럽어군과 일본어군의 키워드 편향 ASR입니다. 이러한 구성 때문에 주요 개선점은 깨끗한 영어에서의 순수 단어 오류율이 아니라 구두점, 대문자화, 견고성, 키워드 편향입니다.

5.06%라는 수치, 그리고 그 밑의 작은 글씨

IBM의 대표 주장은 5.06%의 평균 영어 단어 오류율로, Open ASR 리더보드의 9개 공개 단문 테스트 세트 전반에서 자사가 최상위 오픈 가중치 ASR 모델 중 2위에 해당한다고 설명하는 수치이다. 모델 카드는 동일한 수치를 "2026년 10월 20일 기준 공식 결과"라는 다른 라벨로 게시하는 반면, 발표 블로그는 해당 실행을 "2026년 10월 15일 기준 비공식"이라고 부른다. 이 두 설명은 닷새와 형용사 하나만큼 차이가 나며, IBM 외부에서는 어느 쪽도 재현되지 않았다.

{{1}}카드에 실린 비교 차트는 자세히 읽어 볼 가치가 있습니다. 그 선정 규칙이 많은 역할을 하기 때문입니다. 이 차트는 평균 WER 기준 상위 10개 오픈웨이트 모델을 조직당 하나씩 보여 주며, Granite Speech 5.0 2B가 2위에 올라 있습니다:{{/1}}

• #1 Qwen3-ASR-1.7B-hf — 평균 WER 4.94%.

• #2 Granite Speech 5.0 2B — 5.06%.

• #3 cohere-transcribe-03-2026 — 5.21%.

• #4 Hojo-ASR-V1 및 #5 higgs-audio-v3-stt — 각각 5.22%.

• #6 thewhisper-large-v3-turbo — 5.24%. 참고로 이는 Whisper의 이름을 빌린 커뮤니티 체크포인트이며, 같은 리더보드에서 7.83%를 기록한 O​penAI의 whisper-large-v3-turbo가 아닙니다. 이 둘은 흔히 혼동되는데, 그 혼동은 읽고 있는 비교를 어떤 것이든 실제보다 좋게 보이게 합니다.

• #7 canary-qwen-2.5b — 5.38%; #8 ARK-ASR-0.6B — 5.44%; #9 MOSS-Transcribe-Diarize — 5.54%; #10 Voxtral-Small-24B-2507 — 5.81%.

두 가지가 뒤따른다. 첫째, 선두와의 격차는 0.12퍼센트포인트인데, 9개 테스트 세트에서 이는 다른 디코딩 구성에서 나오는 노이즈 범위 안에 있다 — 이는 1위 동률이며, 2위로 묘사된 것이다. 둘째, 2위에서 6위까지의 격차는 0.18포인트다. 깨끗한 영어에서 이 모델들을 갈라놓는 것이 무엇이든, 그것은 정확도가 아니다. IBM의 진짜 설득 포인트는 다른 곳에 있어야 하며, 실제로 그렇다.

이득이 중요할 만큼 충분히 큰 경우: 잡음과 거리

FFASR 리더보드는 잡음과 잔향이 있는 음성을 측정합니다. 근거리, 높은 SNR, 중간 SNR, 낮은 SNR 조건을 모두 평균한 값입니다. 이 평가에서 5.0 세대는 4.1 세대와 체감할 수 있는 격차로 구분되며, 이번 릴리스에서 가장 유용한 수치입니다.

• Granite Speech 5.0 2B — 평균 WER 14.80%, 보드에서 42개 모델 중 4위 (2026년 10월 18일 기준 결과).

• granite-speech-4.1-2b-nar — 15.16%, 6위.

• granite-speech-4.1-2b — 16.35%, 9위.

• 규모를 가늠해 보면: whisper-large-v3는 같은 보드에서 18.02%에 위치하고, nvidia/parakeet-tdt-0.6b-v2는 17.66%입니다.

원거리 및 잡음이 많은 오디오에서 직전 버전보다 1.55포인트 개선된 수치이며, 이는 오류가 상대적으로 약 9.5% 줄어든 것입니다. 반면 깨끗한 영어 평균은 5.33%에서 5.06%로 이동해 약 5% 상대 개선을 보였습니다. 다시 말해, 사람들이 실제로 전사 기능을 배포하는 환경 — 회의실, 콜센터, 노트북 마이크, 멀리 떨어진 태블릿 마이크 — 에서 개선 폭이 대략 두 배 더 큽니다. ASR 스택이 스튜디오 오디오에서는 이미 충분히 잘 작동하지만 회의실에서는 무너진다면, 이번 릴리스는 바로 여러분을 위한 것입니다.

구두점은 개선되었으나 대문자 표기는 개선되지 않았다

카드에 있는 유일한 숫자 표는 구두점 오류율(PER, 낮을수록 좋음)과 대문자화 F1(높을수록 좋음)에서 5.0과 4.1을 비교하며, 전체 문장이 아니라 레벤슈타인 정렬된 단어 쌍을 기준으로 계산됩니다. 각 행의 방향을 잘 읽어 보세요. 결과가 일률적이지 않기 때문입니다.

• LScln — PER 25.70 → 23.20; Cap-F1 89.71 → 90.16.

• LSoth — PER 22.27 → 21.22; Cap-F1 91.26 → 91.65.

• VoxPopuli — PER 24.86 → 23.70, 그러나 Cap-F1 95.35 → 95.07.

• Earnings-22 — PER 22.87 → 21.64이지만 Cap-F1 95.19 → 94.98입니다.

• CV-EN — PER 9.13 → 9.18 (약간 악화), Cap-F1 96.75 → 96.96.

• CV-DE — PER 3.66 → 3.65; Cap-F1 99.50 → 99.51 (독일어는 명사를 대문자로 표기하므로 이 행이 거의 완벽합니다).

• CV-ES — PER 11.61 → 11.46, Cap-F1 95.68 → 95.62.

• CV-FR — PER 11.00 → 11.43 (악화); Cap-F1 97.25 → 97.20.

• CV-PT — PER 7.86 → 7.53, Cap-F1 98.51 → 98.48.

구두점은 9개 세트 중 7개에서 올바른 방향으로 움직였고, 대문자 표기는 9개 중 5개에서 0.03~0.28포인트만큼 잘못된 방향으로 움직였다. IBM의 요약은 "더 높은 전사 정확도"와 "구두점 및 대문자 표기"인데, 이는 집계 수준에서는 방어 가능하고 세부 수준에서는 다소 후한 표현이다. 실용적으로 읽자면: 빠진 쉼표가 줄어들 것으로 기대하되, 모델이 갑자기 고유명사와 문장 시작의 대문자 표기를 제대로 맞히리라고 기대하지는 말라.

통합 작업을 바꾸는 두 가지 기능

실제 배포에 영향을 미칠 가능성이 가장 높은 기능들은 카드에서 전혀 벤치마크되지 않는데, 이는 그것들이 정확도 기능이 아니라 제어 기능이기 때문입니다.

Language-ID 프롬프팅. "음성은 독일어입니다. 정확히 전사하고 번역하지 마세요."를 앞에 붙이면 모델은 독일어를 영어로 번역하지 않고 독일어로 전사합니다. 이는 자동 번역하는 음성 모델이 예를 들어 독일어 지원 아카이브에는 쓸 수 없기 때문에 중요합니다. 영어 전사본만 얻고 원래 표현은 잃게 되기 때문입니다. 이 프롬프트는 대상 언어로 작성해도 작동하며, 이는 다국어 파이프라인에서 더 현실적인 경우입니다.

키워드 바이어싱 최대 2,000개 용어. 이전 버전의 한도는 4.1 카드에 확정 숫자로 명시되어 있지 않지만, 5.0은 ASR 및 음성 번역 전반에서 프롬프트당 지원 목록을 2,000개 용어로 늘립니다. 제품명, 약품명, 티켓 ID 또는 고객 자체 SKU 목록의 경우, 이는 사용 가능한 기록과 수정이 필요한 기록 사이의 차이입니다. 카드는 키워드 바이어싱 F1을 바이어싱 적용 및 미적용 상태의 차트로 보고하지만 텍스트에 수치 값이 없으므로 개선 규모는 정량화되지 않은 것으로 간주하십시오.

또한 알아 둘 만한 안전 설계상의 세부 사항이 있습니다. 모델이 잘못되었거나 익숙하지 않은 프롬프트를 받으면, IBM은 모델이 그 프롬프트를 무시하고 일반 전사로 되돌아간다고 말합니다. 이는 오디오가 시스템에 영향을 미칠 수 있는 범위를 의도적으로 제한한 것이며, IBM은 프로덕션 환경에서 위험 탐지를 위해 이 모델을 Granite Guardian과 함께 사용할 것을 권장합니다.

그것을 실행하는 중

Granite Speech 5.0 2B는 transformers>=4.52.1에서 AutoModelForSpeechSeq2Seq 및 AutoProcessor를 통해 네이티브로 지원됩니다. 카드에는 vLLM, llama.cpp, mlx-audio도 문서화되어 있는데, 이는 들리는 것보다 더 중요합니다. 이 모델은 GPU 클러스터 뒤에서만이 아니라 노트북에서도 실행할 수 있습니다.

• 세그먼트 길이 — 최대 약 2분 단위의 청크로 전사하고, 더 긴 녹음은 VAD로 분할하세요. 16k YaRN 컨텍스트는 한 시간 분량의 오디오를 입력해도 된다는 허가증이 아닙니다. 정확도는 컨텍스트 한계에 이르기 훨씬 전부터 저하됩니다.

• llama.cpp — 모델 카드에서는 Q8_0을 권장하며, 더 낮은 비트의 양자화는 대략 1분을 넘는 오디오에서 정확도를 잃는다고 명시합니다. 이는 이례적으로 구체적인 경고이므로 문자 그대로 받아들일 만합니다.

mlx-audio — 0.5.9 이상, 그리고 mlx-audio가 채팅 템플릿에 필요로 하지만 자체적으로 설치하지는 않는 jinja2.

• 프롬프트는 작업별로 다르며 중요합니다 — "적절한 구두점과 대문자 표기를 사용하여 음성을 전사하라"는 원시 전사 프롬프트와는 다른 모드이며, 키워드 편향 모드는 "Keywords: …" 접미사를 사용합니다.

아직 알 수 없는 것은 무엇인가요?

세 가지는 분명히 말할 가치가 있다. 주변 보도는 그렇게 하지 않을 것이기 때문이다.

먼저, 독립적인 평가는 없습니다. 위의 모든 수치는 IBM 자체 평가 실행 또는 IBM이 제출한 리더보드 제출에서 나온 것입니다. FFASR 차트에는 "공식 결과"라고 적혀 있는데, 이는 해당 제출이 보드에 올라 있다는 뜻이지 제3자가 모델을 실행했다는 뜻은 아닙니다. 아무도 재현 결과나 실패 모드 분석글, 또는 IBM이 선택하지 않은 오디오로 진행한 직접 비교를 공개하지 않았습니다.

둘째, 호스팅된 엔드포인트가 없습니다. 모델 카드에는 해당 모델이 "어떤 Inference Provider에 의해서도 배포되지 않았다"고 직접 명시되어 있으며, OrcaRouter 카탈로그에서도 찾을 수 없었습니다. 209개 모델 목록에는 어떤 세대의 Granite Speech 체크포인트도 없습니다. 현재로서는 선택지가 가중치뿐이거나 아무것도 없는 것입니다. 이틀 된 모델에게는 정상적인 일이며 곧 바뀔 것입니다. 그동안은 자체 호스팅을 계획하세요.

셋째, 라이선스가 제품군 전반에서 달라 쉽게 헷갈릴 수 있습니다. 2B는 상업적 제한이 없는 Apache 2.0입니다. 소형 TurboCTC 모델은 Apache 2.0과 비상업용의 두 가지 변형으로 제공되며, 이름만으로는 어느 쪽이 어느 것인지 한눈에 분명하지 않습니다.

이로써 음성 파이프라인은 어디에 놓이는가

2026년 말 Granite Speech 5.0 2B 배포를 위한 현실적인 아키텍처는 오디오를 전사하는 자체 호스팅 인코더-디코더와, 그다음에 필요한 작업—통화 요약, 필드 추출, 의도 분류, 스키마에 맞춘 전사문 정리—을 수행하는 별도의 언어 모델 호출입니다. 그 두 번째 단계는 일반적인 텍스트 생성이며, 한 공급업체에 고정되지 않는 데서 이점을 얻는 부분입니다 — 전사문은 공급자 정가에 추가 마크업 없이 200개 이상의 모델에 접근할 수 있는 하나의 OpenAI 호환 엔드포인트로 전달되므로, 정리 모델을 교체하는 것은 재구축이 아니라 구성 변경이며, 공급자 장애가 발생하면 파이프라인까지 중단되는 대신 장애 조치됩니다.

음성 단계 자체만 놓고 보면, 이번 주의 결정은 벤치마크 차트가 시사하는 것보다 범위가 좁다. Granite Speech 5.0 2B는 신뢰할 만한 상위 3개 오픈 웨이트 영어 ASR 모델이며, 프로덕션에서 ASR을 무너뜨리는 바로 그 조건들에서 자사의 이전 모델보다 분명히 개선되었고, 이 규모의 대부분 경쟁사가 제공하지 않는 번역 및 키워드 제어를 갖춘 진정한 다국어 모델이다. 또한 이 모델은 나온 지 이틀밖에 되지 않았고, 벤더가 벤치마크했으며, 아직 재현되지 않았다. 5.06%를 믿기 전에 여러분의 가장 어려운 오디오에서 직접 실행해 보라.