Ming-3.0-asr-tiny vs Granite Speech 5.0 470M TurboCTC: 매개변수는 19배, 처리량은 전혀 없다

두 모델Ming-3.0-asr-tiny와 Granite Speech 5.0 470M TurboCTC를 같은 페이지에 놓으면 가장 먼저 눈에 띄는 숫자는 파라미터 비율입니다: 88억 7천만 대 4억 7천만, 대략 19대 1입니다. 두 번째는 속도를 위해 만들어진 쪽이 바로 이 작은 모델이며 그 격차가 엄청나다는 점이고, 세 번째는 이것이 모순이 아니라는 점입니다. Granite Speech 5.0 470M TurboCTC에는 실행할 디코더가 없습니다 — 문자를 내보내고 멈추는 인코더입니다. Ming-3.0-asr-tiny에는 한 번에 토큰 하나를 쓰며 어떤 이름이 곧 언급될지 미리 통보받을 수 있는 24층 전문가 혼합 디코더가 있습니다. 하나는 영어 오디오를 위한 처리량 기계입니다. 다른 하나는 중국어 오디오를 위한 맥락 기계입니다. IBM은 2026년 8월 25일 블로그 글, 기술 보고서, Open ASR 리더보드 등재와 함께 Granite Speech 5.0 470M TurboCTC를 공개했습니다; inclusionAI는2026년 10월 14일 Ming-3.0-asr-tiny의 가중치를 Hugging Face에 올렸습니다 이때 아무런 발표도 없었습니다. 여기에 사용된 모든 Granite 수치는 다음에서 비롯됩니다: Granite Speech 5.0 470M TurboCTC 모델 카드이며, 여기에는 Open ASR 표, 노이즈 스윕, 단일 언어 명시가 담겨 있습니다. 이와 같은 릴리스 뒤에 있는 문서화된 AI 실패와 에이전트 사건은 다음에 모여 있습니다: the OrcaRouter AI Incident Archive 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 있습니다.

두 모델 모두 OrcaRouter 카탈로그에 없고, 어느 쪽도 상대 모델의 평가에 등장하지 않으므로 인용할 벤더 간 직접 비교는 없습니다. 아래 내용은 모두 각 모델이 자체적으로 공개한 구성과 차트에서 가져온 것이며, 그렇게 표시되어 있습니다.

아키텍처의 갈림길, 간단히 말하면

Granite Speech 5.0 470M TurboCTC는 인코더 전용 모델이며, IBM은 이를 자사의 과거와의 의도적 단절이라고 말합니다. 이전 Granite Speech 모델은 음향 인코더, 프로젝터, LoRA 어댑터가 적용된 Granite 언어 모델로 구성되었습니다. 즉, 마이크를 단 언어 모델이었던 셈입니다. 5.0 세대는 언어 모델을 완전히 제거하고 16,384개 단위 BPE 헤드에 대해 CTC 목적 함수를 최적화합니다. 16개의 conformer 블록, 1,024개의 은닉 차원, 8개의 어텐션 헤드, 128프레임에 걸친 블록 어텐션, 8번째 블록에서의 자기 조건화, 7폭 합성곱 커널을 갖추고 있습니다.

서브샘플링은 속도를 만들어내는 부분이다. 오디오는 초당 100프레임, 320차원의 log-mel과 델타 형태로 들어온다. 세 단계에 걸친 2배 축소 — 먼저 연속된 프레임을 쌓는 reshape, 그다음 처음 두 개의 conformer 블록 안에 있는 스트라이드 합성곱 — 를 거치면서 초당 12.5개의 출력 토큰이 된다. IBM의 블로그는 이것이 초당 50개의 문자를 내보내던 이전 인코더에서의 변경 사항이라고 분명히 밝히고 있다. 오디오 1초당 출력 단계가 네 배 줄어든 것이며, 각 단계를 결정하는 자기회귀 루프도 없다.

Ming-3.0-asr-tiny는 여기서 중요한 모든 축에서 정반대 방향을 택했습니다. 디코더는 128개 전문가로 구성된 24개 층의 전문가 혼합(MoE)으로, 토큰당 8개가 라우팅되며, 공유 전문가와 밀집형 첫 번째 층이 있고, 세 개의 K​imi Delta Attention 층과 한 개의 Gated MLA 층이 번갈아 구성됩니다. 토큰을 자기회귀 방식으로 생성합니다. 또한 32개 층, 1,280차원의 Whisper 형태 인코더를 갖추고 있습니다. 이는 Whisper large-v3의 형태이며, 저장소에는 modeling_whisper_encoder.py와 OpenAI의 MIT 고지가 별도 파일로 포함되어 있습니다. Ming은 언어 모델을 유지하고 그것을 비용이 큰 부분으로 만들었습니다.

숫자는 실제로 어디에서 오는가

이 부분은 두 모델의 주장에 각각 얼마나 무게를 둘지를 결정하는 대목이며, 두 릴리스는 성격상 서로 비교할 수 없습니다.

• Granite Speech 5.0 470M TurboCTC — 2026년 8월 25일 기준 Open ASR 리더보드의 공개 영어 단문 세트 전반에서 집계 WER 5.00%를 기록했으며, LibriSpeech test-clean에서 1.93%, test-other에서 3.59%입니다. 비상업용 자매 모델은 4.85%를 기록합니다. 배치 추론 시 단일 H200에서 처리량은 12,600 RTFx를 넘습니다. arXiv에 기술 보고서가 있고 Hugging Face 블로그 게시물도 있으며, 결과는 이를 게시하는 공개 리더보드에 제출되었습니다.

• Ming-3.0-asr-tiny — 중국어 공개 세트에서 평균 CER 3.55, 영어 공개 세트에서 평균 WER 3.99, 15개 방언 세트에서 8.42, 5개 사내 도메인 전반에서 1.67, 컨텍스트-ASR 집계에서 4.36입니다. 이 모든 내용은 모델 카드에 PNG 이미지로만 존재합니다. 기술 보고서도, 리더보드 제출도, 저장소 내 평가 스크립트도 없습니다.

그 블로그 글은 모델 카드와 같은 이유로 열어볼 가치가 있다. 그것이 바로 Ming에게는 없는 흔적이기 때문이다. IBM은 날짜가 명시된 기사와 기술 보고서, 리더보드 항목을 공개했으며, 기사에 나온 처리량 주장은 그 기사가 설명하는 배치 구성과 대조해 검증할 수 있다.

그 비대칭성은 Ming의 수치를 폄하하는 것이 아니라, 무엇을 확인할 수 있는지에 대한 말이다. 누구든 Granite의 Open ASR 수치는 공개 데이터로 오후 한나절이면 다시 돌려볼 수 있다. Ming의 수치를 다시 돌리려면 테스트 세트를 재구성해야 하며, 여기에는 구성이 공개되지 않은 다섯 개의 사내 도메인이 포함된다.

또 하나의 비대칭이 있는데, 이번에는 방향이 반대다. 두 모델은 단 하나의 평가 세트도 공유하지 않는다. Granite의 차트는 영어 전용이며 LibriSpeech, AMI, Earnings-22, GigaSpeech, SPGISpeech, TED-LIUM, VoxPopuli를 아우른다. Ming의 영어 평균은 LibriSpeech, Multilingual LibriSpeech, FLEURS English, Common Voice 15 English, VoxPopuli를 사용한다. 5개 중 2개만 겹치고 집계 방식도 다르다. "영어에서 어느 쪽이 더 정확한가"를 알고 싶은 독자는 어느 벤더에서도 답을 얻지 못할 것이다. 둘 다 그 질문을 하지 않았기 때문이다.

여기서 속도는 두 가지 다른 의미를 가집니다

IBM의 12,600 RTFx는 배치 처리된 처리량 수치입니다. 오디오를 GPU에 대량으로 밀어 넣어 컴퓨팅 1초당 3시간 30분 이상의 음성을 처리한다는 의미입니다. 아카이브를 전사할 때는 맞는 수치이지만, 라이브 마이크에는 거의 의미가 없습니다. IBM은 스트리밍도 제공합니다 — 브라우저의 WebGPU 데모, 청크 단위 어텐션, Apple Silicon용 MLX 경로 — 하지만 대표 수치는 배치 사례를 설명합니다.

Ming은 RTFx를 전혀 공개하지 않는다. 공개하는 것은 규모다: 17.7GB의 BF16 가중치와 128개 전문가로 구성된 자기회귀 디코더. 토큰 단위 루프가 비용 모델이다. 오디오가 1초 늘어날 때마다 디코더 단계가 더 많아지고, 각 디코더 단계는 128개 전문가에 걸친 라우팅 결정을 건드린다. 이것이 19배 더 작은 인코더 전용 모델이 처리량 주장을 갖는 구조적 이유이며, 그것이 사실이 되는 데 벤치마크가 필요하지는 않다.

실질적인 결과는 이것들이 같은 배포를 두고 경쟁하지 않는다는 것입니다. Granite Speech 5.0 470M TurboCTC는 노트북, 휴대폰, 또는 팟캐스트 아카이브를 처리하는 단일 H200에 올라가도록 설계되었습니다. Ming-3.0-asr-tiny는 CUDA GPU, PyTorch 2.11.0, torchaudio 2.11.0, Transformers 5.12.1, fla-core 0.5.2, 그리고 trust_remote_code=True가 필요하며, 서빙하려면 특정 커밋에 고정된 별도의 SGLang 어댑터도 필요합니다. 이 중 하나는 제품에 포함할 수 있는 의존성 목록입니다.

Granite가 그 목표에 도달하기 위해 포기한 능력

인코더 전용 설계는 속도와 크기를 얻는 대신, IBM은 그 대가에 대해서도 솔직히 밝힌다. IBM의 블로그에 따르면 5.0 모델은 LM이 탑재된 버전이 갖췄던 기능, 이를테면 음성 번역과 키워드 바이어싱을 포기한다. 두 번째가 흥미로운데, 키워드 바이어싱은 바로 Ming이 Context ASR이라고 부르며 대표 기능으로 내세우는 것이기 때문이다.

Ming은 핫워드 목록 또는 앞선 대화 턴을 전사 프롬프트의 일부로 받아들이며, 공급업체 자체 예시는 시사하는 바가 크다. 영화 제목 同囚가 일반 경로에서는 同球로 나오지만 주제와 핫워드 목록이 제공되면 올바르게 나오는 오디오 클립이 그렇다. 이 카드는 핫워드가 보장이 아니라 힌트라는 점을 조심스럽게 밝히고 있는데, 이는 정직한 설명 방식이다. 바이어싱은 확률을 이동시킬 뿐 출력을 강제하지는 않는다.

Granite Speech 5.0 470M TurboCTC에는 이에 대응하는 기능이 없습니다. 조건을 줄 언어 모델이 없기 때문에 프롬프트도, 컨텍스트 필드도, 제공할 이름 목록도 없습니다. 오디오에 제품명, 약품명 또는 고객 데이터베이스의 성이 빽빽이 들어 있다면, 이 모델이 가진 도구는 정확히 하나뿐입니다: 학습 중에 배운 것 전부입니다. 이런 부류의 문제에 대한 IBM의 해답은 자체 데이터로 미세 조정하기 위한 노트북이며, 이는 비용이 다른 별개의 워크플로입니다.

언어 지원 범위도 같은 방식으로 작동합니다. Granite는 영어를 지원하며, 지원 언어가 영어뿐이라고 명시되어 있고, 8개의 H100에서 10일 동안 약 60,000시간의 영어 오디오로 학습되었습니다. Ming은 중국어와 영어를 지원하며, 광둥어, 민난어, 상하이어를 포함한 15개의 중국 지역 방언 테스트 세트를 갖추고 있고, 방언 평균은 8.42로 자체 차트에서는 나열된 모든 오픈 베이스라인보다 앞서는 것으로 나타납니다.

그것들 중에서 선택하기

오디오가 영어이고 문제가 볼륨 — 통화 녹음, 아카이브, 회의 기록 등 시간당 비용이 마지막 정확도 한 끗보다 더 중요한 모든 경우 — 이라면, Granite Speech 5.0 470M TurboCTC가 더 합리적인 출발점이며, Python 없이 네이티브 C++ 런타임을 통해 양자화되어 실행된다는 점은 아무리 많은 중국어 방언 지원으로도 상쇄할 수 없는 배포상의 이점입니다.

오디오가 중국어(보통화)나 지역 방언이거나, 정확도 문제가 미리 나열할 수 있는 고유명사라면 Ming-3.0-asr-tiny가 둘 중 이 문제를 해결하는 유일한 모델이며, 뒤늦게 덧붙인 파인튜닝이 아니라 이를 위해 설계된 아키텍처로 해결합니다. 또한 출시된 지 5일밖에 지나지 않았고 다운로드 수도 35회에 불과하므로, 이 모델이 어떻게 실패하는지를 가장 먼저 발견하는 사람 중 하나가 될 것입니다.

세 번째로 언급할 만한 사례가 있습니다: 둘 다 원하고, 자체 트래픽에서 어느 쪽이 이기고 있는지 알고 싶은 경우입니다. 바로 이런 라우팅 문제를 위해 OrcaRouter가 만들어졌습니다. 이 모델들 중 어느 것도 그곳에 호스팅되어 있지 않습니다 — Ming-3.0-asr-tiny와 Granite Speech 5.0 470M TurboCTC는 둘 다 셀프 호스팅 오픈 웨이트입니다 — 하지만 호스팅된 모델들을 앞단에 두는 동일한 엔드포인트가 후보 ASR 경로를 앞단에 둘 수 있습니다, 자동 장애 조치를 통해 실패한 요청이 기존 모델로 폴백되므로 사용자에게 노출되는 대신, 200개 이상의 모델에 걸친 하나의 키로 비교에 두 번째 계약이 필요하지 않습니다.

두 벤더 모두 당신에게 보여주지 않은 것

어느 모델도 독립적인 제3자에 의해 평가된 적이 없습니다. Granite의 수치는 적어도 다른 팀들도 제출하는 공개 리더보드에 있으므로 논쟁할 여지가 있습니다. Ming의 수치는 게시된 당일 오후에도 여전히 편집 중이던 네 장의 PNG에 있습니다. 두 카드 모두 단어 수준 타임스탬프나 화자 분리를 문서화하지 않으므로, 타이밍이 필요한 모든 파이프라인은 둘 다 범위 밖입니다 — Granite의 카드는 단순 전사 출력을 설명하고, Ming의 사용 노트는 출력이 단어 수준 타임스탬프나 화자 분리가 없는 전사 텍스트라고 명시합니다.

이 문제를 실제로 결론지을 비교는 어느 벤더도 수행할 수 없다. 여기에는 하나의 코퍼스, 하나의 언어 쌍, 하나의 채점 스크립트, 그리고 동일한 GPU에서의 두 모델이 필요하다. 누군가 그것을 공개하기 전까지 방어할 수 있는 유일한 주장은 아키텍처가 이미 말해 주는 것이다. 19배 더 큰 자기회귀 전문가 혼합(MoE) 모델은 처리량에서 인코더 전용 CTC 모델과 경쟁하지 않으며, 인코더 전용 CTC 모델은 어떤 단어를 예상해야 하는지 지정할 수 없다.