Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B: 화자 귀속 스트림에 맞선 다섯 개의 대시

인식 이미지를 여세요: Ming-3.0-audio-tiny의 Hugging Face 저장소 안에서 맨 아래로 스크롤하세요. 다섯 행 — AISHELL-4, AliMeeting, AMI의 화자 분리 및 연결 최소 순열 오류 — 은 tiny 열에 대시가 있습니다. 나쁜 숫자가 아닙니다. 빈칸입니다. 벤더는 더 큰 형제 모델을 다섯 항목 모두에서 측정했고 작은 모델은 측정하지 않았습니다. 이제 VibeVoice-ASR-Streaming 1.5B의 모델 카드를 열고 첫 번째 글머리 기호를 읽으세요: 음성이 도착하는 대로 누가 무엇을 말했는지 연속해서 전사합니다. 그것은 같은 다섯 행을 뒤집은 것입니다. 한 모델은 화자 귀속을 제외한 거의 모든 것을 공개하고, 다른 모델은 주로 그것을 공개하기 위해 존재합니다. 이번과 같은 릴리스의 배경에 있는 문서화된 AI 실패와 에이전트 사건은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰 등급, 이의 제기 플래그가 있습니다.

둘 다 독립적으로 평가된 적이 없습니다. 여기서는 그 점이 평소보다 덜 중요합니다. 왜냐하면 이 비교는 숫자가 아니라 설계 결정으로 판가름 나기 때문입니다: 오디오가 끊임없이 들어올 때 무슨 일이 일어나는가. Ming-3.0-audio-tiny는 큰 윈도우와 선택적 음성 출력을 갖춘 파일 모델입니다. VibeVoice-ASR-Streaming 1.5B는 약 3초마다 텍스트를 내보내고 각 세그먼트에 화자를 라벨링하는 스트림 모델입니다. 작업 부하가 녹음이라면 둘은 경쟁합니다. 작업 부하가 방이라면 둘 중 하나만 애쓰고 있는 셈입니다.

설정에서 "스트리밍" 비용은 무엇인가요?

Microsoft의 리포지토리는 자체 지연 시간 예산에 대해 이례적으로 알기 쉽게 설명되어 있어, 이 트레이드오프를 마케팅이 아니라 검증 가능한 것으로 만든다. 음향 및 의미 토크나이저는 인과적이며 24 kHz 입력 대비 3,200× 압축으로 동작하므로, 토큰 스트림은 오디오 1초당 약 7.5개 토큰이다. 스트리밍 래퍼는 4프레임의 룩어헤드와 함께 청크당 22개의 토큰 프레임을 묶는다: 22를 7.5로 나누면 출력당 대략 2.9초이고, 4를 7.5로 나누면 모델이 확정하기 전에 볼 수 있는 미래 오디오가 약 0.5초이다.

• 출력 주기 — 약 2.9초이며, 룩어헤드는 지연을 대가로 정확도를 확보하는 부분입니다.

• 백본 — Qwen2 계열 디코더로, 28개 레이어, 1,536 히든, 2개의 키-값 헤드를 가진 12개 헤드, 64,000토큰 윈도우입니다.

• 크기 — 총 5.63GB에 달하는 세 개의 safetensors 샤드입니다. 이는 1.5B 파라미터가 아닙니다. bf16 기준으로 5.63GB는 약 28억 개에 더 가깝고, 이름에 붙은 1.5B는 전체 스택이 아니라 언어 백본으로 해석하는 것이 가장 적절합니다.

• 언어 — 10개: 중국어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어.

• 추가 기능 — 컨텍스트로 전달되는 사용자 지정 핫워드와, 출력되는 각 세그먼트에 첨부되는 화자 레이블입니다.

• 날짜 — 저장소는 2026년 9월 2일 15:51 UTC에 생성되었고, 다음 날 아침에 마지막으로 수정되었습니다. VibeVoice GitHub README의 뉴스 한 줄로만 공지되었으니, 사실상 거의 공지되지 않은 셈입니다.

그 64K 윈도는 Ming의 131,072와 맞세워 볼 숫자다. 절반의 용량처럼 들리지만, 같은 종류의 용량이 아니다. 스트리밍 모델은 한 시간을 붙들고 있을 필요가 없다. 이미 지난 59분을 기록해 두었기 때문이다. 윈도는 현재 청크를 위한 작업 기억에, 모델이 이어서 가져가는 대화 맥락을 더한 것이다. Ming의 131K는 정반대의 베팅이다. 모든 것을 살아 있는 상태로 유지하고 그 위에서 추론하는 것.

밍의 베팅, 그리고 그것이 얻어내는 것

작은 모델의 판매 포인트는 인식 정확도가 아니다 — inclusionAI 자체 표에서 중국어에서는 더 큰 형제 모델보다 0.34포인트 뒤지고(문자 오류 3.79 대 3.45), 방언에서는 0.89포인트 뒤진다(10.29 대 9.40). 판매 포인트는 하나의 체크포인트가 동일한 포워드 패스에서 인식, 이해, 추론, 음성을 수행하며, 창이 충분히 길어서 “그녀가 처음 10분 동안 뭐라고 했지”를 질문할 수 있다는 점이다.

{{1}}오디오 지능 수치는 크기 대비 상당한 수준이며, 순수 전사기보다 이 제품을 선호할 이유다. MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, 음악의 경우 MuchoMusic 58.07.{{/1}} {{2}}이는 모두 벤더가 실행한 것이며 자기 평가 행에 별표가 붙어 있고, 카드에는 비교 모델들이 inclusionAI 자체 프롬프트와 디코딩으로 재현되었다고 명시되어 있다.{{/2}} {{3}}이를 설계 브리프로 읽어라.{{/3}}

표가 말해 주지 않는 것은 누가 말했는지다. 그것이 다섯 개의 대시가 표시하는 간극이며, 이는 우연이 아니라 구조적인 것이다. 녹음에 관한 질문에 답하는 모델은 그 답을 하기 위해 화자별 분할이 필요하지 않다. 회의용 대본을 생성하는 모델은 필요하다. Ming은 아마도 화자 라벨링 같은 것을 하도록 프롬프트될 수 있을 것이고, 카드에서 "다중 화자 녹음"을 강조한 점은 그것이 그 문제 가까이에서 훈련되었음을 시사한다. 하지만 "아마도"가 다섯 개의 미공개 행이 해야 할 몫을 대신하고 있다.

정직하게 그려진 두 개의 파이프라인

같은 90분짜리 녹음이 각각을 거치는 모습을 상상해 보세요.

VibeVoice-ASR-Streaming 1.5B에서는 오디오가 약 3초 단위의 청크로 들어오고 텍스트도 같은 리듬으로 나가며, 각 세그먼트에는 화자가 함께 담깁니다. 이를 실시간으로 표시할 수 있습니다. 대가는 모든 결정이 어느 정도 국소적이라는 점입니다. 모델은 0.5초 앞까지만 보았고 그 외에는 자신이 유지하는 컨텍스트에 의존하므로, 4초 동안 멈춘 화자가 돌아오면 다른 레이블로 표시될 수 있고, 2분 지점에 소개된 이름은 사용자가 제공하는 핫워드 메커니즘을 통해서만 복구할 수 있습니다. 청크 간 일관성은 테스트해야 할 사항이며, 모델 카드가 정량화하지 않는 부분입니다.

Ming-3.0-audio-tiny에서는 파일이 들어오면 전체가 컨텍스트에 포함되고, 답변은 준비되는 대로 도착합니다. 청크가 없으므로 청크 간 일관성은 위험이 아닙니다 — 창 크기까지는요. 대가는 모델이 끝날 때까지 아무것도 사용할 수 없고, 메모리 예약이 전체 창 크기에 맞춰진다는 점입니다: 참조 ASR 프로파일은 32,768토큰 배치로 카드 한 장의 0.92를 점유합니다. 낮출 수 있는 것은 max_model_len입니다; 스트리밍하게 만들 수는 없습니다. 저장소에 스트리밍 경로가 없기 때문입니다.

• 지연 형태 — VibeVoice: 연속적, 약 3초 지연. Ming: 마지막에 답변 하나.

• 저작자 표시 — VibeVoice: 세그먼트별, 설계상. Ming: 미공개.

• 맥락 — VibeVoice: 64K 작업 윈도우와 자체 전사본. Ming: 131,072개 위치, 프로세서가 하나의 연속 스트림을 공급한다면 인코더 기준 계산상 약 3시간 분량의 오디오입니다.

• 출력 — VibeVoice: 텍스트. Ming: 텍스트, 또는 두 번째 GPU의 선택적 Talker를 통한 텍스트와 합성 음성.

• 하드웨어 — VibeVoice: 5.63GB 체크포인트라 일반적인 카드 한 장이면 충분합니다. Ming: Thinker 17.74GB로, 텍스트용 한 장, 음성용 두 장입니다.

라이선스와 서류는 같으며, 그것은 이례적인 일입니다.

둘 다 MIT 라이선스입니다. 둘 다 조용한 릴리스입니다. 둘 다 문서가 따라잡기 전에 가중치를 먼저 공개했으며, 둘 다 체크포인트 이름을 따서 명명되지 않은 GitHub 저장소에 의존합니다: Ming의 배포 프로필은 inclusionAI/Ming-3.0-audio-flash에 있고, VibeVoice의 사용 안내는 microsoft/VibeVoice에 7B 형제 모델과 함께 있습니다.

차이는 각 저장소가 무엇을 알려주는지에 있습니다. Microsoft는 기술 보고서인 arXiv 2609.02812와 카드 안의 결과 그림을 제공하는데, 이는 표가 아닌 이미지라서 수치를 추출할 수 없고 언어별 오류율이 텍스트로 명시되어 있지 않습니다. inclusionAI는 세 개의 벤치마크 이미지, 역시 이미지들을 제공하며, 자사의 약점을 칸을 비워 두는 방식으로 암묵적으로만 밝히는 카드도 함께 제공합니다. 어느 벤더도 손으로 옮겨 적지 않고서는 스프레드시트에 붙여넣을 수 있는 수치를 주지 않습니다.

조달 업무를 하는 사람이라면 주목할 만한 비대칭성이 하나 있습니다. Ming의 Hugging Face 저장소에는 LICENSE 파일이 없고, 카드 메타데이터에 다른 저장소의 라이선스를 가리키는 링크만 있을 뿐입니다. VibeVoice의 카드는 메타데이터에 MIT를 명시하고 있으며 저장소에는 라이선스 파일이 포함되어 있습니다. 두 주장 모두 사실이지만, 그중 하나만 아티팩트 내부에 존재합니다.

여기서 라우터가 무엇을 위한 것이고 무엇을 위한 것이 아닌지

OrcaRouter는 두 모델 중 어느 것도 제공하지 않습니다. Ming-3.0-audio-tiny는 체크포인트이고 VibeVoice-ASR-Streaming 1.5B도 체크포인트이며, 둘 다 우리 카탈로그에 없고 이 글의 어떤 내용도 이들을 호스팅하겠다는 제안이 아닙니다. 이런 파이프라인에서 라우터의 위치는 전사의 다운스트림이자 의사결정의 업스트림입니다. 통화 요약, 약속 추출, 해당 세그먼트에 사람이 필요한지 분류, 작업 언어가 아니었던 부분 번역 등입니다. 이러한 호출은 텍스트이며, 0% 마크업으로 200개 이상의 모델을 위한 단일 엔드포인트 — 제공업체 목록 가격이 그대로 전달되므로 공급업체 가격 변경이 같은 날 우리 쪽에 반영됩니다 — 는 빌드에서 공급업체당 계약 하나를 없앱니다. 자동 장애 조치는 2시간짜리 전사 작업이 새벽 2시에 출력을 신뢰할 수 있는 곳으로 넘겨야 할 때 특히 중요한 기능입니다.

라우터가 하지 않는 일은 서로 어긋나는 두 화자 레이블을 조정하거나, Ming의 누락된 화자 분리 행이 실제 약점인지 아니면 측정되지 않은 것인지를 판단하는 것입니다. 그것은 여러분 자신의 오디오가 할 일입니다.

그들을 한나절 만에 구별해 내는 테스트

세 사람과 20분을 녹음하세요. 그중 한 명은 두 번 다른 사람들의 말을 덮어 말하고, 한 명은 노트북 마이크를 사용합니다. VibeVoice-ASR-Streaming 1.5B에 세 이름으로 채운 핫워드 목록을 사용해 실행하세요. 모델이 바로 이런 경우를 위해 제공하는 메커니즘이기 때문입니다. 같은 파일을 Ming-3.0-audio-tiny로 실행하되, 언어 레이블, 탭, 그다음 전사를 요청하는 검증된 프롬프트를 사용하세요. 그런 다음 두 번째 턴에서 각 문장의 화자를 표시하도록 요청하세요.

네 가지를 평가하세요: 첫 번째 모델이 화자 변경을 몇 번이나 정확히 맞혔는지, 녹음 중간에 화자 레이블이 뒤바뀐 곳이 있었는지, 두 번째 모델의 귀속 결과가 파일 전체에서 안정적이었는지, 그리고 어느 출력을 손으로 더 빨리 교정할 수 있는지. 마지막 항목은 벤치마크가 아니며, 어느 벤더의 수치보다도 실제 프로덕션 경험을 더 잘 예측해 줄 것입니다.

그리고 그렇게 하면서 대시들을 염두에 두세요. 방언 표를 소수점 둘째 자리까지 공개하면서 다이어리제이션 셀 다섯 개를 비워 둔 벤더는 자신의 자신감이 어디에서 끝나는지에 관해 뭔가 구체적인 것을 말해 준 것입니다. 마이크로소프트는 그 나름대로 표 대신 그림을 공개하고, 그 그림을 읽어 내라고 당신에게 맡겼습니다. 어느 쪽도 외부인이 검증한 숫자를 당신에게 내놓지는 않았습니다.

각각이 실제로 속하는 곳

실시간 자막, 콜센터 모니터링, 각 대사 옆에 이름이 필요한 회의 어시스턴트: VibeVoice-ASR-Streaming 1.5B는 바로 이런 형태를 위해 만들어졌으며, 5.63 GB로 여러분이 아마 이미 보유한 하드웨어에서 실행됩니다. 아카이브의 규정 준수 검토, "이 40개 녹음 전체에서 합의에 대한 모든 언급을 찾아줘", 질문이 오디오 도중이 아니라 오디오 이후에 나오는 모든 경우: Ming-3.0-audio-tiny의 단일 대형 윈도와 이해도 점수가 더 적합하며, 누가 말했는지 묻지 않았다면 빠진 화자 분리 행은 더 이상 문제되지 않습니다.

스트리밍 작업에 Ming을 고르는 것, 즉 131,072가 64,000의 두 배라는 이유로 고르는 것, 또는 추론 작업에 VibeVoice를 고르는 것, 즉 1.5B가 9.3B보다 더 저렴하게 들린다는 이유로 고르는 것이 바로 실수일 것이다. 두 숫자 모두 그 문장이 전제하는 것과는 다른 무언가를 설명하며, 이것이 바로 이 비교가 입증한 가장 신뢰할 만한 점이다.