VibeVoice-ASR-Streaming-7B 대 Whisper Large v3 Turbo: 마이크로소프트의 스트리밍 체크포인트가 오픈웨이트 기본 모델에 더하는 것

지난 2년여 동안 "우리가 직접, 저렴하게 전사한다"에 대한 해답은 Whisper Large v3 Turbo였습니다. OpenAI가 공개한 가중치를 가진 809M(8억 900만) 파라미터 모델로, MIT 라이선스, 99개 언어 지원, 워크스테이션에서 돌릴 수 있을 만큼 가볍고, 하드웨어만 있으면 무료입니다. 2026년 9월 2일, 마이크로소프트 리서치는 그 기본값에 도전하는 모델을 업로드했습니다. 바로 VibeVoice-ASR-Streaming-7B입니다. Hugging Face에 공개된 MIT 라이선스의 스트리밍 체크포인트로, 오디오가 도착하는 대로 전사하며 화자 속성 출력을 지원한다고 밝혀졌습니다. 그리고 대부분의 팀이 이미 돌리고 있는 모델과 달리, 이 모델은 애초에 배치 작업으로 설계되지 않았습니다. 두 모델 모두 대형 연구소가 공개한 오픈 가중치 모델입니다. 그러나 그 외의 거의 모든 측면은 트레이드오프이며, 이 페이지는 바로 당신이 실제로 어떤 트레이드오프를 선택하고 있는지에 관한 것입니다.

하나의 비대칭성이 전체 비교를 좌우하므로 이 내용을 먼저 다룬다. Whisper Large v3 Turbo는 세계에서 가장 독립적으로 재현된 음성 모델이다. 그 단어 오류 수치는 수년간 수천 개 팀이 공개 벤치마크와 자체 오디오로 재검증해 왔으며, 약점 역시 강점만큼이나 철저히 문서화되어 있다. VibeVoice-ASR-Streaming-7B는 하루 전에 출시된 모델로, 어디에서도 독립적인 벤치마크가 수행된 적이 없고, Microsoft는 읽을 수 있는 텍스트 형태의 스트리밍 단어 오류율을 공개하지 않았다. 아래 Microsoft 측에 관한 모든 내용은 저장소 — config, 모델 카드, Microsoft의 스트리밍 문서 — 에서 읽은 것이며, 그렇게 명시되어 있다.

오픈 가중치(open-weights) 기본값, 그리고 그것이 지속되는 이유

Whisper Large v3 Turbo는 Whisper Large v3의 지식 증류(knowledge distillation) 방식으로 만들어진 경량 형제 모델입니다. 32개 레이어 인코더는 유지하면서 디코더를 32개 레이어에서 4개로 줄여 파라미터 수가 809M로 감소하고, GPU에서 처리량은 약 4배 향상되면서도 정확도는 유사하게 유지됩니다. 가중치가 MIT 라이선스이고 모델이 작기 때문에, 회의 봇, 자막 도구, 통화 기록 파이프라인의 기본 내장형 전사(transcription) 엔진이 되었습니다. 그 한계 역시 잘 알려져 있습니다. 이 모델은 배치(batch) 모델로, 음성 파일을 입력받아 대본을 반환하지 말하는 대로 단어를 실시간으로 생성하지 않습니다. 번역용으로 학습되지 않아 번역 작업에서는 성능이 크게 저하됩니다. 잡음이 많거나 악센트가 있거나 겹쳐 말하는 음성에 대한 정확도는 일정하지 않으며, 기본적으로 구두점이나 대문자 표기 없이 일반 텍스트만 반환합니다. 이 변형 모델에는 화자 분리(diarization), 타임스탬프, 키워드 편향(keyword biasing) 기능도 없습니다. Whisper를 기반으로 한 프로덕션 스택은 이러한 요소들을 별도로 조합하며, 각각이 자체적인 지연 시간과 실패 모드를 추가합니다.

스펙 격차

• 매개변수 — 809M(증류된 디코더) 대 총 약 9B(Qwen2-7B 언어 백본과 음성 인코더 포함; "7B"는 LLM을 기준으로 한 수치이며, Hugging Face 페이지에는 9B로 표시됨).

• 라이선스 — MIT, 오픈 가중치, 둘 다.

• 스트리밍 — 설계상 배치(batch): 자체 호스팅 스트리밍 구현은 일반적으로 1~5초의 지연 시간을 보이는 반면, 스트리밍 네이티브 방식은 약 2.9초 단위의 청크, 약 0.5초의 선행 조회(lookahead), 청크별 텍스트 출력, KV 캐시에 컨텍스트 보존을 특징으로 합니다.

• 언어 — 수년간 커뮤니티 재생산이 이루어진 99개 대 공식 선언된 10개 (en, zh, es, pt, de, ja, ko, fr, ru, it).

• 트랜스크립트 외에는 — 기본적으로 없음 vs 주장된 스트리밍 화자별 출력 및 맞춤형 핫워드(미검증).

• 문서상 정확도 — LibriSpeech test-clean에서 WER 2.1%, test-other에서 4.2%, Open ASR 종합 기준 약 7.7%, 커뮤니티 테스트의 잡음 오디오에서 8~12%로, 모두 독립적으로 재현된 수치인 반면, 스트리밍 WER 수치는 텍스트로 공개된 것이 없음.

• 메모리 사용량 — KV 캐시 이전 bf16 가중치 약 18GB 대비, 노트북 또는 단일 중간급 GPU에서 실행 가능. 24GB급 GPU 예산 필요.

스트리밍이 실제로 더해주는 것

Whisper Large v3 Turbo를 아예 고려하지 않아야 하는 이유가 있다면 그것은 실시간 영역이며, 바로 이 지점에서 두 모델은 더 이상 비교할 수 없게 된다. Whisper는 배치 지향적이다. 화자가 아직 말하는 동안 단어를 얻으려면 팀들은 청크 분할, 음성 활동 감지, 접착 코드를 덧붙여야 하며, 자체 호스팅 스트리밍 구현은 일반적으로 지연 시간이 1~5초에 머물러, 심각한 엔지니어링 없이는 전화 에이전트나 실시간 자막의 1초 미만 기준을 충족하지 못한다. VibeVoice-ASR-Streaming-7B는 바로 그 영역을 위해 만들어졌다. 해당 모델의 구성(config)은 오디오를 3,200배 압축하여 초당 7.5프레임의 토큰 스트림으로 만들고, 22프레임 청크 단위로 처리하며 4프레임의 미리보기(lookahead)가 적용된다. 이는 청크당 약 2.9초의 오디오에 해당한다. 각 청크가 처리될 때마다 텍스트가 출력되고, 이전 문맥은 KV 캐시에 유지되므로 세션이 처음부터 다시 계산하지 않는다. 이러한 주기는 구성(config)에서 파생된 설계일 뿐, 측정된 지연 시간은 아니며, 아직 종단 간 수치를 발표한 사람은 없다. 하지만 그 아키텍처는 Whisper가 그렇지 않은 방식으로 명백히 실시간 전사 아키텍처이다.

Whisper의 기록은 길고 공개적입니다; 새 체크포인트의 것은 비어 있습니다.

정확도는 Whisper Large v3 Turbo의 연식이 자산이 되는 분야입니다. LibriSpeech test-clean에서 2.1%, test-other에서 4.2%의 WER은 수많은 팀이 재현한 오픈 가중치 수치이며, Open ASR 리더보드 종합 점수에서 약 7.7%로 전체 Large v3보다 약 1포인트 뒤처지고, 커뮤니티 테스트에서 잡음 오디오에 대해 기록된 8–12%의 수치는 누구도 놀라지 않게 합니다. 이러한 약점들은 기록의 일부이며, 모델 위에 구축하기 전에 모델이 어디서 도움이 필요한지 정확히 알려줍니다.

VibeVoice-ASR-Streaming-7B는 그런 기록이 전혀 없다. 모델 카드에는 평가 수치가 이미지로 실려 있고 Microsoft의 스트리밍 기술 보고서는 PDF이지만, 본문에서 인용할 수 있는 스트리밍 단어 오류율(WER)은 없다. 이 제품군에서 유일한 수치적 근거는 배치(batch) VibeVoice-ASR 카드에 공급업체가 보고한 표—영어 테스트 세트 8개에 대한 평균 WER 7.77%, LibriSpeech clean에서 2.20%—뿐이며, 이는 이 체크포인트의 수치가 아니다. 또한 배치 모델 자체에 대한 커뮤니티 반응도 엇갈렸다: 기본 설정만으로 사용 가능한 화자 분리 기능은 호평받았지만, 무겁고 때때로 환각을 일으키기 쉽다는 비판도 받았다. 그 어떤 것도 스트리밍 모델에는 적용되지 않으며, 바로 그 점이 핵심이다: Whisper를 사용하면 실패 모드를 사전에 알 수 있지만, VibeVoice-ASR-Streaming-7B를 사용하면 당신이 첫 번째 테스터인 것이다.

언어 및 규모: 99 대 10, 0.8B 대 9B

전환의 가장 구체적인 비용은 언어와 크기 두 가지입니다. Whisper Large v3 Turbo는 99개 언어를 전사하지만, 저자원 언어와 성조 언어는 품질이 떨어집니다. 태국어, 광둥어, 웨일스어가 흔히 언급되는 약점이며, 그럼에도 이 목록에는 수년간의 커뮤니티 재현 결과가 뒷받침되어 있습니다. VibeVoice-ASR-Streaming-7B는 영어, 중국어, 스페인어, 포르투갈어, 독일어, 일본어, 한국어, 프랑스어, 러시아어, 이탈리아어 등 열 가지를 지원한다고 밝힙니다. 트래픽이 이 열 가지 안에 있다면 커버리지는 문제가 되지 않지만, 그 밖이라면 비교는 여기서 끝납니다. 크기는 두 번째 비용입니다. 809M 파라미터는 노트북에서 실행되지만, bf16 기준 총 약 9B 파라미터는 KV 캐시 이전에 가중치만 약 18GB이며, 이를 원활히 서비스하려면 24GB급 GPU가 필요합니다. 이미 적당한 하드웨어에서 Whisper를 운영 중인 팀에게 이는 인프라 측면에서 확실한 도약이며, 진정한 실시간 전사 요구가 있을 때만 정당화됩니다.

무료가 핵심이 아닐 때

Whisper Large v3 Turbo는 실행 자체는 무료입니다. 실제 비용은 하드웨어와 이를 둘러싼 엔지니어링에서 발생합니다. 단일 T4에서 faster-whisper를 배포할 경우 현재 GPU 시세 기준 오디오 1시간당 약 $0.05–$0.10이 들며, 지속적인 워크로드에서는 Whisper가 일반 텍스트만 반환하므로 직접 구축해야 하는 화자 분리(diarization) 및 구두점 처리 스택이 추가로 필요합니다. VibeVoice-ASR-Streaming-7B 역시 실행 자체는 무료이지만 더 비싼 하드웨어에서 실행해야 합니다. 그 대가로 Whisper에는 없는 화자 귀속(speaker attribution)과 컨텍스트 제어 기능을 제공한다고 주장하는 스트리밍 아키텍처를 얻게 되지만, 독립적인 벤치마크가 없으므로 그 주장은 직접 검증해야 할 몫입니다. 대량 배치 전사 작업에서는 여전히 Whisper의 처리량과 작은 리소스 점유율이 우세합니다. 전사 결과가 대화 중에 실시간으로 도착해야 하는 다중 화자 라이브 오디오의 경우, Whisper는 설계 의도에 역행하고, 스트리밍 체크포인트는 설계 의도에 부합합니다. 물론 실제로 작동한다면 말입니다. 그리고 바로 그 '실제 작동 여부'가 여러분 자신의 오디오와 여러분 자신의 GPU로 직접 답해야 할 질문입니다.

실용적 스택

실제 세상에서 가장 흔한 답은 '이것 아니면 저것'이 아니라 '둘 다'이며, 여기서 내리는 권고 역시 그렇습니다. Whisper Large v3 Turbo는 검증된 실적과 가벼운 풋프린트 덕분에 경쟁이 불가능한 대용량 배치 레인(batch lane)으로 계속 유지하고, VibeVoice-ASR-Streaming-7B는 Whisper가 요구되는 지연 시간 안에 서비스할 수 없는 실시간(라이브) 레인에서 평가하십시오. 다만 의지할 벤치마크가 없으므로 명시적인 평가 게이트(evaluation gate)를 함께 두어야 합니다. 두 모델은 하나의 GPU 예산과 하나의 코드베이스를 공유할 수 있습니다. 그러한 스택에서 라우팅 계층이 제 역할을 하는 곳은 전사(transcription) 자체가 아니라 전사 결과물 위의 계층입니다. OrcaRouter는 현재 음성-텍스트(speech-to-text) 변환을 라우팅하지 않으며 두 모델 모두 해당 카탈로그에 없지만, 실시간 전사 결과물을 소비하는 요약기, 알림 규칙, 에이전트 플래너는 정확히 OrcaRouter가 단일 API로 제공하는 200개 이상의 언어 모델들입니다. OrcaRouter는 공급업체 목록 가격을 마크업 없이 그대로 전달하고, 공급업체 간 자동 장애 조치(failover)도 지원합니다. 단 하나의 벤치마크도 없이 출시되는 스트리밍 체크포인트는 검증되지 않은 어떤 모델이든 동일하게 받는 대우를 받아야 합니다. 즉 폴백(fallback) 뒤에서 실제 트래픽의 일부를 맡아, 모델 카드가 아니라 여러분 자신의 회의에서 얻은 증거를 바탕으로 신뢰를 얻거나 잃게 하는 것입니다.