SOV-Transcribe-1 vs Whisper Large v3 Turbo: 2년과 WER 2.3포인트가 지닌 가치

Whisper Large v3 Turbo는 어떤 상업적 의미에서도 SOV-Transcribe-1의 경쟁자가 아닙니다. 그것은 기존 강자입니다. 2024년 10월에 공개된 8억 900만 개 파라미터, MIT 라이선스 체크포인트로, 그 이후 출시된 거의 모든 전사 제품 상당 부분의 밑바탕에 조용히 자리하고 있으며, 여전히 호스팅 엔드포인트에서 1,000분당 $0.67에 등장합니다. SOV-Transcribe-1은 도전자로, Salesforce가 2026년 11월 12일에 공개했으며, Artificial Analysis의 종합 점수에서 Whisper Large v3 Turbo의 4.62%에 대해 2.28%를 기록했습니다. 따라서 문제는 어느 모델이 더 나은가가 아닙니다. 오류율을 절반으로 줄이는 것이 53 GB 다운로드, 96 GB GPU, 서빙 스택을 감수할 가치가 있는지, 반대쪽 대안은 노트북 메모리에 들어가고 오디오 1시간당 몇 센트밖에 들지 않는다는 점을 고려할 때 그렇습니다.

2년간의 진전이 실제로 무엇을 가져왔는가

Whisper Large v3 Turbo는 디코더가 32개 층에서 4개 층으로 잘린, 가지치기된 Whisper large-v3입니다. OpenAI 자체 모델 카드는 이에 대해 놀랄 만큼 직설적으로 말합니다. "정확히 동일한 모델이지만, 디코딩 층 수가 32개에서 4개로 줄었습니다. 그 결과 모델은 훨씬 빨라졌으며, 그 대가로 약간의 품질 저하가 있습니다." 이 문장은 아키텍처가 아니라 압축 결정을 설명합니다.

SOV-Transcribe-1은 다른 종류의 변화입니다. Salesforce는 Whisper large-v3 인코더, 즉 동일한 프런트 엔드를 유지하고, 4계층 디코더를 프로젝터 뒤에 둔 Gemma 4 26B A4B 전문가 혼합 언어 모델로 교체했습니다. 오디오 인식은 Whisper에서 물려받았습니다. 오디오를 단어로 바꾸는 것은 전체 Whisper turbo 체크포인트보다 30배 큰 범용 언어 모델입니다.

• 파라미터 — Whisper Large v3 Turbo 809M 대 SOV-Transcribe-1 총 26.6B, 활성 4.6B.

• 디코더 — 4개 Transformer 레이어 대 토큰당 4.6B가 활성인 26B 전문가 혼합.

• 체크포인트 크기 — 2GB 미만, BF16에서는 약 53GB.

• 언어 — 대략 100개 대 7개. 이번에는 반대 방향으로, 그것도 거세게 흘러간다.

• 타임스탬프 — 디코딩 루프에 내장된 문장 및 단어 수준 출력 대 문서화된 내용 없음.

• 라이선스 — MIT 대 Apache 2.0. 둘 다 퍼미시브 라이선스이며, MIT가 약간 더 단순합니다.

• 하드웨어 — CPU 또는 소형 GPU 대 드래프트 지원 구성용 96GB를 탑재한 RTX PRO 6000급 카드

그 마지막 문장은 전체 논지를 압축해서 보여줍니다. 한 모델은 어디서든 실행되고, 다른 모델은 대부분의 전사 프로젝트가 1년 동안 내는 클라우드 요금 전체보다 더 비싼 서버 부품에서 실행됩니다.

아무도 하지 않는 오류 산술

단어 오류율은 실제 교정 작업으로 환산하기 전까지는 추상적인 개념이다. 분당 150단어의 대화 속도로 말한 1,000분 분량의 영어 음성, 즉 150,000단어 코퍼스를 생각해 보자. 4.62%에서 Whisper Large v3 Turbo는 약 6,900개의 잘못되거나 누락되거나 삽입된 단어를 생성한다. 2.28%에서 SOV-Transcribe-1은 약 3,400개를 생성한다. 그 차이는 사람이 찾아서 고칠 필요가 없는 약 3,500단어다.

이제 교정 비용을 따져 보겠습니다. 꼼꼼한 편집자는 전사본을 오디오와 대조하면서 분당 아마 200~400단어를 처리하므로, 오류가 3,500개 줄어든다는 것은 오디오 1,000분당 사람이 검토하는 시간을 약 9~18분 절약한다는 뜻입니다. 시간당 총비용 $30을 기준으로 하면 $4.50~$9.00이며, 이는 호스팅된 Whisper 쪽의 전사 비용 $0.67과 비교됩니다.

그 비교가 대부분의 팀이 결코 마이그레이션하지 않는 이유다. 오류의 인적 비용은 전사의 기계 비용을 10배 이상 압도하므로, 오류를 절반으로 줄이는 모델은 가격의 10배 가치가 있어야 하며, 실제로는 이미 무시할 수준인 가격과 경쟁하고 있다. 예외는 출력을 아무도 전혀 검토하지 않는 모든 파이프라인이다 — 자동 인덱싱, 검색, 분석, 요약 공급 — 왜냐하면 그곳에서는 오류가 수정되지 않고, 전사본을 다음에 읽는 무엇이든으로 전파되며, 진짜로 문제가 되는 것은 2차 비용이기 때문이다.

두 점수가 매겨지는 지수 자체가 혼합물입니다. 절반은 합성 에이전트 대화, 4분의 1은 낭독된 의회 연설, 4분의 1은 실제 실적 발표 통화로 구성되며, 두 모델은 각 3분의 1 구간에서 매우 다르게 동작합니다. Whisper Large v3 Turbo의 구성 요소별 수치는 각각 3.52%, 3.97%, 7.49%이고, SOV-Transcribe-1은 1.79%, 1.50%, 4.06%입니다. 격차는 낭독된 의회 연설에서 가장 큽니다. 1.50% 대 3.97%로 2.6배이며, 실적 발표 통화에서 가장 작습니다. 두 모델 모두 어려움을 겪는 구간으로, 격차는 4.06% 대 7.49%입니다. 오디오가 깨끗한 낭독 음성이라면 업그레이드는 극적입니다. 잡음이 많고 화자가 여러 명인 금융 오디오라면 두 모델 모두 나쁘고, 최신 모델은 단지 덜 나쁠 뿐입니다.

Whisper가 여전히 인보이스에서 승리하는 이유

호스팅 비교부터 시작하는 것이 좋습니다. 대부분의 팀이 실제로 마주하는 것이 바로 이것이기 때문입니다. Whisper Large v3 Turbo는 Artificial Analysis 보드의 적어도 한 호스팅 제공업체에서 1,000분당 $0.67에 이용할 수 있으며, 측정된 속도 계수는 339.5입니다. 즉 실제 시간 1초당 오디오 339.5초입니다. SOV-Transcribe-1은 호스팅 분당 가격이 전혀 없습니다. Salesforce는 엔드포인트가 아니라 가중치를 공개했으며, 보드 어디에도 이에 대한 1,000분당 수치가 없습니다.

따라서 비교는 달러 대 GPU 시간이 되며, 모델 카드는 이에 대해 이례적으로 완전한 수치를 제공합니다. 네이티브 vLLM 지원과 DFlash 드래프트 모델을 사용하면 RTX PRO 6000 Blackwell Server Edition 한 장은 초당 최대 1,039초 분량의 오디오를 전사합니다. 그 카드를 한 시간 동안 최대 성능으로 돌리면 374만 초의 오디오, 즉 62,340분을 처리합니다. 시간당 몇 달러의 임대료로 계산하면 오디오 1,000분당 약 3센트 수준이며, 이는 목록에서 가장 저렴한 호스팅 Whisper 엔드포인트보다 20배 저렴합니다.

그 수치는 사실이며, 동시에 이 글에서 가장 오해를 부르는 수치이기도 합니다. 왜냐하면 그 수치는 카드가 절대 유휴 상태가 되지 않는다고 가정하기 때문입니다. 음성 전사는 간헐적으로 몰아서 처리됩니다. 밤새 밀린 작업이 도착했다가 처리되고 나면, 그다음 20시간 동안 GPU는 활용률 0%로 놓여 있습니다. 초당 1,039 오디오초라면, 카드 한 장이 1,000시간 분량의 오디오를 한 시간 안에 처리합니다. 하루에 1,000시간 분량의 오디오를 가진 사람은 거의 없습니다. 정직한 결론은 두 모델 중 무엇이든 셀프 호스팅하는 것은 크기가 아니라 활용률에 관한 경제성 판단이며, 애초에 카드를 돌리기로 결정한 뒤에는 더 나은 모델을 쓰는 한계 비용이 거의 0에 가깝다는 것입니다.

Whisper가 수행하지만 새 모델은 할 수 없는 세 가지

언어 지원 범위가 첫 번째이며, 격차는 크다. Whisper Large v3 Turbo의 모델 카드에는 영어와 중국어부터 웨일스어, 몰타어, 하와이어, 라오어, 순다어에 이르기까지 거의 100개 언어가 나열되어 있다. SOV-Transcribe-1은 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어를 지원한다. 오디오가 유럽 언어가 아닌 모든 팀에게 이 비교에는 두 번째 막이 없다 — Whisper는 저렴한 대안이 아니라, 이 둘 중 유일한 선택지다.

타임스탬프는 두 번째입니다. Whisper의 디코딩 루프는 이를 기본적으로 예측하며, Transformers 파이프라인은 단일 인자를 통해 문장 또는 단어 단위로 이를 노출합니다. 그것이 바로 2년 동안 Whisper 위에서 자막, 챕터 마커, 컴플라이언스 검색이 구축되어 온 방식입니다. SOV-Transcribe-1의 카드에는 전사, 스타일 제어, 컨텍스트 바이어싱이 문서화되어 있을 뿐 타임스탬프에 대해서는 아무것도 없습니다. 다운스트림에서 이를 복구한다는 것은 출력에 강제 정렬기를 실행하는 것을 의미하며, 이는 또 다른 모델, 또 다른 의존성, 또 다른 오류 원천입니다.

음성 번역이 세 번째입니다. Whisper는 소스 언어 중 어느 언어의 오디오든 입력받아 영어 텍스트를 직접 출력할 수 있으며, 이는 두 번째 파이프라인 단계가 아니라 디코딩 작업으로 처리됩니다. SOV-Transcribe-1은 말해진 언어로 전사합니다. 일본어 다큐멘터리 자막이 필요하다면 Whisper는 한 번의 호출로 처리하지만 Salesforce 모델은 전혀 할 수 없습니다.

Whisper의 문서화된 약점들도 같은 비중으로 다뤄져야 합니다. 그것들이야말로 전환을 주장하는 가장 강력한 근거이기 때문입니다. OpenAI 자체의 모델 카드도 이 모델이 환각, 즉 발화되지 않은 텍스트를 생성한다고 경고하는데, 이는 약하게 지도된 잡음 많은 데이터로 훈련되었기 때문이며 저자원 언어에서 더 심하다고 밝힙니다. 또한 시퀀스-투-시퀀스 아키텍처가 반복에 취약하며, 이는 빔 서치와 온도 폴백으로 일부만 완화된다고 언급합니다. 이것들이 바로 검토되지 않은 파이프라인을 위험하게 만드는 실패 유형이며, 2년간의 아키텍처 작업이 겨냥한 대상이기도 합니다.

진짜 마이그레이션은 어떤 모습일까

Whisper를 SOV-Transcribe-1로 대체하는 사람은 거의 없다. 사람들은 둘 사이를 라우팅하며, 그 라우팅 규칙은 스펙만으로 저절로 정해진다. 오디오가 영어이거나 지원되는 나머지 여섯 개 언어 중 하나이고, 단일 화자이며, 30분 미만이고 개체명이 많은 경우에는 힌트 목록과 함께 오픈 모델로 보내고, 그렇지 않으면 Whisper에 그대로 둔다. Salesforce의 Contextual Earnings-22 결과 — 키워드 F1이 힌트 없이 71.9에서 클립 자체의 키워드를 주면 96.8로 상승하고, 한 시간 전체의 키워드 목록을 방해 요소로 주어도 94.0을 유지하는 것 — 는 바로 이 분할을 가치 있게 만드는 특정 역량이다. 왜냐하면 그것은 Whisper의 프리픽스 프롬프트 바이어싱이 그만큼 잘 해내지 못하는 유일한 부분이기 때문이다.

그 분리의 비용은 중복 인프라와 두 가지 출력 형식입니다. SOV-Transcribe-1은 전사 문자열을 반환하고, Whisper는 텍스트와 타임스탬프 청크를 반환하며, 다운스트림의 모든 시스템은 두 가지를 모두 받아들여야 합니다. 실제로 대부분의 팀은 경계에서 자체 전사 스키마로 정규화하고 어떤 모델이 생성했는지는 신경 쓰지 않습니다.

전사 후에 일어나는 일은 볼륨에 따라 확장되는 부분이며, 두 번째 음성 벤더가 아니라 라우터가 있어야 할 곳입니다: OrcaRouter는 200개 이상의 텍스트, 이미지 및 비디오 모델을 하나의 키 뒤에 공급자 정가에 0% 마크업으로 제공하므로, 어느 전사본을 사용하든 이를 소비하는 요약기, 인덱서 또는 분류기를 새 계약 없이 교체하거나 페일오버할 수 있습니다 — 그리고 해당 모델에 대한 벤더의 가격 인하는 같은 날 여기에서 바로 적용됩니다. Whisper Large v3 Turbo도 SOV-Transcribe-1도 이를 통해 제공되지 않습니다. 둘 다 직접 실행하는 가중치이며, 라우팅은 이들이 출력하는 텍스트에서 시작됩니다.

무엇이 이 비교를 무의미하게 만들까요?

두 가지이며, 둘 다 하나의 릴리스 주기 안에서 충분히 가능한 일입니다. 첫 번째는 양자화된 SOV 체크포인트입니다. Whisper Large v3 Turbo의 실용적 장점은 어디에나 들어간다는 점입니다. 26.6B 모델의 4비트 빌드는 여전히 본격적인 GPU를 필요로 하겠지만, FP8 또는 NVFP4 릴리스 — NVIDIA가 Nemotron 3.5 Transcribe용으로 출시 첫날 내놓은 종류 — 는 Salesforce 모델을 "데이터센터 부품"에서 "워크스테이션 부품"으로 옮기고 배포 반대 논리의 상당 부분을 무너뜨릴 것입니다. Salesforce는 이미 MLX 4비트 빌드를 공개했으며, 이는 방향성을 시사합니다.

두 번째는 포인트 릴리스에서 제공되는 타임스탬프와 화자 분리입니다. 둘 다 눈에 띄게 빠져 있고, 둘 다 회의 및 미디어 제품의 기본 요건이며, 둘 다 v0.2 모델 카드가 추가하는 바로 그런 요소입니다. 이것들이 실제로 출시되면 Whisper를 실행할 남은 이유는 100개 언어뿐이며, 많은 팀에게 그것은 지금 Whisper를 실행하는 유일한 이유입니다.

그때까지는 이 구분이 안정적이고 정당화하기도 쉽습니다. Whisper Large v3 Turbo는 다국어, 타임스탬프, 롱테일 또는 CPU에 제약된 작업에는 여전히 올바른 기본값이며, SOV-Transcribe-1은 오디오가 영어이고 어휘가 알려져 있으며 기계가 읽기 전에 사람이 출력을 읽을 일이 없을 때 선택하는 전문가용 모델입니다.