Fish Audio Drama 3 vs VoxCPM2: 데이터시트에 맞선 리더보드

Fish Audio Drama 3에는 Elo가 있지만 VoxCPM2에는 없습니다. 그래서 둘 사이의 뻔한 비교는 불가능해지고, 흥미로운 비교는 놓치기 쉽습니다. 2026년 10월 13일에 발표되고 이후 Artificial Analysis가 점수를 매겨 온 Drama 3는 Provider Voice Arena에서 1,278점으로 100개 중 6위를 차지합니다. VoxCPM2는 Artificial Analysis의 어떤 음성 평가 보드에도 항목이 없고, 이 페이지에 언급된 두 아레나 모두에서 빠져 있습니다. 두 연구소가 공통으로 공개하는 것은 Seed-TTS-eval이며, 그곳의 수치는 단일 순위로는 말할 수 없는 것을 보여줍니다. 각 벤더의 자체 실행에서 Drama 3는 VoxCPM2의 한 번을 이기려면 두 번의 패스가 필요합니다. 이 두 모델 사이의 선택은 사실 품질의 문제가 아닙니다. 글자당 과금으로 빌려 쓰는 성능 엔진을 원하는지, 아니면 직접 보유할 수 있는 20억 파라미터 모델을 원하는지의 문제입니다.

한쪽은 Elo가 있고, 다른 쪽은 데이터시트가 있다.

이 비대칭성은 분명히 짚고 넘어갈 만한데, 대부분의 비교 페이지가 이를 조용히 얼버무리고 넘어가기 때문이다. Drama 3는 중요한 모든 순위표에 올라 있다. Provider Voice Arena에서는 1,278점으로 100개 중 6위, Controlled Voice Arena에서는 1,085점으로 49개 중 12위, 영어 발음 강건성 부문에서는 93.2%로 31개 중 공동 1위다. VoxCPM2는 그 어느 순위표에도 오르지 않았다.

그 부재는 스캔들이 아니며, 새로운 일도 아니다. VoxCPM2는 2026년 봄부터 출시되어 있었다. 프로젝트 문서에서는 2.0 라인의 시점을 3월로 명시하고, 저장소에는 2026.04로 태그되어 있으며, 기술 보고서는 6월에 arXiv:2606.06928로 공개되었다. 그리고 그 모든 기간 동안 누구도 이 모델을 블라인드 청취 아레나에 올리지 않았다. 가장 그럴듯한 설명은 시시하다. 아레나 슬롯은 보통 홍보할 호스팅 엔드포인트가 있는 공급업체들이 채우는데, OpenBMB는 그런 엔드포인트를 판매하지 않는다. VoxCPM2는 Hugging Face와 ModelScope에 가중치를 제공하고, vLLM-Omni를 통해 OpenAI 호환 /v1/audio/speech 서버를 제공하며, 그것이 배포 이야기의 전부다.

그래서 정직한 입장은 이렇습니다. 우리는 Drama 3을 점수와 비교할 수도 있고, 두 모델을 서로 비교할 수도 있습니다. 둘 다 동시에 할 수는 없으며, VoxCPM2 대 Drama 3 Elo를 제시하는 모든 페이지는 그런 Elo를 지어내는 것입니다.

둘 모두가 발행하는 단 하나의 축

Seed-TTS-eval은 이 분야에서 공통 기준에 가장 가까운 지표이며, 두 연구소 모두 이에 대해 보고합니다. 하지만 두 곳 모두 같은 형식의 전체 표를 공개하지 않기 때문에, 다음 내용은 두 공급업체가 스스로를 측정한 결과입니다.

• 영어 단어 오류율 — Drama 3는 최종 테이크에서 1.54%를, 첫 테이크에서 2.20%를 보고합니다. VoxCPM2는 단일 패스에서 1.84%를 보고합니다. 완성된 Drama 3 테이크는 세 수치 중 가장 좋고, 첫 테이크는 가장 나쁩니다.

• 중국어 오류율 — Drama 3는 최종 테이크에서 0.83% CER, 첫 테이크에서는 1.00%; VoxCPM2는 0.97% CER. 동일한 양상으로, Drama 3의 최종 테이크가 앞서고 첫 테이크는 대략 비슷한 수준이다.

• 화자 유사도 — Drama 3는 영어에서 0.640(0–1 척도)을 보고하며, VoxCPM2는 영어에서 75.3, 중국어에서 79.5를 보고하는데, 이는 자사 보고서의 다른 부분에서 사용된 0–100 기준으로 환산하면 0.753과 0.795입니다. VoxCPM2는 자체 수치 기준으로 더 강력한 클로너입니다.

• 더 폭넓은 스트레스 — VoxCPM2는 또한 11개 언어에 걸친 CV3-eval 오류율(zh 3.65%, en 5.00%, hard-zh 8.55%, fr 9.85%, it 4.25%, ru 5.21%)과 내부 30개 언어 평균 1.68%를 공개합니다. Drama 3는 이에 상응하는 언어별 오류 표를 공개하지 않으므로, 그 옆에 나란히 놓을 것이 없습니다.

유사성 격차는 진지하게, 단어 오류 격차는 가볍게 받아들이세요. 화자 유사성은 동일한 참조 오디오의 임베딩 간 코사인 거리이기 때문에 하네스 차이에도 살아남을 가능성이 가장 높은 지표입니다. 단어 오류율은 정규화, 텍스트 전처리, 그리고 어떤 참조 클립이 사용되었는지에 따라 달라지며, 두 연구소가 그 어느 것에도 합의할 필요는 없었습니다. 방향은 신뢰할 수 있습니다 — VoxCPM2는 더 충실하게 복제하고, Drama 3는 수정 후 더 정확하게 전사합니다 — 하지만 그 크기는 측정값이라고 볼 수 없습니다.

아무도 헤드라인에 올리지 않는 수정세

1.54%와 2.20%는 동일한 테스트에서 같은 모델을 측정한 값이며, 차이는 오직 해당 테이크가 첫 시도에서 채택되었는지 여부뿐입니다. Fish Audio의 기술 보고서는 이 점에 대해 이례적으로 정직합니다. 두 수치를 모두 보고하는데, 멀티 테이크 수정이 바로 이 제품의 본질이기 때문입니다. 이 제품이 내세우는 것은 한 대사를 일상적인 언어로 연출하고, 듣고, 방향을 다시 잡고, 원하는 테이크를 남기는 것입니다. 그리고 벤치마크는 바로 그렇게 남긴 테이크를 반영합니다.

파이프라인이 그렇게 작동한다면, 당신이 보게 되는 숫자는 1.54%입니다. 단일 패스를 실시간 통화, 게임 대사 한 줄, 또는 사람 개입이 없는 배치 렌더링으로 스트리밍하고 있다면, 당신은 2.20%를 사는 셈입니다 — 이는 VoxCPM2의 단일 패스 1.84%보다 나쁩니다. 이 역전은 이 비교에서 가장 유용한 사실이며, 어느 벤더의 표에서도 분명히 드러내지 않는 사실입니다. 또한 이는 워크플로의 비용을 매기기도 합니다: 추가 테이크마다 전체 합성이 한 번씩 더 필요하고, Drama 3는 입력 문자 수로 과금하므로, 세 테이크 습관은 청구서를 세 배로 늘립니다.

VoxCPM2에는 이런 종류의 수정 메커니즘이 없습니다. 제로샷, 이어쓰기, 참조 전용, 참조와 프롬프트 오디오 결합의 네 가지 생성 모드를 제공하며, 마음에 들지 않는 결과에 대한 대응은 다른 스타일 태그로 다시 렌더링하는 것입니다. 문자당 비용을 지불하지 않기 때문에 시도당 비용은 더 저렴하지만, 거부된 테이크에 대한 모델 수준의 기억은 없습니다.

하드웨어 최소 기준이 바로 실질적인 결정이다.

여기서 두 모델은 더 이상 서로의 대체재가 아닙니다.

• VoxCPM2 메모리 사용량 — 약 8GB의 VRAM, RTX 4090에서 실시간 계수 약 0.30, Nano-VLLM 사용 시 0.13이며, 이 프로젝트는 llama.cpp-omni를 통한 Apple M4 Pro의 Q8_0에서 1.76도 보고합니다. 워크스테이션에서 실행됩니다.

• Drama 3 풋프린트 — Fish Audio는 VRAM 최소 요구량을 공개하지 않는다. 처리량 표는 H200에서 측정되었다: 동시 스트림 1개 기준 초당 166.7프레임과 첫 오디오까지의 중앙값 88.9ms, 16개 기준 초당 927.6프레임, 64개 기준 초당 1,687프레임이며, 단일 스트림 설정에서 RTF는 0.131이다. 리뷰어들은 bf16 요구 사항을 48GB 카드로 판단하며, 커뮤니티 4비트 빌드는 대략 32GB를 요구한다고 주장한다. 이는 서버나 남의 하드웨어에서 실행된다.

• 처리량 주의 사항 — 출시 게시물은 단일 H200에서 초당 271프레임을 인용하지만, 모델 카드의 스트리밍 표는 요청 1건에서 최대 166.7에 그칩니다. 두 수치는 서로 다른 측정 설정에서는 모두 사실일 수 있지만, 이는 헤드라인 속도 수치가 부하 테스트에서 재현될 값이 아니라는 뜻입니다.

계산은 다음과 같다. 100만 자는 보통 낭독 속도로 완성된 음성 기준 약 15~20시간 분량이다. RTF 0.30인 4090에서는 GPU 시간 5~6시간에 해당하며, Fish Audio의 API를 쓰면 출시 프로모션 기간에는 미화 10달러, 11월 12일 프로모션이 끝난 뒤에는 미화 50달러다. VoxCPM2를 자체 호스팅하는 것이 오디오 1시간당 비용이 더 저렴하고, 실험 1시간당 비용은 훨씬 더 저렴하다. 계측기를 보지 않고도 한나절 동안 음성 디자인을 반복 개선할 수 있다.

라우팅은 그 선택을 없애주지 않으므로, 라우팅이 실제로 무엇을 하는지 정확히 아는 것이 좋습니다. OrcaRouter는 두 모델 중 어느 것도 호스팅하지 않습니다. Drama 3는 Fish Audio 자체 API와 여러 타사 플랫폼을 통해 이용할 수 있고, VoxCPM2는 직접 서빙하는 가중치 형태로 제공됩니다. 우리가 담당하는 것은 이 모델들을 둘러싼 파이프라인의 음성 부분입니다 — Gemini의 TTS 계열과 OpenAI의 TTS-1-HD, 그리고 공급자 간 자동 장애 조치를 제공하여, 호스팅된 엔드포인트가 비정상 상태가 되어도 제품까지 중단되지 않도록 합니다. 질문이 "이 둘 중 무엇을 실행해야 하나"라면, 답은 라우팅이 아니라 VRAM에 의해 결정됩니다.

공연 연출과 목소리 설계

두 모델은 창조적 작업이 어디에서 이루어지는지에 대해 서로 다른 입장을 취하며, 그 불일치는 표면적인 것이 아니라 구조적인 것이다.

Drama 3은 감독을 위한 도구입니다. 지시는 지시 대상이 되는 단어들 앞에 대괄호로 적고 — [목이 메어, 조용히 울면서] — 문장 중간에 바꿀 수 있습니다. 짝을 이루는 태그는 지시의 적용 범위를 특정 단어로 한정합니다: <whisper>, <emphasis>, <soft>, <fast>, <slow>, <stress>, <forceful>. 발음은 CMU 아파벳, 병음 또는 로마자로 음소 하나하나 단위까지 고정할 수 있으며, 장면은 화자당 하나의 보이스 ID를 배열로 받습니다. 여러 테이크는 앞선 테이크들을 참조해 수정할 수 있고, 단어 단위 인페인팅은 표시된 단어 하나를 주변 테이크에 맞도록 다시 렌더링합니다 — 다만 대화형 편집과 인페인팅 모두 아직 초대 전용 테스트 단계이며, 편집 API는 추후 공개될 예정입니다.

VoxCPM2는 설계 도구입니다. 대표 기능은 Voice Design으로, 자연어로 화자를 묘사하면 참조 오디오가 전혀 없이도 목소리를 만들어냅니다. 그 외에도 제로샷 복제, 프롬프트에서 이어 말하기, 분리된 참조 채널을 사용하는 참조 전용 복제(클립과 일치하는 대본이 필요 없음), 태그를 통한 스타일 제어를 지원합니다. 한계는 범위입니다. 목소리와 전달 방식을 빚어낼 뿐 장면을 만들지는 않습니다. 화자 배열 구문도, 다중 캐릭터 대화 모드도, 단어 수준 수정도 없습니다.

2인극 오디오 드라마에서는 그 차이가 어떤 벤치마크보다도 먼저 승부를 가른다. 카탈로그 전체에 걸쳐 일관된 브랜드 보이스가 필요한 제품이라면, VoxCPM2의 디자인 모드가 더 짧은 경로이고 Drama 3의 디렉션 문법은 대부분 오버헤드다.

샘플 레이트, 언어 및 코덱 인수

• 출력 — VoxCPM2는 16kHz로 인코딩하고 48kHz로 디코딩하는 비대칭 AudioVAE V2를 통해 48kHz를 출력합니다. Drama 3는 44.1kHz를 유지하며, 약 초당 21.5프레임으로 10코드북 Descript Audio Codec을 통해 생성합니다. VoxCPM2의 추가 3.9kHz는 실재하지만, 압축된 전달 형식에 비추어 보면 거의 들리지 않습니다.

• 아키텍처 — VoxCPM2는 설계상 토크나이저 프리로, MiniCPM-4 백본에서 연속 잠재를 직접 예측하며 오디오 코덱이 병목이라고 주장한다. Drama 3는 이산 토큰을 유지하고 35B를 코드북 다중 토큰 예측 디코더에 투자해 처음 두 개 이후의 9개 잔차 코드북을 예측한다. 품질의 한계가 어디에 있는지에 대한 두 가지 베팅이다.

• 언어 — Drama 3는 83개 언어를 지원한다고 표방하지만, VoxCPM2는 30개 언어에 9개의 중국 방언(쓰촨어, 광둥어, 우어, 둥베이어, 허난어, 산시어, 산둥어, 톈진어, 민난어)을 더한 수준입니다. 태국어와 베트남어, 히브리어, 스와힐리어가 필요하다면 VoxCPM2에는 이 네 가지가 모두 있고 Drama 3가 그중 어느 하나에서도 확실히 더 낫지는 않습니다. 83개 언어가 필요하다면 이 둘 중 고려 대상은 하나뿐입니다.

• 학습 데이터 — VoxCPM2는 236만 시간의 음성(중국어 및 영어 180만 시간에 더해 다국어 56만 시간)으로 훈련되었으며, 이 수치는 문서에 정확히 공개되어 있습니다. Fish Audio는 이에 상응하는 수치를 공개하지 않는데, 이는 비판이라기보다 두 논문이 서로 비교되도록 작성되지 않은 또 하나의 지점입니다.

라이선스: VoxCPM2가 확실히 앞서는 유일한 부분

VoxCPM2는 Apache 2.0 라이선스입니다. 어떤 회사든 매출 규모에 관계없이 이를 임베드하고, 수정하고, 파인튜닝하고, 재배포하며 그 결과물을 판매할 수 있습니다. 임계값도, 협상도 필요 없습니다. LoRA 및 SFT 파인튜닝이 지원되며 문서화되어 있습니다.

Drama 3는 Fish Audio 커뮤니티 라이선스 v1.0에 따라 제공됩니다. 연구 및 비상업적 작업에는 무료이고, 귀하와 귀하의 계열사가 연간 매출 미화 50만 달러 미만인 동안에는 상업적 사용도 무료이며, 그 이상일 경우에는 협상을 통해 라이선스를 취득해야 합니다. 또는 규모와 관계없이 Drama 3를 TTS, 음성 복제 또는 추론 서비스로 제공하려는 경우에도 마찬가지입니다. 완성된 클라이언트 오디오는 매출 규모와 무관하게 명시적으로 허용되지만, 경쟁 합성 API는 허용되지 않습니다. Artificial Analysis는 이를 "상업적 사용 권리가 없는 공개 가중치"라고 표시하는데, 이는 이 제한 조건을 한 줄로 잘 요약한 표현입니다.

신뢰하기보다 확인해야 할 세부 사항도 있습니다: fishaudio/drama-3에 대한 Hugging Face 메타데이터에는 여전히 fish-audio-research-license라고 표시되어 있지만, 카드 텍스트는 Community License를 설명합니다. 태그를 근거로 제품을 만들기 전에 저장소의 라이선스 파일을 읽어 보세요.

자금을 확보한 회사가 음성 기능을 출시하는 입장에서, 이 한 줄이 비교의 전부입니다. VoxCPM2는 법무 검토에 드는 비용이 없고, Drama 3는 영업팀과 대화를 나눠야 하는 비용이 듭니다.

점수 기준이 아니라 제약 조건 기준으로 선택하세요.

GPU는 하나뿐인데 제품은 출시해야 합니다. VoxCPM2. 8GB, Apache 2.0, 48kHz, 그리고 첫날 오후에 바로 쓸 수 있는 브랜드 보이스를 만들어 주는 음성 디자인 모드까지. 대신 장면 연출과 해당 카테고리에서 최고의 제공자 음성 점수는 포기하게 됩니다.

당신은 사람이 개입한 상태에서 대본 오디오를 제작하고 있습니다. Drama 3. 대괄호 지시, 범위 지정 태그, 문장 중간 전환, 단어 수준 수정은 공개 가중치가 녹음 세션에 가장 가까이 다가갈 수 있는 방식이며, 1.54%의 영어 WER은 수정 루프가 주는 결과입니다. 11월 12일 가격 변경을 예산에 반영하고 서비스 약관을 먼저 읽으세요.

30개 언어에 포함되지 않는 언어가 필요하다면 말이죠.Drama 3이거나, 아니면 둘 다 아니거나 — 하지만 특정 언어는 겉포장에 적힌 "83"이 아니라 Fish Audio 자체가 밝힌 지원 범위와 대조해 확인하세요.

당신은 특정인의 목소리를 대규모로 복제하고 있습니다. VoxCPM2의 화자 유사도는 이 페이지에서 가장 좋은 수치이며, 독립된 참조 채널 덕분에 일치하는 대본 없이도 클립에서 복제할 수 있습니다. Drama 3의 장점은 참조에 대한 충실도가 아니라 연출에 있습니다.

하면 안 되는 한 가지는 이들을 순위로 매기는 것입니다. 공통의 아레나도, 공통의 인간 선호도 연구도, 공통의 오류 하네스도 없습니다 — 그저 Elo를 가진 모델 하나와 데이터시트를 가진 모델 하나가 있을 뿐이고, 결정은 어떤 하드웨어를 보유했는지와 라이선스가 그것으로 무엇을 할 수 있게 하는지에 달려 있습니다.