Phonon vs Sesame Preview: 32배 적은 매개변수, 동일한 코덱, 다른 승부수

먼저 Phonon 31M과 Sesame Preview를 나란히 놓으면 가장 먼저 일치하는 것은 기반 구조다. 둘 다 24 kHz 모노 음성을 생성하고, 둘 다 Kyutai의 Mimi 코덱으로 인코딩하며, 둘 다 Apache 2.0이다. 두 번째로 일치하는 것은 더 이상하다: Sesame Preview 뒤에 있는 오픈 체크포인트인 Sesame CSM-1B는 약 10억 개의 파라미터를 갖고 있다. Gradium의 Phonon 31M은 2026년 10월 20일 공개되었으며 3,100만 개의 파라미터를 갖고 있다. 이는 동일한 디코더를 통해 동일한 샘플 레이트를 출력하는 두 시스템의 모델 크기에서 32배 차이다.

이 격차는 효율성이 이겼다는 이야기가 아니다. 그것은 대화형 음성에 무엇이 필요한지에 대한 두 가지 서로 다른 베팅에 관한 이야기다. Sesame의 모델은 매개변수를 맥락에 쓴다. 즉, 목소리의 일관성과 적절한 어조를 유지하기 위해 이전 발화를 읽으며 대화를 이어가도록 설계되었다. Phonon은 맥락에는 거의 아무것도 쓰지 않고, 브라우저 탭, 스마트폰 앱, 라즈베리 파이 안에서 실행될 수 있을 만큼 작아지는 데 모든 것을 쏟는다. 두 제품의 출시는 19개월 차이가 나며, 그동안 시장의 소형 쪽은 크게 나아갔다.

먼저, "Sesame Preview"가 실제로 무엇을 가리키는지.

이 점이 중요한 이유는 대부분의 비교가 이를 잘못 짚기 때문입니다. Sesame Preview는 소비자용 제품입니다 — sesame.com의 Maya 및 Miles 음성으로, 회사가 음성 존재감이라고 부르는 것을 보여주는 데모입니다. 오픈 웨이트는 별개입니다: Sesame CSM-1B는 2025년 3월 13일 Apache 2.0으로 공개된 기본 생성 모델로, Sesame이 결코 어떤 특정 음성으로도 파인튜닝되지 않았다고 명시한 모델입니다. 프리뷰의 음성은 한 번도 공개된 적 없는 파인튜닝 변형에서 나옵니다.

그래서 청취자가 Preview 데모를 Phonon의 공개 체크포인트와 비교하는 것은 선별된 제품을 가공되지 않은 모델과 비교하는 것입니다. 그것은 공정한 비교가 아니며, 실제로 대부분의 사람들이 하고 있는 비교가 바로 그것입니다. 공정한 비교는 CSM-1B 대 Phonon 31M입니다: 둘 다 다운로드할 수 있고, 둘 다 Apache 2.0이며, 둘 다 영어 우선이고, 둘 다 검토할 수 있도록 공개되어 있습니다.

Sesame 카드에는 두 번째 문제가 있습니다. 이 모델은 1B로 브랜딩되어 있지만, Hugging Face 메타데이터에는 F32 텐서 기준 2B 파라미터로 나와 있습니다. 카드에서는 이 불일치를 설명하지 않습니다. 어느 쪽이든 Phonon보다 한 자릿수(약 10배) 높습니다.

같은 코덱, 정반대의 베팅

CSM은 Llama 백본과 Mimi 코드를 출력하는 더 작은 오디오 디코더를 사용해 텍스트 및 오디오 입력으로부터 RVQ 오디오 코드를 생성한다. 이 아키텍처는 말을 할 줄 아는 언어 모델이다. 즉, 지금까지의 대화를 조건으로 삼아 오디오 토큰을 이어 쓸 시퀀스로 취급한다. 그렇기 때문에 Sesame의 문서에서는 모델에 맥락을 제공할 때 가장 좋은 소리를 낸다고 강조하며, 권장 사용법에서 한 줄의 텍스트가 아니라 이전 화자 세그먼트를 전달하는 것이다.

Phonon은 80밀리초 프레임 단위로 잠재 변수를 예측하고 Mimi가 이를 디코딩하는 플로우 매칭 트랜스포머입니다. Pocket TTS를 기반으로 합니다. 제품 관점에서 대화 상태나 컨텍스트 윈도는 없습니다. 텍스트와 목소리를 주면 말합니다. 런타임은 Rust이며 추론 시 PyTorch가 없고 CPU, Core ML, QNN, WebAssembly 경로를 제공합니다.

• 매개변수 — Phonon 31M은 31M, Sesame CSM-1B는 브랜드 표기상 1B이며, Hugging Face 메타데이터에는 2B로 기재되어 있습니다.

• 출력 — 둘 다 24kHz 모노.

• 코덱 — 둘 다 Mimi.

• 컨텍스트 — Phonon 31M의 경우 없음; Sesame CSM-1B의 경우 이전 대화 세그먼트를 권장합니다.

• 언어 — 둘 다 영어이며, Sesame은 비영어가 약하다고 경고합니다.

• 라이선스 — 둘 모두 Apache 2.0.

Sesame의 파라미터로 얻을 수 있는 것

대화형 존재감은 마케팅 문구가 아니라 특정 기술적 선택에 해당합니다. 이전 턴을 보는 모델은 문장 경계를 넘어 운율을 이어가고, 매 발화마다 중립적인 낭독으로 초기화되는 것을 피하며, 긴 대화에서도 캐릭터 목소리를 안정적으로 유지할 수 있습니다. CSM-1B는 이를 위해 만들어졌으며, 2025년 3월 Sesame을 유명하게 만든 데모가 설득력 있었던 것은 바로 목소리가 경청하는 것처럼 들렸기 때문입니다.

대가는 이점을 얻으려면 컨텍스트가 필요하다는 것입니다. 이전 세그먼트 없이 CSM-1B를 통해 단일 라인을 합성하는 것은 데모가 약속한 경험이 아닙니다. 이는 유능하지만 눈에 띄지 않는 TTS 낭독입니다. Preview의 Maya 음성을 기대하며 체크포인트를 다운로드한 팀들은 곧 알게 됩니다: 그 음성은 가중치 안에 없습니다.

Phonon은 정반대의 트레이드오프를 선택한다. 대화라는 개념이 없어서 흐트러지거나 초기화될 수 없다 — 모든 발화는 독립적이고 결정적이다. 알림, 내비게이션 안내, 게임 대사에는 그것이 정확히 맞는다. 마지막 문장을 기억하는 것처럼 들려야 하는 컴패니언 캐릭터에는 충분하지 않으며, 아무리 속도를 높여도 해결되지 않는다.

19개월이 가져온 것

흥미로운 숫자는 32×가 아니다. 2026년 10월에 공개된 31M 모델이 100배 더 큰 시스템들과 비슷한 수준의 영어 명료도를 주장한다는 점이다. Gradium이 이전의 약 100M 규모 내부 Phonon을 자체 평가한 결과, 2026년 4월 영어 Seed-TTS 세트에서 WER 1.48%를 보고했고, 5월에는 1.00%로 개선되었다. 공개된 31M 체크포인트는 모델 카드에서 Seed-TTS 0.51%, 더 어려운 세트 1.5%로 주장되며, 공개 블로그에서는 해당 어려운 세트에서 1.70%로 제시된다.

그 수치는 벤더가 실행해 얻은 것이며, 전사기로 whisper-large-v3를, 화자 유사도 측정에는 WavLM을 사용해 산출되었고, 독립적으로 재현된 적은 없습니다. Sesame은 CSM-1B에 대해 WER 표를 공개한 적이 없습니다. 중요한 비교, 즉 동일한 테스트 세트와 동일한 전사기로 두 모델을 비교한 결과는 공개된 곳이 없습니다. 31M 모델이 1B 모델보다 더 명료하다고 말하는 사람은 서로 다른 두 하네스에서 나온 결과를 외삽하고 있는 것입니다.

말할 수 있는 것은 이제 파라미터 격차가 품질과 깔끔하게 대응되지 않는다는 점이다. 2025년에는 10억 개 파라미터 모델이 자연스러운 영어 TTS를 위한 합리적인 최소치였다. 2026년 말에는 3,100만 개 파라미터를 가진 64MB 파일이 충분히 같은 논의에 들어온다. 이것이 Gradium 발표의 실제 뉴스이며, 어떤 단일 Elo 수치보다 더 크다.

배포: GPU 대 브라우저 탭

CSM-1B은 PyTorch 모델입니다. GPU에서는 쾌적하게 실행되고, CPU에서는 느리게 실행되며, 메모리는 메가바이트가 아니라 기가바이트 단위로 요구합니다. Hugging Face Transformers는 2025년 5월에 네이티브 지원을 추가했는데, 여기에는 배치 추론과 CUDA 그래프 컴파일이 포함되어 있어 의도된 배포 형태를 알 수 있습니다: 많은 요청을 처리하는 서버입니다.

Phonon 31M은 64.5MB로 양자화되었으며 Python, Swift, JavaScript, C용 바인딩이 포함된 Rust 런타임을 통해 실행됩니다. Apple 노트북 코어에서는 한 자릿수 밀리초 만에 시작하고, iPhone 16 Pro Neural Engine에서는 약 9ms, Raspberry Pi 5에서는 README 수치 기준 68ms — 릴리스 블로그에서는 38ms입니다. WebAssembly를 통해 브라우저 탭에서 실행할 수 있습니다. 하나의 GPU로 수천 명의 동시 사용자를 처리할 수는 없습니다. 그것은 이 모델의 용도가 아니기 때문입니다.

이것이 둘 중 하나를 고르는 가장 깔끔한 방법입니다. 음성이 데이터 센터에 상주하며 많은 사용자에게 서비스한다면 CSM-1B의 아키텍처가 더 적합합니다. 음성이 사용자의 기기에 상주하며 한 사람에게 서비스한다면 Phonon의 아키텍처가 더 적합합니다.

음성 정체성 및 동의

세서미(Sesame)의 오픈 모델은 다양한 음성을 생성하지만 기본적으로 음성 복제 시스템은 아닙니다. 모델 카드에서는 이를 기반 생성 모델로 규정하고, 음성을 일관되게 유지하는 방법으로 콘텍스트를 제시합니다. Gradium은 Phonon 31M과 함께 37개의 내장 영어 음성을 제공하며, gradium/phonon-voices에 더 큰 카탈로그가 있고, .safetensors 형식의 사용자 지정 음성 파일도 지원합니다.

두 공급업체 모두 사칭과 기만을 금지하는 허용 사용 정책 문구를 게시하고 있습니다. 그러나 10월 23일 현재 이용 가능한 자료에는 워터마크, 서명된 메타데이터, 탐지 API 등 기술적 출처 증명 메커니즘을 어느 쪽도 게시하지 않았습니다. 두 모델 중 하나를 고객 대면 제품에 배포하려는 사람에게 이는 해결된 문제가 아니라 여전히 미해결인 컴플라이언스 질문입니다.

프리뷰가 여전히 우위를 점하는 부분

제품이 대화형 동반자, 즉 사용자와 여러 턴에 걸쳐 대화하고 내내 같은 인물처럼 들려야 하는 캐릭터라면, Sesame의 접근 방식이 여전히 더 직접적으로 들어맞는다. 문맥 컨디셔닝이 바로 그 기능이며, Phonon에는 이에 상응하는 기능이 없다. Preview는 또한 엄선된 파인튜닝과 엄선된 보이스 캐스트에서 비롯된 세련됨을 갖추고 있는데, 이는 어떤 오픈 체크포인트도 재현하지 못한다.

기기에 음성 기능이 필요하거나, 브라우저에서, 오프라인으로, 또는 네트워크가 따라올 수 없는 지연 시간으로 작동해야 한다면 Phonon이 더 유용한 릴리스입니다. 또한 Phonon은 더 검증하기 쉬운 쪽이기도 합니다. 런타임은 GitHub에 공개되어 있고, 가중치는 단일 64MB 파일이며, 라이선스는 제한 없는 Apache 2.0입니다.

어느 모델도 처리하지 못하는 부분

Sesame Preview에는 공개 API가 없습니다. 즉, 제품에 그 목소리를 넣고 싶은 팀이라도 간단히 호출할 수는 없습니다. 데모는 시연일 뿐입니다. Sesame의 연구를 기반으로 무언가를 구축하려면 CSM-1B를 직접 실행해야 하며, 그러면 GPU와 컨텍스트 구성 문제가 다시 따라옵니다.

Phonon은 합성만 처리하고 그 외에는 아무것도 하지 않습니다. 실제 어시스턴트에서는 음성으로 말하는 텍스트가 언어 모델에 의해 생성되며, Sesame의 모델이 소비할 대화 상태는 어딘가에서 구성되어야 합니다. OrcaRouter는 음성 제공자가 아니며 이 두 모델을 호스팅하지 않습니다. Phonon은 로컬에서 실행되고 Sesame의 가중치는 사용자의 하드웨어에서 실행됩니다. OrcaRouter가 담당하는 것은 이러한 시스템이 의존하는 텍스트 계층입니다: 200개 이상의 모델을 위한 단일 엔드포인트, 제공자 정가를 0% 마크업으로 그대로 전달, 그리고 제공자 간 장애 조치를 통해 단일 장애가 어시스턴트를 침묵시키지 않도록 합니다. 음성은 기기에 남아 있어도 되지만, 사고는 기기에 남을 필요가 없습니다.

열린 질문

Sesame의 승부수는 대화적 맥락이야말로 합성 음성과 당신이 신뢰하는 목소리를 가르는 요소라는 데 있었습니다. Gradium의 승부수는 소프트웨어 속 대부분의 음성에는 대화가 필요 없으며, 필요한 것은 프롬프트와 목소리, 그리고 왕복 없는 처리라는 것 — 그리고 임베드할 수 있을 만큼 작은 모델이 클라우드 TTS가 결코 닿지 못한 곳에서 승리할 수 있다는 것입니다.

두 가설 모두 맞을 수 있다. 앞으로 1년의 시험대는 31M 모델이 컨텍스트 컨디셔닝 없이 멀티턴 캐릭터를 유지할 수 있는지, 아니면 팀들이 결국 소형 TTS 모델에 CSM-1B가 내부적으로 하도록 설계된 역할을 수행하는 별도 상태 계층을 결합하게 되는지다. Gradium은 멀티턴 평가를 공개하지 않았다. 그것이 공개되기 전까지 안전한 해석은 Phonon이 단일 발화 영어 품질에서 격차를 좁혔지만, 아직 대화를 이어갈 수 있음을 보여주지는 못했다는 것이다.