Ming-3.0-audio-tiny vs Sesame Preview: 하나는 말할 수 있지만 평가받지 않으며, 다른 하나는 말로 먹고산다

이상한 점은,Ming-3.0-audio-tiny을 Sesame Preview 옆에 두는 일에서, 뻔한 축인 음성 품질이 바로 어느 쪽도 측정하게 놔주지 않는 항목이라는 점이다. Ming-3.0-audio-tiny에는 음성 생성기가 탑재되어 있다: 1.4GB Talker, 1.6GB VAE, CAM++ 화자 인코더, 이름 붙은 세 가지 음성, 참조 클립 복제 경로다. 그리고 해당 공급업체는 그중 어느 것에 대해서도 텍스트 음성 변환 벤치마크를 공개하지 않는다. 저장소의 세 평가 이미지는 인식, 오디오 지능, 텍스트를 다룬다. 화자 유사도 행도, 합성 음성에 대한 단어 오류 행도, 아무것도 없다. Sesame Preview는 거울상이다: 평판 전체가 그 목소리에서 나는 소리인 제품이지만, 모델 식별자도, API도, 앱에서 그 목소리에 부여된 점수도 없다.이번과 같은 릴리스의 배후에 있는 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이견 플래그를 갖는다.

둘 다 같은 방향으로 조용하고 이유는 다르며, 그것이 정직한 출발점이다. Ming-3.0-audio-tiny는 다운로드할 수 있는 체크포인트다. 가중치는 2026년 9월 3일부터 Hugging Face에 있었고, 10월 16일과 19일 사이에 바뀐 것은 그 주변의 문서 작업이었다. 수정된 config, Talker 트리, 음성 프리셋, 배포 프로필, 그리고 10월 19일의 첫 모델 카드다. Sesame Preview는 대화하는 앱으로, 공개적으로 업데이트되고, 회사가 자기 말로 설명하며, 결코 파일로 환원되지 않는다. 하나는 공급업체가 측정하지 않기로 선택했기 때문에 측정되지 않았고, 다른 하나는 실행할 것이 없기 때문에 측정 불가능하다.

소형 모델의 음성 경로는 실제로 무엇인가

그것은 모델이 아니라 첨부 파일입니다. Thinker — 두 개의 샤드에 걸쳐 17.74GB, 총 파라미터 9.3B, 활성 2.7B — 는 오디오를 읽고 텍스트를 씁니다. Talker는 Thinker의 은닉 상태를 음성으로 바꾸는 두 번째 프로세스이며, 참조 배포에서는 여기에 자체 GPU를 할당합니다. 텍스트 프로필은 devices: "0"에서 텐서 병렬 처리 1로 실행됩니다; full-audio 프로필은 Thinker를 GPU 0에 카드의 0.78로, Talker를 GPU 1에 0.18로 배치합니다. SGLang 프로필은 텍스트 전용이며 카드에도 그렇게 분명히 명시되어 있습니다.

• 음성 — vLLM-Omni의 기본값은 灵小柔라는 내장 IP 음성이며, 저장소에는 灵楷와 US_James도 voice_presets/voice_audio/ 아래에 사전 설정 참조 음성으로 포함되어 있고, 이에 대응하는 전사본은 voice_prompts.json에 있습니다.

• 복제 — 참조 WAV와 해당 파일의 정확한 전사본. 이 카드에서는 단일 요청에서 내장 음성 선택과 참조 클립을 함께 사용할 수 없다고 경고합니다.

• 언어 — 중국어와 영어, "다양한 억양과 방언 포함". Talker에 대해서는 별도의 언어 목록이 없다. 영어를 읽는 것만큼 미국식 억양으로 말할 수 있는지는 어디에도 명시되어 있지 않다.

• 라이선스 — 가중치에는 MIT가 적용됩니다. 음성 프리셋은 주의 깊게 읽어야 할 부분인데, 참조 클립에는 해당 화자가 가진 권리가 그대로 적용되기 때문입니다. 저장소에는 함께 제공되는 두 음성에 대한 별도 약관이 없습니다.

• 증거 — 음성 경로에 대해서는 없습니다. 인식 및 추론 수치는 inclusionAI 자체 수치이며, 합성 쪽은 공개된 수치가 전혀 없습니다.

그 마지막 문장이 이 비교에 판정이 적은 이유입니다. ASR을 소수점 둘째 자리까지 측정하면서 TTS에 관해서는 아무것도 공개하지 않는 공급업체는 모델의 어느 절반에 자신이 있는지를 이미 말해 준 것입니다.

같은 원장의 Sesame 측

Sesame의 공개 입장은 정반대입니다. 사람들이 통화 상대가 사람이라고 착각할 만큼 뛰어난 음성을, 기억, 커넥터, 브라우징, 그리고 2026년 10월 업데이트 이후로는 다른 에이전트를 조정하는 능력까지 갖춘 어시스턴트를 통해 제공한다는 것입니다. 회사는 그 업데이트를 더 나은 표현력과 발음을 갖춘 새로운 Conversational Speech Model이라고 설명했습니다. 그러나 이에 대한 체크포인트, 모델 ID, 지연 시간 수치, 라이선스는 공개하지 않았습니다. 엔드포인트가 없으므로 요청할 것도, 점수를 매길 응답도 없습니다.

개발자가 직접 손에 쥘 수 있는 단 하나의 아티팩트는sesame/csm-1b입니다. Hugging Face에서 Apache-2.0, 영어 전용, 약 11억 개 파라미터, Llama 계열 백본이 첫 번째 오디오 코드북을 예측하고 나머지는 더 작은 depth 디코더로 처리하며, 24 kHz에서 Kyutai의 Mimi 코덱을 통해 디코딩됩니다. 2025년 3월에 공개되었고 지난달 약 130,000회 다운로드되었으며 약 2,500개의 좋아요를 받았습니다. 모델 카드에는 이것이 베이스 생성 모델이라고 솔직하게 밝히고 있습니다 — 다양한 목소리를 생성할 수 있지만 특정 목소리에 맞춰 튜닝된 것은 아니며, 인터랙티브 데모는 체크포인트 자체가 아니라 파생물입니다.

그래서 공정하게 말하자면 이렇습니다: 2025년의 Sesame 아키텍처는 보유할 수 있습니다. 2026년에 회사를 유명하게 만든 그 목소리는 보유할 수 없습니다.

같은 단어를 쓰는 두 가지 다른 일

두 설명에서 "audio"라는 단어를 빼면 불일치가 명백해집니다. Ming-3.0-audio-tiny는 말할 수도 있는 듣기 모델입니다. 이 모델의 평가는 이해력이 중심입니다: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, 중국어 ASR 평균 문자 오류율 3.79, 방언 평균 10.29. 이는 벤더가 공개하기로 선택한 수치이며, 모두 이해에 관한 것입니다. Sesame Preview는 듣기도 하는 말하기 제품이며, 그 명성은 발언 순서 조절(turn-taking), 즉 끼어들기, 맞장구, 대화를 하나처럼 느껴지게 만드는 타이밍에 달려 있습니다.

그것들은 같은 기술이 아니며 서로 상충하지도 않습니다. 한 모델은 "세 번째 발언자가 인보이스에 대해 뭐라고 말했는가"에는 뛰어나면서 사람처럼 들리는 데는 평범할 수 있고, 그 반대도 똑같이 가능합니다. 두 벤더 중 어느 쪽의 자료에도 두 모델을 공통 축에서 순위를 매길 수 있게 해주는 것은 없습니다. 왜냐하면 그들은 결코 같은 축을 측정하지 않았기 때문입니다.

비대칭이 가장 뼈아프게 드러나는 곳은 값싼 실험이다. Ming-3.0-audio-tiny로는 같은 문장을 50번 합성하고, 참조 클립을 바꿔 가며 들어볼 수 있다. 한나절이면 되는 작업이고, 허가도 필요 없다. Sesame Preview에서 그에 해당하는 실험은 앱을 열고 의견을 형성하는 것뿐이다. 참고할 두 번째 샘플이 없기 때문이다.

빌릴 가치가 있는 단 하나의 Sesame 출판물

2026년 8월 Sesame은 음성 대화의 턴테이킹을 위한 공개 벤치마크인 TurnBench를 공개했다. 약 30시간 분량의 삼중 주석 다자 간? Wait dyadic = 2인 대화. "dyadic speech" = 2인 대화 음성. triple-annotated = 삼중 주석이 달린. Scoring protocol borrowed from conversation analysis = 대화 분석에서 차용한 채점 프로토콜. Public leaderboard and results for 14 systems. Built with Carnegie Mellon, Mundo AI and Oto. This is most useful thing in entire matchup, useful precisely because measures quality that word-error and preference-Elo boards both miss. Korean: "2026년 8월 Sesame은 음성 대화의 턴테이킹을 위한 공개 벤치마크 TurnBench를 공개했다. 약 30시간 분량의 삼중 주석 2인 대화 음성, 대화 분석에서 차용한 채점 프로토콜, 공개 리더보드, 14개 시스템의 결과가 포함되어 있으며, Carnegie Mellon, Mundo AI, Oto와 함께 구축했다. 이것은 이번 비교 전체에서 가장 유용한 항목이며, 단어 오류 및 선호도-Elo 리더보드가 모두 놓치는 품질을 측정한다는 점 바로 그 자체로 유용하다." Need maybe "matchup" = 대결/비교. "entire matchup" maybe "이번 대결 전체". Fine. Ensure no preamble. Korean. "삼중 주석이 달린 2인 대화 음성" good. "결과 for 14 systems" = 14개 시스템에 대한 결과. "built with" = Carnegie Mellon, Mundo AI, Oto와 함께 만들었다. Could use "구축했다." Need output only translated. No markers.2026년 8월 Sesame은 음성 대화의 턴테이킹을 위한 공개 벤치마크인 TurnBench를 공개했다. 약 30시간 분량의 삼중 주석이 달린 2인 대화 음성, 대화 분석에서 차용한 채점 프로토콜, 공개 리더보드, 14개 시스템에 대한 결과가 포함되어 있으며, Carnegie Mellon, Mundo AI, Oto와 함께 구축했다. 이것은 이번 비교 전체에서 가장 유용한 항목이며, 단어 오류와 선호도-Elo 리더보드가 모두 놓치는 품질을 측정한다는 바로 그 점 때문에 유용하다.

점수판이 아니라 측정 도구로 사용하세요. Sesame의 자체 앱은 여기에 없고, Ming-3.0-audio-tiny는 확실히 없습니다. 하지만 대화형 용도로 이 소형 모델을 고려하고 있다면 — 그리고 그 모델의 Talker와 131,072토큰 창은 그렇게 고려하는 것을 합리적으로 만듭니다 — 점수를 매겨야 할 것은 끼어들기 처리와 백채널 타이밍이며, TurnBench는 감이 아니라 그렇게 하기 위한 프로토콜을 제공합니다.

이에 따른 결론은 두 벤더 모두에게 불편하다. 모델이 음성 생성기와 128K 컨텍스트를 갖춰 출시하더라도 Sesame이 유명한 바로 그 부분에서는 여전히 형편없을 수 있으며, 이 비교에 포함된 어느 데이터셋도 그 사실을 알려주지 않는다.

비용, 요금표 비교를 멈추면

Sesame Preview는 가격이 없습니다. 가격을 매겨 판매할 제품이 없기 때문입니다. 앱은 무료이고, 회사는 광고를 운영하지 않으며 데이터를 판매하지 않는다고 밝히고, 공개된 요금제도 없습니다. {{1}}Ming-3.0-audio-tiny{{/1}}도 요금표가 없지만, 더 나은 것이 있습니다 — 산술적 하한입니다. 텍스트와 ASR은 GPU 하나에서 실행됩니다. 음성 출력은 GPU 두 개에서 실행되는데, {{2}}Talker{{/2}}와 그 VAE가 자체 장치를 가진 두 번째 가중치 세트이기 때문입니다. 듣는 절반만 필요하다면 두 번째 카드는 지출하지 않는 돈이며, 구독과 달리 생성하는 문장 수에 따라 비용이 늘어나지 않습니다.

그것이 이 둘이 진정으로 비교될 수 있는 유일한 지점이며, 그것은 숫자의 비교가 아니라 형태의 비교입니다. 예측 가능한 고정 하드웨어 비용 대, 약관을 감사할 수 없고 용량을 구매할 수도 없는 무료 제품.

OrcaRouter는 둘 다의 바깥에 있습니다. 우리는 Ming-3.0-audio-tiny를 제공하지 않습니다 — 그것은 우리가 호스팅하는 엔드포인트가 아니라 여러분이 실행하는 체크포인트이며 — 애초에 라우팅할 Sesame 모델도 없습니다. 라우터가 실제로 닿는 것은 음성 파이프라인의 텍스트 절반입니다: 대본, 번역, 요약, 어떤 녹음에 사람이 필요한지 결정하는 분류기입니다. 하나의 키로 공급자 정가에 마크업이 추가되지 않은 200개 이상의 모델을 이용하는 것은 세 개보다 더 짧은 계약이며, 자동 장애 조치는 한 공급자가 안 좋은 오후를 보냈다고 해서 긴 합성 배치가 죽지 않게 해줍니다. 그중 어느 것도 두 모델 중 하나를 음성으로서 더 낫게 만들지는 않습니다.

답을 바꾸는 것은 무엇인가?

세 가지 사건이 있으며, 각각 검증 가능하다. 첫째, inclusionAI가 Ming-3.0-audio-tiny에 대한 음성 합성 평가(자연스러움, 참조 클립과의 화자 유사도, 합성 음성의 오류율)를 공개한다면 Talker는 측정되지 않은 기능에서 후보로 바뀔 것이다. 둘째, Sesame이 실제 서비스용 음성의 체크포인트나 API를 공개한다면 앱의 평판을 검증할 수 있게 되고, 비교는 마침내 실행 가능한 두 대상 사이의 비교가 될 것이다. 셋째, 독립적인 제3자가 두 모델 중 하나를 TurnBench에서 평가한다면, 두 공급업체가 모두 언급하면서도 어느 쪽도 공개하지 않는 단 하나의 품질이 판가름 날 것이다.

그중 하나가 실제로 나오기 전까지는, 정확한 설명은 매력적이지 않다. Ming-3.0-audio-tiny는 17.74 GB 크기의 청취 모델로, 선택 사양인 3 GB 음성 부속물, MIT 가중치, 수정된 config, 자신이 설명하는 config보다 나흘 더 젊은 카드, 그리고 말하는 쪽 절반에 대한 공개된 수치가 없다. Sesame Preview는 들을 수 있고 감탄할 수 있지만 얻을 수는 없는 목소리다. 둘 사이의 선택은 두 모델 사이의 선택이 아니다. 그것은 무언가를 직접 측정하는 것과 측정이 허용되지 않는 것 사이의 선택이다.

이번 주에 결정해야 한다면

전사, 긴 녹음 이해, 또는 출력이 파싱할 텍스트인 모든 작업에서 Ming-3.0-audio-tiny는 둘 중 유일하게 후보가 될 수 있는 선택입니다 — GPU 하나를 배정하고, 탭 구분자가 포함된 검증된 ASR 프롬프트를 사용하며, 컨텍스트를 실제로 필요한 길이로 설정하세요. 프로토타이핑 중인 소비자용 음성 경험에서는 Sesame이 작업을 비교해 볼 기준이지, 그 위에 구축할 의존성이 아닙니다. 설치할 의존성이 없기 때문입니다.

그리고 소형 모델의 음성 출력에 관해서는: 그것을 전제로 계획을 세우기 전에 먼저 직접 시험해 보세요. GPU 두 대, 참조 클립 하나, 그 클립과 정확히 일치하는 전사본, 그리고 한 시간의 청취가 벤치마크 폴더 전체보다 더 많은 것을 알려줄 것입니다 — 왜냐하면 그 벤치마크 폴더에는 그것에 관한 숫자가 단 하나도 들어 있지 않기 때문입니다.