生成されたタイトルカードは「Ming-3.0-audio-tiny vs Sesame Preview」と表示し、サブタイトルは「TTSベンチマークを持たないTalker対モデルを持たない音声」、3つのチップは「Ming: MIT、合計9.3B」「Talker: 1.4 GB、オプション」「Sesame: APIなし、モデルIDなし」と表示し、フッターは「Mingの数値はinclusionAIのリポジトリから、Sesameの数値は同社自身の出版物から。どちらも比較可能な音声スコアを提供していない。」と表示する。
Engineering & Research

Ming-3.0-audio-tiny 対 Sesame Preview:一方は話せても採点されず、もう一方は話すことで生計を立てている

著者

Magnus Corvin

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

奇妙なのは、Ming-3.0-audio-tinyをSesame Previewの隣に置く場合だ。明白な軸——音声品質——こそ、どちら側も測定させてくれない。Ming-3.0-audio-tiny は音声生成器を同梱している:1.4 GB の Talker、1.6 GB の VAE、CAM++ 話者エンコーダー、3 つの名前付き音声、参照クリップのクローニング経路だ。しかもそのベンダーは、そのいずれについてもテキスト音声合成のベンチマークを公開していない。リポジトリ内の 3 枚の評価画像は、認識、オーディオ知能、テキストを扱っている。話者類似度の行も、合成音声の単語誤り率の行も、何もない。Sesame Preview はその鏡像だ。その評判のすべてが声の響きにある製品でありながら、モデル識別子も API も、アプリ内の声に付されたスコアもない。このようなリリースの背後にある、文書化された AI 障害やエージェント事故は、OrcaRouter AI Incident Archiveに収集されており、各項目には独自の情報源、深刻度、信頼度評価、係争中フラグが付いている。

どちらも同じ方向に静かであり、しかも理由は異なっている。そして、それが正直な出発点だ。Ming-3.0-audio-tiny はダウンロードできるチェックポイントである——その重みは2026年9月3日から Hugging Face にあり、10月16日から19日にかけて変わったのは、それらをめぐる書類仕事だった。修正されたコンフィグ、Talker tree、音声プリセット、デプロイメントプロファイル、そして10月19日には最初のモデルカードである。Sesame Preview は話しかけるアプリであり、公開の場で更新され、企業自身の言葉で説明され、決してファイルには還元されない。一方は、ベンダーが測定しないことを選んだために測定されておらず、もう一方は、実行するものが何もないために測定不能である。

小型モデルの音声パスが実際には何なのか

これはモデル本体ではなく、アタッチメントです。Thinker — 2つのシャードにまたがる17.74 GB、総パラメータ数9.3B、うちアクティブ2.7B — は音声を読み取り、テキストを書き出します。TalkerはThinkerの隠れ状態を音声に変換する2つ目のプロセスであり、リファレンスデプロイでは専用のGPUが割り当てられます。テキストプロファイルはデバイス: "0"で実行されます。テンソル並列度は1です。フルオーディオプロファイルでは、ThinkerをGPU 0にカードの0.78、TalkerをGPU 1に0.18で配置します。SGLangプロファイルはテキスト専用で、カードにもそのように明記されています。

• ボイス — vLLM-Omniのデフォルトは「灵小柔」という組み込みIPボイスです。リポジトリには「灵楷」と「US_James」もプリセット参照ボイスとしてvoice_presets/voice_audio/に含まれており、対応する書き起こしはvoice_prompts.jsonにあります。

• クローニング — 参照用のWAVファイルと、その正確な文字起こし。カードには、1回のリクエストで組み込み音声の選択と参照クリップを併用することはできないと警告されています。

• 言語 — 中国語と英語。「さまざまなアクセントや方言を含む」とされており、Talker 用の言語リストは別途用意されていない。英語を読むのと同じくらい自然にアメリカ訛りで話せるかどうかについては、どこにも明記されていない。

• ライセンス — 重みはMIT。注意深く読むべきは音声プリセットの部分です。参照クリップには、その話者が持つ権利がそのまま伴うためです。リポジトリには、同梱された2つの音声に関する別個の条件は含まれていません。

• 根拠 — 音声経路については何もない。認識と推論の数値はinclusionAI自身のものであり、合成側には公表された数値がまったくない。

その最後の一文こそが、この比較で判定が少ない理由だ。ASRを小数点以下2桁まで測定しながら、TTSについては何も公表していないベンダーは、モデルのどちらの半分に自信があるのかをあなたに示している。

同じ台帳のSesame側

Sesameの公的な立場はその逆だ。人が電話口に人間がいると誤解するほど優れた音声を、記憶、コネクタ、ブラウジング、そして2026年10月のアップデート以降は他のエージェントを調整する能力を備えたアシスタントを通じて提供している。同社はそのアップデートを、より優れた表現力と発音を備えた新しいConversational Speech Modelだと説明した。しかし、そのチェックポイント、モデルID、レイテンシの数値、ライセンスは公開していない。エンドポイントが存在しないため、送るべきリクエストも、採点すべき応答もない。

開発者が実際に手にできる唯一の成果物はsesame/csm-1b(Hugging Face 上)です。Apache-2.0、英語のみ、約11億パラメータで、Llama ファミリーのバックボーンが最初の音声コードブックを予測し、残りはより小さい深さデコーダで処理し、Kyutai の Mimi コーデックを通じて 24 kHz でデコードされます。2025年3月に公開され、過去1か月で約13万回ダウンロードされ、約2,500件のいいねを獲得しています。モデルカードには、これがベース生成モデルであることが率直に記されており、多様な声を生成できるものの、特定の声にチューニングされているわけではなく、インタラクティブデモはチェックポイントそのものではなく派生版です。

公平に言えばこうです。2025年のSesameのアーキテクチャは保持できます。しかし、2026年に同社を有名にしたあの声は保持できません。

A screenshot of the sesame/csm-1b model card on Hugging Face, showing the repository header with its Like and Follow counts, a tag row including text-to-speech and English, a licence line reading Apache-2.0, and card text dating the 1B CSM release to 13 March 2025 and describing a Llama backbone with a smaller audio decoder that produces Mimi audio codes.

同じ言葉をまとう二つの異なる仕事

両方の説明から「audio」という語を取り除くと、食い違いは明らかになる。Ming-3.0-audio-tiny は、話すこともできる聞き取りモデルだ。その評価は理解力が中心で、MMAU 75.90、MMAR 67.70、MMSU 73.06、BigBenchAudio 99.20、中国語ASRの平均文字誤り3.79、方言の平均10.29となっている。これらはベンダーが公表することを選んだ数値であり、すべて理解に関するものだ。Sesame Preview は、聞き取りもする会話製品であり、その評判はターンテイキング——割り込み、相づち、会話を会話らしく感じさせる間合い——に支えられている。

それらは同じ能力ではなく、互いにトレードオフの関係にあるわけでもない。モデルは「3番目の話者が請求書について何と言ったか」に優れていながら、人間のように聞こえる点では並程度ということがあり得るし、逆も同じくらいあり得る。どちらのベンダーの資料にも、共通の軸で両者を順位付けできるものはない。なぜなら、同じ軸を測定したことがないからだ。

非対称性が最も鋭く牙をむくのは、安価な実験だ。Ming-3.0-audio-tinyなら、同じ文を50回合成し、参照クリップを変えて聴ける。午後ひとつの作業で済み、許可も要らない。Sesame Previewで同等の実験といえば、アプリを開いて感想を固めることになる。なぜなら、引くべき2つ目のサンプルが存在しないからだ。

借りる価値がある唯一のSesame出版物

2026年8月、Sesameは音声対話における発話交替のオープンベンチマーク「TurnBench」を公開した。約30時間分の3名注釈付き二者間音声、会話分析から借用した採点プロトコル、公開リーダーボード、14システム分の結果を備え、Carnegie Mellon、Mundo AI、Otoと共同で構築した。これはこの比較全体で最も有用なものであり、単語誤り率と選好Eloのボードがどちらも捉え損ねる品質を測っているからこそ有用なのだ。

スコアボードではなく計測器として使うべきだ。Sesame自身のアプリはそこに含まれておらず、Ming-3.0-audio-tinyはもちろん含まれていない。だが、tinyモデルを会話用途で検討しているなら——そのTalkerと131,072トークンのウィンドウはそう検討する合理的な理由になる——評価すべきなのは割り込み処理とあいづちのタイミングであり、TurnBenchは雰囲気ではなくそれを行うためのプロトコルを提供してくれる。

A screenshot of Sesame's research page on crossing the uncanny valley of voice, dated 27 February 2025, showing a 'Try preview now' button and the essay's opening line about how we know when someone truly understands us.

この当然の帰結は、両ベンダーにとって居心地の悪いものだ。モデルは音声生成機能と128Kコンテキストを備えてリリースされていても、Sesameの代名詞となっていることについては依然としてひどく苦手であり得るし、この比較のどちらのデータセットもそのことを教えてはくれない。

料金表を比較するのをやめたときに見えてくるコスト

Sesame Previewに価格がないのは、価格をつけて販売する製品が存在しないからです。アプリは無料で、同社は広告を出しておらずデータも販売していないと述べており、公開されている料金プランもありません。Ming-3.0-audio-tinyにも料金表はありませんが、より優れたものがあります。それは算術的な下限です。テキストとASRは1台のGPUで動作します。音声出力は2台で動作します。TalkerとそのVAEが、独自のデバイスを持つ2つ目の重みセットだからです。聞き取り側の半分しか必要としないなら、2枚目のカードは支出しなくて済むコストであり、サブスクリプションと違って、生成する文の数に応じて増えることもありません。

そこが、この両者が本当に比較可能になる唯一の点であり、それは数値の比較ではなく形の比較だ。予測できる固定のハードウェア費用と、条件を監査できず容量も購入できない無料製品との対比なのだ。

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Sesame Preview across six dimensions: what you can run, speech quality score, voices, licence, cost shape, and turn-taking evidence, with a footer noting that neither vendor ships a comparable speech score.

OrcaRouterはそのどちらにも属しません。当社はMing-3.0-audio-tinyを提供していません。これはお客様が実行するチェックポイントであり、当社がホストするエンドポイントではないからです。また、そもそもルーティングできるSesameモデルは存在しません。ルーターが実際に扱うのは、音声パイプラインのテキスト部分です。つまりスクリプト、翻訳、要約、どの録音に人間の対応が必要かを判断する分類器です。プロバイダーの定価で、マークアップを上乗せせずに200以上のモデルを利用できる1つのキーは、3つの契約を結ぶより短く、自動フェイルオーバーは、あるプロバイダーの一時的な不調で長時間の合成バッチが失敗するのを防ぎます。しかし、そのどれも、どちらかのモデルを音声としてより優れたものにするわけではありません。

何が答えを変えるだろうか

検証可能な3つの出来事。第一に、inclusionAIがMing-3.0-audio-tiny向けの音声合成評価——自然さ、参照クリップに対する話者類似度、合成音声の誤り率——を公開すれば、Talkerは未測定の機能から候補へと変わるだろう。第二に、Sesameが製品版音声のチェックポイントまたはAPIを公開すれば、アプリの評判が検証可能になり、比較はついに実行可能な2つのものの間で行われることになる。第三に、独立した第三者がどちらかのモデルをTurnBenchで採点すれば、両ベンダーがほのめかしながらどちらも公表していない唯一の品質に決着がつくだろう。

それらのどれかが実現するまで、正確な説明は地味なものになる。Ming-3.0-audio-tiny は 17.74 GB のリスニングモデルで、オプションの 3 GB 音声アタッチメント、MIT ライセンスの重み、修正済みの設定、それが記述する設定より4日後に作られたカードを備え、話す側については公表された数値がない。Sesame Preview は、聞くことも称賛することもできるが入手はできない声だ。両者の選択は、2つのモデル間の選択ではない。自分で何かを測定するか、測定を許されないかの選択だ。

今週中に決めなければならないなら

文字起こし、長時間録音の理解、または出力があなたの解析するテキストであるようなあらゆる用途では、Ming-3.0-audio-tiny が2つのうち唯一、候補にすらなるものです — GPU を1基割り当て、タブ区切り文字付きの検証済み ASR プロンプトを使用し、コンテキストを実際に必要な長さに設定してください。あなたがプロトタイピングしている消費者向け音声体験では、Sesame は自分の取り組みを比較評価するためのベンチマークであり、その上に構築する依存関係ではありません。なぜなら、インストールする依存関係が存在しないからです。

そして、その小型モデルの音声出力については、それを前提に計画を立てる前に実際に試してみてください。GPU 2台、参照用のクリップ、そのクリップに正確に一致する書き起こし、そして1時間の聴取があれば、ベンチマークフォルダ全体よりも多くのことが分かります。なぜなら、ベンチマークフォルダにはそれについての数値が1つも含まれていないからです。