Ming-3.0-tts vs Ming-3.0-tts-tiny: Checkpoint yang Lebih Kecil Adalah Unduhan yang Lebih Baik, dan yang Lebih Besar Adalah Satu-satunya yang Pernah Diukur oleh Siapa Pun

Ant Group merilis dua model suara dengan satu nama, dan penamaannya adalah hal pertama yang akan menyesatkan Anda. Ming-3.0-tts-the-default adalah model padat 0.5B: 2.96 GB di disk, tulang punggung Qwen2.5-0.5B, cepat, murah, dan satu-satunya dari pasangan itu yang memiliki skor independen. Ming-3.0-tts-tiny adalah yang lebih besar di antara keduanya dengan selisih satu orde besaran — campuran pakar berparameter 7.9B dengan 1.3B aktif per token, dibangun di atas tulang punggung Ling V3, bobot ter-shard 18 GB — dan disebut tiny karena biaya menjalankannya, bukan biaya mengunduhnya. Pilih berdasarkan labelnya dan Anda akan mendapatkan file yang salah. Kegagalan AI dan insiden agen terdokumentasi di balik rilis seperti ini dikumpulkan di the OrcaRouter AI Incident Archive di mana setiap entri menyertakan sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan tanda diperdebatkan.

Hal kedua yang akan menyesatkan Anda adalah papan peringkat. Artificial Analysis memuat baris Ming-3.0-tts dengan Provider Voice Elo 1.188 dan ketahanan pengucapan 93,2%, dan baris itu tertaut ke checkpoint 0.5B. Tidak satu pun dari itu milik Tiny. Angka-angka Tiny adalah tabel milik Ant sendiri, yang diterbitkan di kartu model dan README GitHub, dan tidak ada pihak ketiga yang mereproduksi satu pun dari angka tersebut. Jadi perbandingan yang jujur memiliki dua sisi: satu model dengan bukti independen dan tanpa mode podcast, satu model dengan bukti vendor dan kemampuan yang tidak dimiliki model lainnya. Sisi mana yang Anda butuhkan adalah pertanyaan tentang beban kerja Anda, bukan tentang model mana yang lebih baik.

Keluarga arsitektur yang sama, dua mesin yang sangat berbeda

Kedua model berbagi kerangka kerja generasi yang dijelaskan Ant dalam README: teks dan token kontrol khusus tugas mengondisikan model bahasa, yang menggerakkan kepala patch diffusion-transformer yang mengeluarkan token audio. Perbedaannya adalah model bahasa yang mendasarinya. Varian 0.5B menggunakan Qwen2.5-0.5B dense; tiny menggunakan Ling V3 mixture of experts yang sparse dengan total 7,9B dan sekitar 1,3B yang diaktifkan per token.

• Ukuran unduhan — Ming-3.0-tts 2,96 GB vs Ming-3.0-tts-tiny sekitar 18 GB tersebar dalam 30 shard

• Parameter — dense 0,5B vs total 7,9B / MoE aktif 1,3B

Backbone — Qwen2.5-0.5B vs Ling V3

• Runtime — PyTorch 2.6 + CUDA 12.4 pada tumpukan era Python 3.8 vs Python 3.10.15 + PyTorch/torchaudio 2.7.1+cu118

• Perangkat keras — diuji pada H800-80GB dan H20-96G vs H800 yang direkomendasikan, SGLang-Omni dapat berjalan pada satu GPU

• Pembuatan podcast multi-pembicara — tidak didukung vs didukung

• Lisensi — MIT vs MIT

• Skor arena independen — ya, 1.188 Provider / 1.068 Controlled / 93,2% pelafalan vs tidak ada

Kedua checkpoint tidak berbagi lingkungan Python yang sama. Itu bukan keanehan dokumentasi; artinya tim yang ingin mengevaluasi keduanya di mesin yang sama harus memelihara dua virtualenv, dan tim yang ingin melakukan uji A/B terhadap keduanya di produksi harus memelihara dua image deployment. Jika rencana Anda adalah "mulai dengan yang kecil dan tingkatkan nanti," anggarkan migrasi sebagai pekerjaan nyata, bukan sekadar perubahan konfigurasi.

Di mana kecil benar-benar lebih baik, menurut angka Ant sendiri

Kemiripan pembicara adalah keunggulan yang paling jelas dan paling konsisten, dan itulah angka yang menentukan apakah suara hasil kloning terdengar seperti orang tersebut.

• Kemiripan penutur bahasa Mandarin Seed-TTS — Ming-3.0-tts 0.758 vs tiny 0.781

• Kemiripan penutur bahasa Inggris Seed-TTS — 0,691 vs 0,728

• Kemiripan bahasa Jerman — 0,753 vs 0,791

• Kemiripan bahasa Spanyol — 0,763 vs 0,797

• Kemiripan bahasa Prancis — 0,675 vs 0,733

• Kemiripan bahasa Jepang — 0,765 vs 0,780

• Kemiripan bahasa Korea — 0,793 vs 0,797

Tiny unggul di setiap bahasa dalam hal kemiripan, biasanya dengan selisih tiga hingga enam poin, dan pola ini juga berlaku pada tolok ukur kontrol: rata-rata 74,00% pada emosi CV3 dibandingkan 72,33%, dan 75,37% pada akurasi desain suara dibandingkan 72,29%. Itu adalah dua hal yang diperhatikan pelanggan tanpa perlu diberi tahu — apakah suaranya terdengar seperti saya, dan apakah ia melakukan apa yang saya jelaskan. Pada keduanya, MoE 7.9B lebih unggul.

Akurasi konten terbagi ke arah sebaliknya, dan pembagiannya tidak simetris.

• Kesalahan kata bahasa Tionghoa Seed-TTS — 0.800% vs 0.820%. Praktis seri; model dense sedikit lebih unggul.

Kesalahan kata bahasa Inggris Seed-TTS — 1,584% vs 1,666%. Dense di depan.

• Jerman — 0.365% vs 0.325%. Sedikit unggul.

• Spanyol — 1,099% vs 0,971%. Sedikit unggul.

• Prancis — 4.264% vs 3.470%. Tiny unggul jauh.

• Kesalahan karakter Jepang — 3,765% vs 3,427%. Sedikit unggul.

• Kesalahan karakter Korea — 1,728% vs 6,000%. Dense unggul sekitar tiga setengah kali lipat.

Bahasa Korea adalah outlier yang seharusnya menghentikan siapa pun untuk menyimpulkan dari tabel bahwa "tiny lebih baik dalam hal multibahasa". Kartu milik Ant sendiri menandainya: bahasa Korea memiliki selisih akurasi multibahasa terbesar pada model tiny, dan angka 6.000% itu lebih dari tiga kali lipat yang bisa dicapai model setengah miliar. Tim yang membangun untuk pasar Korea memiliki jawaban yang jelas, dan jawabannya bukan model yang lebih besar.

Kemampuan yang bukan tolok ukur

Ming-3.0-tts-tiny menghasilkan dialog podcast multi-pembicara dari skrip dengan referensi pembicara. Ming-3.0-tts tidak. Itu adalah kemampuan produk, bukan skor, dan tidak muncul di papan peringkat mana pun — itulah sebabnya mudah terlewat saat membandingkan lembar spesifikasi yang keduanya mencantumkan "voice cloning" dan "voice design."

Evaluasi podcast Ant, pada harness-nya sendiri, menempatkan tiny pada tingkat kesalahan karakter 2,03% dengan kemiripan pembicara 0,561 dan UTMOS 2,12 dibandingkan dengan ZipVoice-Dia pada UTMOS 2,24, FireRedTTS2 pada CER 3,34%, dan MOSS-TTSD pada 8,62%. Kesenjangan UTMOS adalah hal yang perlu dicatat: tiny unggul dalam akurasi konten dan tertinggal dari pembanding terbaik dalam naturalitas, yaitu trade-off yang sama yang disiratkan oleh angka kemiripan pembicara dari arah sebaliknya. Pembuatan podcast lebih menghargai giliran bicara dan konsistensi pembicara daripada satu klip yang sempurna, dan itulah bentuk keunggulan tiny.

Jika Anda membutuhkan dua orang yang sedang berbicara, tidak ada perbandingan di sini — satu model bisa melakukannya dan satu lagi tidak. Semua hal lain dalam artikel ini membahas kasus ketika keduanya mampu mengerjakan tugas tersebut.

Berapa biaya nyata kesenjangan kemandirian bagi Anda

Posisi arena model 0,5B perlu dipahami sebelum Anda memutuskan seberapa besar bobot yang akan diberikan padanya. Model ini mencetak 1.188 Provider Voice Elo, peringkat ke-18 dari 97, dan 1.068 Controlled Voice, peringkat pertama di antara model open-weights dan ke-12 secara keseluruhan. Pada pelafalan, model ini berada di 93,2%, secara praktis setara dengan Fish Audio Drama 3 Preview dan di depan Eleven v4. Itu adalah pengukuran independen dengan jumlah sampel dan interval kepercayaan yang dipublikasikan.

Yang Anda dapatkan dari itu adalah kalibrasi. Anda tahu secara kasar posisi model dense dibandingkan ElevenLabs dan Cartesia, karena lab yang sama mengukur ketiganya pada papan yang sama. Untuk tiny, Anda hanya tahu apa yang dikatakan Ant, yang diukur pada harness Ant dengan pengaturan Ant, dan Ant adalah pihak yang berkepentingan atas hasilnya. Ini bukan tuduhan — tabel-tabelnya luar biasa terus terang, termasuk angka Korea dan daftar keterbatasan yang menyebut kontrol pitch dan desain suara role-play sebagai titik lemah. Ini adalah pernyataan tentang apa yang dapat didukung oleh sebuah angka. Tabel vendor memberi tahu Anda bahwa model tersebut kompetitif pada sumbu yang dipilih vendor untuk diukur; baris arena memberi tahu Anda di mana posisinya dibandingkan sistem yang sudah Anda gunakan.

Ada satu hal spesifik yang juga tidak diberitahukan papan independen kepada Anda: papan itu mengukur satu suara. Artificial Analysis mencatat bahwa setiap model dievaluasi pada papan pengucapan dengan satu suara, dan baris Ming menggunakan endpoint Ant dengan tiga suara asli yang tersedia. Apakah angka 93,2% itu tetap berlaku pada suara-suara hasil kloning yang benar-benar akan dirilis suatu produk, belum diketahui, dan itulah hal pertama yang layak Anda uji sendiri.

Memilih, dalam praktik

Pohon keputusan itu pendek.

Ambil Ming-3.0-tts (0.5B) jika Anda menginginkan unduhan terkecil yang layak, jika Anda men-deploy untuk bahasa Korea, jika perangkat keras Anda berupa satu kartu 80 GB yang juga Anda gunakan untuk hal lain, atau jika Anda memerlukan model yang perilakunya telah diukur oleh orang selain pembuatnya. Pada 2,96 GB dan 44,3 karakter per detik pada harness independen, ini adalah narator yang memadai yang melampaui kecepatan bicara real-time pada satu GPU.

Pilih Ming-3.0-tts-tiny jika kemiripan pembicara adalah produknya — suara merek hasil kloning, pembacaan nyaring yang dipersonalisasi, apa pun yang membuat penilaian pertama pendengar adalah "apakah itu terdengar seperti mereka" — atau jika Anda memerlukan dialog podcast, atau jika akurasi bahasa Prancis, Jerman, Spanyol, atau Jepang menjadi kendalanya. Siapkan 18 GB bobot, lingkungan Python 3.10 terpisah, dan kartu kelas H800.

Jangan pilih keduanya, namun jika Anda memerlukan angka independen sebelum mengalokasikan kapasitas produksi untuk tiny. Baris arena tersebut tidak ada, laporan teknis masih belum dicentang di peta jalan, dan akselerasi vLLM-Omni ditandai selesai di README tanpa resep yang dipublikasikan. Ketiga celah itu adalah tiga hal yang sama yang akan membuat tiny mudah direkomendasikan.

Satu catatan operasional yang berlaku untuk keduanya: tidak ada checkpoint yang melakukan streaming. Tidak ada waktu hingga audio pertama yang dipublikasikan untuk kedua model, dan angka throughput arena adalah generasi atas permintaan yang telah selesai. Jika aplikasi Anda bersifat percakapan, keluarga ini bukan alatnya, terlepas dari ukuran mana yang Anda pilih.

Pertanyaan perutean, yang berbeda di sini

Sebagian besar perbandingan di situs ini diakhiri dengan paragraf tentang konsolidasi akses. Yang ini tidak bisa, karena OrcaRouter tidak menghosting checkpoint Ming mana pun — katalognya tidak memuat model ucapan Ming, dan keduanya diakses dengan mengkloning repositori GitHub Ant dan menjalankan bobotnya sendiri. Mengatakan sebaliknya akan menjadi kebohongan yang bisa diperiksa pembaca dalam tiga puluh detik.

Yang benar memang lebih sempit, tetapi tetap berguna. Pipeline suara biasanya mengutamakan teks: sesuatu menulis naskah, sesuatu menerjemahkannya, sesuatu memeriksanya terhadap gaya internal. Tahap teks itu dapat berada di balik satu kunci — lebih dari 200 model pada harga daftar penyedia tanpa markup tambahan, failover otomatis ketika penyedia mengalami penurunan kinerja, dan DSL perutean untuk mengirim tugas ke model berbeda berdasarkan isi permintaan. Tahap ucapan dalam perbandingan ini tetap berjalan di perangkat keras Anda, apa pun pilihannya, dan jalur self-hosted-lah yang membuat pilihan antara kedua checkpoint dapat dibalik: bobot MIT tidak kedaluwarsa, dan model yang sudah ada di disk Anda adalah model yang dapat terus Anda layani saat mengevaluasi penggantinya.

Apa yang bisa menyelesaikannya

Tiga perkembangan, diurutkan berdasarkan seberapa besar pengaruhnya terhadap rekomendasi. Satu baris kecil di arena akan memberi tahu Anda apakah keunggulan kemiripan bertahan dalam perbandingan pendengar buta, yang merupakan satu-satunya pengujian yang belum dijalankan. Laporan teknis akan menjelaskan mengapa MoE dengan 1,3B parameter aktif memperoleh kemiripan penutur tetapi kehilangan akurasi bahasa Korea, dan apakah itu akibat pembagian data atau konsekuensi arsitektur. Dan resep vLLM-Omni yang dipublikasikan akan membuat checkpoint 18 GB praktis di perangkat keras sewaan, alih-alih menjadi deployment riset.

Hingga saat itu, cara membingkai yang berguna adalah bahwa Ant merilis dua model untuk dua tugas dan memberi mereka nama yang membuat tugas yang lebih kecil terdengar seperti file yang lebih kecil. Ternyata bukan. Model 0.5B adalah yang bisa Anda ukur, terapkan, dan pertahankan dalam tinjauan desain; model 7.9B adalah yang terdengar lebih mirip orang yang Anda kloning, dalam enam dari tujuh bahasa, jika Anda sanggup menerimanya begitu saja berdasarkan kepercayaan.