Dukungan vLLM-Omni "Day-Zero" untuk Ming-3.0 Hanyalah Pull Request, dan Ia Menyajikan Checkpoint yang Salah

Pos itu terbit pada 19 Oktober 2026 dan terdengar seperti pengumuman peluncuran: lima model ucapan dari 0,5B hingga 126B, "layani semuanya hari ini dengan vLLM-Omni." Yang ditunjukkan repositori pada saat penulisan adalah satu pull request terbuka, empat puluh file, tanpa merge, dan judul yang menyebut Ming-3.0-audio-tiny sementara setiap baris patch menyasar Ming-3.0-tts-tiny. Keduanya adalah checkpoint nyata dalam Ming-3.0 keluarga yang telah diunggah inclusionAI ke Hugging Face sejak 3 September 2026, dan keduanya menjalankan tugas berbeda: yang satu mendengarkan, yang lain berbicara. Tidak satu pun merupakan unggulan 126B yang ditunjuk oleh frasa "126B total parameters, 6.5B active" dalam pos yang sama. Jadi versi jujur dari kisah hari peluncuran itu lebih sempit dan lebih berguna daripada judulnya: Ming-3.0 memiliki jalur serving yang kredibel dalam peninjauan, untuk salah satu dari lima modelnya, dan empat lainnya masih dimuat melalui Transformers atau tidak sama sekali. Kegagalan AI dan insiden stack serving yang terdokumentasi di balik pos seperti ini dikumpulkan di OrcaRouter AI Incident Archive yang tiap entrinya mencantumkan sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda status disengketakan.

Tidak ada satu pun dari ini yang merupakan keluhan tentang pekerjaannya. Pull request 9119 luar biasa menyeluruh untuk integrasi pertama, dan pengujiannya adalah alasan untuk percaya bahwa perubahan itu akan di-merge. Namun, celah antara "meng-open-source-kan lima model" dan "melayaninya hari ini" adalah seluruh topik artikel ini, karena celah itulah tempat keputusan deployment dibuat. Semua yang di bawah ini dibaca dari pull request, registry vLLM-Omni, dan lima repositori Hugging Face. Jika suatu angka berasal dari vendor sendiri, kalimat yang memuatnya menyatakan demikian.

Apa isi sebenarnya dari pull request 9119

Dibuka pada 16:32 UTC tanggal 19 Oktober 2026 terhadap vllm-project/vllm-omni, masih terbuka, 40 berkas, 4.578 penambahan dan 211 penghapusan. Pusat gravitasinya adalah kelas model baru, Ming3TTSForConditionalGeneration, ditambah entri registri pipeline, YAML deployment dua tahap, dan adaptor yang kompatibel dengan OpenAI yang mengekspos sintesis di /v1/audio/speech. Resep ini ditulis untuk satu H100 atau H200, vLLM 0.32.0, Python 3.12, CUDA 13.0 dan Transformers 5.19, dipatok ke commit vLLM-Omni 9eb1adcc0.

Dua detail membuatnya lebih dari sekadar demo. Pertama, ada uji kontrak 1.271 baris untuk kelas baru, suite transport terpisah, dan file "kontrak rilis" kecil. Suite sebesar itu ditulis oleh seseorang yang mengharapkan model bertahan melalui refactor berikutnya, bukan oleh seseorang yang menerbitkan notebook. Kedua, patch tersebut juga membawa 219 baris uji modul bersama terhadap implementasi ming_tts yang lebih lama, yang berarti penulis memeriksa bahwa jalur baru tidak secara diam-diam merusak generasi sebelumnya.

Yang tidak terdapat di dalamnya adalah dukungan apa pun untuk model pemahaman audio dalam keluarga tersebut. Tidak ada encoder untuk input audio, tidak ada adaptor transkripsi, tidak ada jalur ASR. Patch ini adalah sintesis ucapan end-to-end.

• Pull request — 9119, terbuka, dibuat 19 Oktober 2026, 40 berkas, +4.578/−211.

• Kelas ditambahkan — Ming3TTSForConditionalGeneration, didaftarkan di samping MingTTSForConditionalGeneration yang lebih lama.

• Endpoint — /v1/audio/speech berbentuk O​penAI melalui adapter baru.

• Target resep — satu H100 atau H200, vLLM 0.32.0, commit vLLM-Omni 9eb1adcc0.

• Checkpoint tersedia — inclusionAI/Ming-3.0-tts-tiny, total 7,9B, sekitar 1,3B aktif.

Lima titik pemeriksaan, dan apa arti "didukung" untuk masing-masing

Keluarga ini memang membentang dari 0.5B hingga 126B, dan rentangnya bukanlah tangga ukuran. Ini adalah tiga pekerjaan yang memakai satu skema penamaan, diunggah selama enam minggu tanpa pengumuman.

• Ming-3.0-tts-0.5B — sintesiser padat pada tulang punggung Qwen2.5-0.5B dengan kepala DiT, keluaran 44,1 kHz, tujuh bahasa plus Sichuan dan Kanton, lebih dari 100 suara bawaan bahasa Mandarin. Repositori dibuat pada 22 September 2026 pukul 12.46 UTC. MIT. Enam unduhan.

• Ming-3.0-tts-tiny — total 7.9B, sekitar 1.3B aktif, Ling V3 mixture of experts dengan kloning zero-shot, desain suara, 14 tag paralinguistik inline, dan pembuatan podcast multi-pembicara. Menit yang sama pada 22 September dengan 0.5B. MIT. Dua puluh unduhan. Inilah checkpoint yang disajikan pull request ini.

• Ming-3.0-audio-tiny — 9,3B total, 2,7B aktif, masukan audio dan teks, keluaran teks dengan opsi ucapan melalui Talker. Dibuat pada 3 September 2026 pukul 11.45 UTC. MIT. Tiga unduhan. Ini adalah checkpoint yang disebutkan dalam judul pull request.

• Ming-3.0-audio-flash — 126B total, 6.5B aktif, pembaca unggulan: aksen, dialek, audio panjang, musik, dan adegan akustik masuk, teks atau ucapan tersintesis keluar. Dibuat 3 September pukul 11:49 UTC. MIT. Dua puluh dua unduhan.

• Ming-3.0-asr-tiny — 9B, encoder audio di atas backbone Ling-tiny-v3, transkripsi bahasa Mandarin dan Inggris dengan hotword serta 15 set pengujian dialek regional. Yang terbaru dari lima: repositori dibuat 14 Oktober 2026 pukul 09:27 UTC. MIT. Tiga puluh lima unduhan.

Jadi, rentang dalam postingan itu akurat. Klaim dukungannya justru di situlah menyempit: salah satu dari lima ini memiliki jalur penyajian yang tertunda merge, dan dua yang paling sering dimaksud orang dengan "Ming-3.0" — audio-flash dan audio-tiny — sama sekali tidak memiliki integrasi di tree.

Apa sebenarnya yang ada di branch main vLLM-Omni saat ini?

Registri di main berukuran kecil dan mudah diperiksa. Di dalamnya tercantum MingTTSForConditionalGeneration untuk inclusionAI/Ming-omni-tts-0.5B dan sepasang entri MingFlashOmni untuk Ming-flash-omni-2.0. Keduanya bukan checkpoint Ming-3.0. Keduanya adalah generasi sebelumnya, dan keduanya memiliki tanda centang model yang didukung di dokumentasi.

Perbedaan itulah yang bisa menjadi titik gagal sebuah rencana deployment. "vLLM-Omni mendukung Ming" berlaku untuk Ming-flash-omni-2.0 dan Ming-omni-tts-0.5B, sudah berlaku selama beberapa rilis, dan memiliki resep di recipes/inclusionAI/. Namun pernyataan itu belum berlaku untuk apa pun yang bernama Ming-3.0. Tim yang membaca posting tersebut, memilih model audio 126B, dan menyiapkan node dengan harapan mendapatkan endpoint yang kompatibel dengan OpenAI akan menemukan checkpoint, config, dan flag trust_remote_code.

Penamaan ini membuatnya mudah terlewat bahkan bagi seseorang yang membaca diff. Kunci registri baru Ming3TTSForConditionalGeneration berada beberapa baris dari MingTTSForConditionalGeneration yang lama, dan Ming-3.0-audio-tiny pada judul PR hanya berbeda satu kata dari Ming-3.0-tts-tiny pada isinya. Jika Anda membaca sekilas, keduanya tampak seperti model yang sama.

Mengapa detail checkpoint yang salah bukanlah pedanteri

Kedua model kecil tersebut tidak dapat saling dipertukarkan. Ming-3.0-audio-tiny adalah model bahasa-audio: model ini menerima audio sebagai masukan dan menghasilkan teks, dengan opsi keluaran suara. Ming-3.0-tts-tiny adalah sintesiser: model ini menerima teks dan klip referensi lalu menghasilkan audio. Integrasi serving yang ditulis untuk salah satunya tidak memberi tahu Anda apa pun tentang tata letak memori model lainnya, perilaku batching-nya, atau bentuk endpoint-nya.

Bagi pembaca yang merencanakan pekerjaan, itu mengubah pertanyaan mana di antara dua pertanyaan yang dapat mereka jawab minggu ini.

• Jika Anda ingin menghasilkan ucapan — kloning suara, T​TS dialek, perakitan podcast dari skrip — pull request ini ditujukan untuk Anda, dan resepnya adalah satu H100 atau H200.

• Jika Anda ingin mentranskripsikan atau menalar atas audio — rapat, panggilan, wawancara yang kental dialek — tidak ada bagian dari patch ini yang berlaku, dan jalurnya adalah Transformers dengan file pemodelan khusus, atau adaptor SGLang yang didokumentasikan oleh kartu ASR.

Flagship 126B berada di kategori ketiga: ia memerlukan delapan H800 80 GB dalam tensor parallel untuk profil 128K dari vendor, atau empat GPU untuk profil SGLang khusus teks yang telah divalidasi, dan sekitar 259 GB bobot sebelum adanya KV cache. Resep satu GPU tidak akan membantunya, jadi ketidakhadirannya dari patch ini bukanlah kelalaian.

Apa yang benar dari postingan tersebut

Dua klaim lolos pemeriksaan, dan keduanya adalah yang penting bagi kredibilitas keluarga ini. Jumlah lima model itu benar, dan rentang 0,5B hingga 126B juga benar, termasuk 6,5B aktif di dalam tanda kurung — itu adalah jumlah aktivasi model flash dan tercetak di kartunya.

Klaim ketiga, “layani mereka hari ini,” adalah klaim yang perlu dibaca dengan cermat. Klaim itu benar untuk jalur T​TS-tiny hanya setelah merge, dan bahkan saat itu pun sebagai resep, bukan artefak rilis. Perbedaan antara pull request terbuka dan rilis bertag adalah persis perbedaan yang dibutuhkan tim produksi, dan tulisan itu tidak membuat pembedaan tersebut.

Ada juga tanggal yang layak diperhatikan. Patch vLLM-Omni dibuka dua belas menit setelah push terakhir inclusionAI ke repositori GitHub audio-flash, yang sendiri dibuat pada 15 Oktober — enam minggu setelah bobotnya diunggah ke Hugging Face. Integrasi ini tidak terlambat. Ia hadir dengan kecepatan yang sama seperti semua hal lain dalam keluarga ini, yakni tanpa jadwal yang dipublikasikan siapa pun.

Menjalankan Ming-3.0 minggu ini tanpa menunggu penggabungan

Setiap checkpoint dalam keluarga ini dimuat saat ini melalui Transformers, dan kartu-kartunya mendokumentasikannya. Pola pada kartu flash adalah AutoProcessor dengan use_fast=False, AutoModelForCausalLM dalam bfloat16 dengan device_map="auto", dan trust_remote_code=True — yang justru oleh kartu itu sendiri diberitahukan agar Anda membaca kode pemodelan sebelum mengaktifkannya. Repositori ini menyertakan file kustom, prosesor, Talker, VAE, dan dua suara referensi beserta transkripnya.

Untuk sintesis, checkpoint TTS memiliki titik masuk inferensi sendiri dan skrip pra-pemeriksaan yang memvalidasi checkpoint sebelum Anda memuatnya. Untuk transkripsi, kartu ASR mendokumentasikan endpoint /v1/audio/transcriptions berbentuk OpenAI melalui adaptor SGLang, dan memperingatkan bahwa prompt tervalidasi mengharapkan tab antara label bahasa dan transkripsi — tab itu adalah parser Anda, dan prompt generik "transcribe this" bukan konfigurasi yang diukur vendor.

Yang tidak Anda dapatkan di jalur itu adalah lapisan tengah: continuous batching, admission control, endpoint yang stabil, proses yang tetap bertahan saat ada permintaan bermasalah. Lapisan itulah yang diwakili oleh pull request, untuk satu checkpoint. Itulah sebabnya status merge adalah hal yang perlu dipantau, bukan model card.

Di mana router cocok, dan satu kalimat yang tidak dapat diucapkannya

OrcaRouter tidak menyediakan Ming-3.0. Tidak satu pun dari lima checkpoint itu ada dalam katalog kami, dan tidak ada panggilan ke API kami yang akan mencapainya. Model 126B yang Anda jalankan di delapan GPU Anda sendiri adalah infrastruktur, dan perutean tidak mengubah infrastruktur menjadi endpoint yang dihosting.

Yang dapat dijangkau router adalah separuh teks dari produk ucapan, yang lebih besar daripada kedengarannya: prompt yang menentukan apa yang harus ditanyakan kepada audio, pembersihan yang mengubah transkrip hasil diarisasi menjadi catatan terstruktur, guardrail yang memeriksa skrip sebelum sintesiser mengucapkannya, dan pengklasifikasi yang mengirim file ke node ASR atau node TTS. Itu semua adalah panggilan teks biasa, dan menempatkannya di balik satu API untuk lebih dari 200 model dengan markup 0% — harga daftar penyedia diteruskan apa adanya, sehingga pemotongan harga vendor langsung berlaku di sisi kami pada hari yang sama — menghilangkan tiga kontrak vendor dari proyek yang bagian sulitnya sudah berupa node GPU. Failover otomatis adalah bagian lain yang layak disebut: itulah cara menempatkan checkpoint yang belum digabungkan di balik sebagian trafik tanpa mempertaruhkan jalur produksi padanya.

Apa yang akan membuat postingan itu benar

Tiga peristiwa yang dapat dicek, diurutkan menurut seberapa besar perubahan yang akan ditimbulkannya.

• Merge-nya. Jika 9119 masuk ke rilis vLLM-Omni bertag dengan resep dan tes terlampir, satu checkpoint Ming-3.0 punya cerita serving yang nyata, dan "day zero" menjadi bisa dipertahankan untuk TTS-tiny.

• Patch kedua. Jalur pemahaman audio membutuhkan integrasinya sendiri. Sampai model flash dan audio-tiny memiliki adaptor, kalimat "vLLM-Omni mendukung Ming-3.0" hanya berarti sintesis.

• Satu angka independen. Setiap angka dalam kartu merupakan hasil pengujian inclusionAI sendiri, dan belum ada pihak ketiga yang menerbitkan skor untuk satu pun dari kelima hal tersebut. Rata-rata ASR bahasa Mandarin sebesar 3.45 dan rata-rata dialek sebesar 9.40 adalah pihak vendor yang menggambarkan dirinya sendiri di publik, yang ada nilainya, tetapi itu tidak sama dengan reproduksi.

Sampai saat itu, deskripsi yang akurat adalah yang didukung oleh repositori: keluarga ucapan lima model yang diunggah secara diam-diam selama enam minggu, didokumentasikan dalam satu hari pada bulan Oktober, dengan patch penyajian yang telah teruji dengan baik sedang dalam peninjauan untuk sintesiser 7,9B-nya dan empat checkpoint yang Anda muat sendiri. Pull request itu adalah pekerjaan yang bagus. Itu bukan rilis, dan vendor belum mengatakan bahwa itu rilis.