Ming-3.0-audio-tiny Kini Berjalan di Satu GPU — dan Konfigurasinya Akhirnya Menyebut 128K

Checkpoint di balik Ming-3.0-audio-tiny telah dapat diunduh sejak 3 September 2026 — dua shard safetensors, 17,7 GB, diunggah sembilan menit setelah repositori itu sendiri dibuat. Yang tidak ada hingga minggu ini adalah hampir semua hal yang memberi tahu Anda cara menjalankannya. Antara 16 dan 19 Oktober 2026 inclusionAI mengganti konfigurasi yang dirilis pada September, mengubah varian video-bahasa-audio dengan jendela 8.192 token menjadi varian audio-saja yang mengklaim 131.072, menambahkan Talker yang menghasilkan ucapan, menambahkan dua klip suara referensi beserta transkripnya, dan — setelah tiga hari ketika repositori sama sekali tidak memiliki kartu model — menulis satu. Kode yang ditunjuk dokumen-dokumen itu tiba di GitHub pada 15 Oktober, dalam repositori yang dinamai menurut saudara besarnya, Ming-3.0-audio-flash, dan kode itu membawa tiga profil deployment untuk model tiny yang tidak pernah dimiliki model tiny itu. Tidak ada yang mengumumkan semua ini. Jadi pertanyaan yang layak dijawab bukanlah apa yang baru, karena bobotnya berumur tujuh minggu dan identik byte demi byte dengan hari ketika bobot itu mendarat. Pertanyaannya adalah apa yang kini bisa dijalankan pembaca tetapi tidak bisa mereka jalankan pada Senin lalu, dan berapa biayanya dalam hal akurasi ketika mereka melakukannya. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam the OrcaRouter AI Incident Archive di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.

Apa yang berubah, bertanggal pada commit

Log commit Hugging Face cukup singkat untuk dibaca seluruhnya, dan pola yang terlihat tidak biasa: tiga commit pada September, tidak ada apa pun selama tiga minggu, lalu enam commit dalam empat hari.

• 3 September, 11.45 dan 11.49 UTC — repositori dibuat, lalu kedua shard masuk melalui "Add files using upload-large-folder tool". README yang disertakan berjudul "Ming Audio V3", menyatakan Apache 2.0, menandai repoautomatic-speech-recognition, dan menyebut bahwa repositori tersebut "saat ini mendokumentasikan jalur ASR."

• 17 September — examples/ folder dihapus. Setelah ini, repositori hanya berisi bobot, kode pemodelan khusus, dan kartu singkat, dan tidak ada yang lain.

• 16 Oktober, 08:14 hingga 08:20 UTC — yang krusial. config.json ditulis ulang: max_position_embeddings pada backbone teks berubah dari 8.192 menjadi 131.072, transformers_version dari 4.56.2 menjadi 5.14.1, dan audio_config.model_type dari bailing_moe_v3_vl_audio menjadi bailing_moe_v3_audio — tipe video-bahasa-audio yang tidak lagi menggambarkan model. Dalam push yang sama auto_map mendapatkan AutoModel dan AutoProcessor sebagai entri yang sebelumnya tidak dimilikinya, sebuah processor_config.json muncul, dan struktur direktori talker/ muncul: model ucapan 1,4 GB, VAE 1,6 GB, encoder speaker CAM++, transduser finite-state normalisasi teks untuk bahasa Inggris dan Mandarin. README lama ikut dihapus dalam push yang sama — selama tiga hari berikutnya repositori tidak memiliki kartu model sama sekali.

• 17 Oktober, 11:44 UTC — "Tambahkan preset suara." Dua WAV referensi, US_James.wav dan 灵楷.wav, ditambah file JSON yang memuat transkrip persisnya.

• 19 Oktober, 10:36, 11:44, dan 11:49 UTC — tiga commit pembersihan dan pengunggahan.

• 19 Oktober, 13:19 UTC — "Tambahkan kartu model Ming-3.0-audio-tiny." 8.514 byte, dan dokumen pertama dalam sejarah repositori yang mendeskripsikan model ucapan dan audio, bukan jalur ASR.

Sisi GitHub memiliki linimasa sendiri, dan dimulai lebih lambat. inclusionAI/Ming-3.0-audio-flash dibuat pada 15 Oktober pukul 03:50 UTC — enam minggu setelah bobotnya ada — dan masih terus di-push pada 19 Oktober pukul 14:53 UTC. Repositori ini memiliki delapan bintang, berkas lisensi MIT, dan direktori deploy/ yang berisi enam profil YAML, tiga di antaranya untuk checkpoint tiny berdasarkan namanya. Tidak ada repositori inclusionAI/Ming-3.0-audio-tiny; URL tersebut mengembalikan 404, dan kode model tiny berada di repositori flash bersama kode model saudaranya.

Penulisan ulang konfigurasilah inti sebenarnya

Perubahan bidang panjang konteks sebesar 16× adalah jenis perubahan yang entah bersifat kosmetik atau struktural, dan dalam kasus ini sisa diff-nya menunjukkan bahwa perubahannya struktural. Pada bulan September repositori ini merilis modeling_bailing_moe_v3_audio.py dan processing_bailing_moe_v3_audio.py di dalam tree, tetapi konfignya mendeskripsikan sebuah audio tower bertipe bailing_moe_v3_vl_audio — sisa dari build video-language — dan card-nya menyuruh Anda untuk menginstansiasi model dengan trust_remote_code=False, yang bukan seperti yang diinginkan oleh file modelling kustom. Konfigurasi Oktober adalah yang pertama di mana tipe yang dideklarasikan, runtime yang dideklarasikan, dan jalur kode-nya sepakat.

• Backbone — 24 lapisan, ukuran tersembunyi 1.536, 16 kepala atensi, 128 pakar ter-routing dengan 8 aktif per token dan satu pakar bersama, ukuran intermediat pakar 512, lapisan padat pertama pada indeks 1, faktor penskalaan ter-routing 2,5, kosakata 157.184.

• Attention — MLA, dengan latent KV selebar 512 dan latent query selebar 256, rope_theta 6.000.000, partial_rotary_factor 0,5. Bentuk KV berperingkat rendah inilah yang membuat jendela 131.072 token bahkan bisa diperdebatkan di satu kartu: cache menyimpan latent, bukan key dan value per-head.

• Menara audio — 32 lapisan, lebar 1.280, 20 kepala, konteks 3.000 frame dan 128 bin mel, dengan downsampler berkernel [3,3,3] dan stride [2,2,2]. ID token audio 157.168.

• Ukuran — 9,3B parameter total, 2,7B diaktifkan per token, bfloat16 secara keseluruhan, dideklarasikan terhadap Transformers 5.14.1.

• Input dan output — audio ditambah instruksi teks sebagai input; output berupa teks, atau teks ditambah ucapan yang disintesis melalui Talker opsional. Bahasa Tionghoa dan Inggris, termasuk aksen dan dialek, sesuai kartu.

Yang tidak dilakukan oleh penulisan ulang konfigurasi adalah menambahkan bobot apa pun. Keempat file safetensors di repositori — dua shard Thinker, Talker, VAE — memiliki ukuran yang sama pada setiap revisi yang saya periksa, hingga unggahan awal. Ini adalah perubahan dokumentasi dan pengemasan pada checkpoint yang tidak berubah, yang justru menjadi alasan lompatan dari 8.192 ke 131.072 dapat dipercaya: tidak ada yang melatih ulang apa pun, sehingga klaim tersebut dapat diuji dengan memuat model dan meminta konteks panjang, bukan diterima begitu saja.

Satu bagian dokumen masih tidak konsisten. Tag pipeline Hugging Face tingkat atas pada repositori tertulis text-to-speech, sedangkan ringkasan kartu itu sendiri menyebutnya sebagai model audio-bahasa yang menerima instruksi dan mengembalikan teks atau ucapan. Tag tersebut merupakan sisa dari Talker yang menjadi kemampuan terakhir yang disentuh, dan hal semacam ini tidak penting bagi siapa pun kecuali orang yang memfilter Hub berdasarkan tugas.

Satu GPU untuk teks, dua untuk ucapan

Di sinilah model tiny membuktikan namanya, dan itu hanya terlihat karena profil deployment sekarang publik. Profil teks model flash berjalan di perangkat: "0,1,2,3,4,5,6,7" dengan tensor_parallel_size: 8 — delapan kartu 80 GB, yang merupakan kebutuhan yang dipaksa oleh bobot bf16 sebesar 256 GB sebelum cache apa pun dialokasikan. Model tiny memiliki tiga profil sendiri, dan dua di antaranya meminta satu kartu.

• Teks dan ASR, vLLM-Omni — satu tahap pada perangkat: "0", ukuran paralel tensor 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, sampling pada suhu 0.6 dan hingga 65,536 token keluaran.

• Audio lengkap dengan keluaran suara — dua tahap. Thinker pada perangkat: "0" pada 0.78 dari kartu, dan Talker pada perangkat: "1" pada 0.18, dengan tahap Talker dibatasi hanya pada satu token keluaran dan temperature 0.0 karena tidak menghasilkan teks.

• Reproduksi ASR — pipeline hanya-thinker dengan prosesor logit tanpa-pengulangan 10-gram yang dipasang, audio dibatasi satu klip per prompt, max_model_len 131,072, temperature 0.0, 32,768 token keluaran. Itu adalah konfigurasi yang digunakan saat angka pengenalan vendor diambil, dan layak disalin persis jika Anda ingin membandingkan.

• SGLang — satu GPU, satu perangkat yang terlihat, hanya keluaran teks. Kartu tersebut secara eksplisit menyatakan bahwa keluaran suara tidak tersedia pada jalur ini.

Profil-profil itu adalah file, bukan prosa, dan terlihat di direktori deploy/ di repositori flash — enam profil YAML, tiga di antaranya dinamai menurut checkpoint kecil itu.

Bacalah angka memori itu dengan jujur. 0,92 adalah bagian dari kartu apa pun yang Anda arahkan ke tahap tersebut, bukan persyaratan: total shard Thinker adalah 17,74 GB, sehingga bobotnya muat di dalam kartu 24 GB dengan sekitar 6 GB tersisa untuk cache dan aktivasi. Reservasi 0,92 diperhitungkan untuk jendela 131.072 token plus batch 32.768 token sekaligus, dan angka itu turun jika Anda menurunkan max_model_len. Yang tidak dapat Anda lakukan pada satu kartu adalah menghasilkan ucapan, karena Talker dan VAE-nya adalah proses kedua dengan set bobot kedua — 3 GB sebelum encoder CAM++ dan transduser — dan profil referensi memberi mereka perangkatnya sendiri. Teks di satu GPU, percakapan lisan di dua: itulah aritmetika yang jujur, dan itu adalah pos anggaran yang berbeda dari delapan milik saudaranya.

Apa sebenarnya isi unduhannya?

Repositori ini berjumlah total 20,78 GB. Thinker berukuran 17,74 GB dalam dua shard masing-masing 9,55 GB dan 8,19 GB; Talker menambahkan 1,40 GB, VAE-nya 1,56 GB, encoder speaker 28 MB, dan file tokenizer serta normaliser membentuk sisanya. Tidak ada varian terkuantisasi, tidak ada checkpoint yang lebih kecil, dan tidak ada konversi GGUF yang diterbitkan oleh vendor, jadi angka bf16 adalah batas bawah kecuali Anda mengkuantisasinya sendiri.

• Memuat — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) dan AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Cuplikan milik kartu itu sendiri kemudian meng-cast audio_feats ke dtype model secara manual, yang sedikit menunjukkan bahwa jalur processor bukanlah prioritas.

• Kontrak ASR — prompt yang tervalidasi meminta model untuk menyebutkan bahasa yang diucapkan dan menempatkan tab di antara label bahasa dan transkripsi. Jika Anda membangun harness evaluasi, tab itulah parser Anda. Instruksi generik "transkripsikan ini" bukanlah konfigurasi yang diukur inclusionAI.

• Suara — default vLLM-Omni adalah suara bawaan bernama 灵小柔, dan direktori model menyertakan dua preset referensi, 灵楷 dan US_James, beserta transkripnya. Kloning suara memerlukan WAV referensi plus transkrip persisnya; kartu memperingatkan bahwa Anda tidak dapat menggabungkan pemilihan suara bawaan dengan klip referensi dalam satu permintaan.

• Lisensi — MIT di metadata kartu dan di repositori GitHub LICENSE, yang bertanggal 2025. Perhatikan apa yang tidak ada: repositori Hugging Face tidak memiliki file LICENSE miliknya sendiri. Satu-satunya teks lisensi yang secara fisik berada di dalamnya adalah milik model identifikasi bahasa yang disertakan di bawah talker/data/. Klaim MIT itu nyata, tetapi letaknya satu klik jauhnya, di repositori yang dinamai menurut model lainnya.

Traksi — tiga unduhan dan lima suka, per minggu ini. Model flash memiliki 22 unduhan dan delapan suka. Tidak satu pun dari angka itu menjadi bukti tentang kualitas; keduanya adalah bukti bahwa unggahan bulan September tanpa kartu dan tanpa pengumuman tidak menyebar.

Gambar tolok ukur, dan kolom yang hilang

Tiga PNG di assets/ memuat evaluasi, dan ketiganya merupakan hasil uji inclusionAI sendiri. Vendor menandai entri yang dievaluasi sendiri dengan tanda bintang dan mencatat bahwa model pembanding direproduksi dengan prompt dan pengaturan decoding miliknya sendiri, sehingga angka mereka dapat berbeda dari laporan resmi mereka. Sejauh yang dapat saya temukan, belum ada evaluasi independen atas checkpoint ini yang diterbitkan — tidak ada entri arena, tidak ada skor pihak ketiga — yang berarti setiap angka di bawah ini adalah vendor yang mendeskripsikan modelnya sendiri. Itu bukan alasan untuk mengabaikannya; itu adalah alasan untuk membacanya sebagai brief desain, bukan sebagai putusan.

Perbandingan yang berguna itu sangat kecil terhadap saudara kandungnya sendiri, karena keduanya menjalankan harness yang sama. Pada pengenalan, model yang lebih kecil sedikit tertinggal, dan pada penalaran audio panjang ia tertinggal jauh lebih banyak.

• Rata-rata ASR bahasa Mandarin — tingkat kesalahan karakter 3.79 untuk Ming-3.0-audio-tiny dibandingkan 3.45 untuk Ming-3.0-audio-flash. Semakin rendah semakin baik, jadi tiny tertinggal 0.34 poin.

• Rata-rata ASR bahasa Inggris — 4,36 dibanding 3,69. Rata-rata dialek — 10,29 dibanding 9,40.

• BigBenchAudio — 99,20 berbanding 99,40. Praktis imbang, dan satu-satunya baris yang tidak menunjukkan perbedaan ukuran.

• MMAU — 75,90 dibandingkan 82,00. MMAR — 67,70 dibandingkan 74,40. MMSU — 73,06 dibandingkan 78,82. MMAU-Pro — 56,42 dibandingkan 66,41.

• Akurasi audio panjang — 56.39 dibandingkan 66.30. LongAudioSpan — 35.45 dibandingkan 41.12. Skor Chain audio panjang — 10.56 dibandingkan 12.31.

• Interaksi lisan — URO-Bench-Pro 54,15 dibandingkan dengan 81,92, penurunan 27,8 poin. VoiceBench 74,29 dibandingkan dengan 86,74. SpeechFCEval 69,80 dibandingkan dengan 82,60.

• Pemanggilan alat — BFCL-v3 Audio 79,80 dibandingkan dengan 81,40. Musik — MuchoMusic 58,07 dibandingkan dengan 65,65.

Baris-baris dialek adalah pengecualian yang menarik, karena tiny tidak kalah secara merata. Ia mengungguli saudara besarnya pada Anhui (5,42 berbanding 5,76), Mandarin Timur Laut (4,21 berbanding 4,28), Jiangsu (11,44 berbanding 12,15), Shaanxi (5,81 berbanding 6,00), Shandong (10,17 berbanding 10,69), dan Yunnan (11,28 berbanding 11,53), tetapi kalah telak pada Hakka (24,08 berbanding 16,51), Hokkien (14,15 berbanding 12,84), dan Shanghainese (12,49 berbanding 11,15). Model dengan 2,7B parameter aktif yang mempertahankan enam dari lima belas baris dialek melawan model dengan 6,5B parameter aktif adalah hal paling menguntungkan di seluruh evaluasi, dan itu terkubur di tengah tabel yang rata-ratanya menyembunyikannya.

Dua celah layak disebutkan karena dapat diperiksa dan kartu tersebut tidak menunjukkannya. Pertama, lima baris dalam gambar pengenalan tidak memuat nilai tiny sama sekali — baris diarisasi pembicara dan permutasi-minimum terkonkatenasi untuk AISHELL-4, AliMeeting, dan AMI dicetak sebagai tanda pisah. Apa pun yang dilakukan model tiny pada "siapa berbicara kapan" tidak dipublikasikan. Kedua, gambar text-intelligence memiliki empat kolom dan tidak satu pun merupakan model tiny: kolomnya adalah Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus, dan Qwen3.5-Omni Flash. Bagian evaluasi kartu menyatakan bahwa angka-angka di bawah mencakup hasil untuk kedua varian Ming, yang benar untuk kedua gambar audio dan tidak benar untuk gambar teks. Jika Anda perlu mengetahui apakah backbone tiny dapat menjalankan percakapan penalaran, inclusionAI belum memberi tahu Anda.

Apa yang sebenarnya telah minggu ini berikan kepadamu

Sebelum 16 Oktober, seorang pembaca yang ingin menguji checkpoint ini harus mengunduh 17,7 GB, konfigurasi yang mendeskripsikan model bahasa-video dengan jendela 8K, dan kartu yang menginstruksikan mereka memuat kode kustom tanpa mengaktifkan kode kustom. Setelah 19 Oktober, mereka memiliki konfigurasi yang cocok dengan berkas pemodelannya sendiri, klaim 128K yang dapat diuji terhadap bobot yang tidak diubah, tiga profil penerapan bernama termasuk satu-GPU, paket suara dengan transkrip, dan kartu yang menyatakan untuk apa model itu. Tidak ada satu pun dari itu yang merupakan model baru. Semua itu adalah perbedaan antara checkpoint di disk dan checkpoint yang dapat dievaluasi seseorang dalam satu sore.

Biaya adalah bagian yang disembunyikan oleh pemilihan ukuran. Pada tabel milik vendor sendiri, beralih dari model aktif 6,5B ke model aktif 2,7B memberi Anda seperdelapan jumlah GPU dan membebani Anda 27,8 poin URO-Bench-Pro, sepuluh poin VoiceBench, dan sekitar seperlima skor Chain audio panjang. Itu pertukaran yang wajar untuk layanan transkripsi, buruk untuk apa pun yang harus bernalar atas audio selama satu jam, dan vendor mencetak kedua kolom itu berdampingan sehingga Anda dapat memutuskan mana yang sedang Anda bangun.

Di mana router membuktikan kegunaannya, dan di mana tidak

OrcaRouter tidak menyediakan Ming-3.0-audio-tiny. Model ini tidak ada dalam katalog kami, kami tidak dapat memberikan endpoint untuknya, dan tidak ada apa pun di sini yang boleh ditafsirkan sebagai tawaran untuk menyediakannya. Yang berguna dari router dalam pipeline yang dibangun di sekitar checkpoint seperti ini adalah bagian yang bukan checkpoint itu. Sistem ucapan sebagian besar adalah pekerjaan teks: prompt yang menentukan apa yang ditanyakan ke audio, parser yang mengubah label bahasa berdelimiter tab menjadi keluaran terstruktur, ringkasan yang ditulis dari transkrip, klasifikasi yang menentukan apakah file audio masuk ke model 2.7B atau yang 126B. Itu semua adalah panggilan teks biasa, dan satu API untuk lebih dari 200 model dengan markup 0% — harga daftar penyedia diteruskan, sehingga penurunan harga vendor langsung berlaku di sisi kami pada hari yang sama — adalah hal yang lebih sederhana untuk disambungkan daripada tumpukan kontrak vendor. Failover otomatis adalah yang memungkinkan Anda menempatkan model yang baru didokumentasikan di belakang sebagian pipeline tanpa mempertaruhkan seluruh jalur padanya.

Batasannya perlu dinyatakan secara gamblang. Checkpoint 17.7 GB yang Anda jalankan di GPU sendiri adalah infrastruktur, bukan panggilan API. Router merutekan panggilan. Router tidak mengubah model audio berbobot terbuka menjadi model yang dihosting, dan tidak mengubah tiga unduhan menjadi bukti produksi.

Apa yang harus ditonton

Tiga hal akan mengubah gambaran ini, dan ketiganya dapat diperiksa. Pertama, skor independen: begitu sebuah arena atau evaluator pihak ketiga mencantumkan checkpoint ini, kesenjangan interaksi lisan sebesar 27,8 poin berhenti menjadi laporan mandiri vendor dan menjadi titik data; sampai saat itu, perhatikan bahwa vendor yang sama juga menerbitkan enam baris dialek di mana model yang lebih kecil menang. Kedua, sebuah berkas LICENSE di dalam repositori Hugging Face, yang akan memindahkan MIT dari tautan di kartu menjadi fakta dalam artefak yang benar-benar dibaca oleh proses pengadaan. Ketiga, repositori GitHub yang kecil dan spesifik: saat ini profil deployment yang membuat klaim satu GPU menjadi nyata berada di repositori yang dinamai menurut model yang lebih besar, yang tidak masalah sampai seseorang mengganti namanya.

Sampai salah satunya terwujud, deskripsi akuratnya tidak glamor. Bobot yang sama dengan 3 September, sekitar 18 GB Thinker, jendela 131.072 token yang hadir lewat konfigurasi alih-alih lewat checkpoint, tiga profil serving yang muat di satu kartu untuk teks dan dua untuk ucapan, MIT di atas kertas, lima baris referensi yang memilih untuk tidak diterbitkan, dan kartu model yang tiga hari lebih muda daripada konfigurasi yang dijelaskannya. Pekan itu tidak membuat model menjadi lebih baik. Pekan itu membuatnya terbaca, dan bagi checkpoint open-weights yang tidak diumumkan siapa pun, keterbacaan adalah keseluruhan produknya.