Motif-Audio: Model Fondasi Audio yang Dirilis Motif Technologies Tanpa Memberi Tahu Siapa Pun

Di dekat bagian atas dari Motif-Audio, yaitu kartu model, terdapat komentar HTML yang tidak dimaksudkan untuk dilihat pembaca: "TODO sebelum rilis publik: tambahkan tautan paper dan demo/Space ke Model Sources." Itu masih ada. Pada 22 Juli 2026, Motif Technologies mengunggah bobot, kode pemodelan, sebuah konfigurasi, dan kartu berukuran 13 KB ke Hugging Face dalam satu commit — lalu berhenti. Tidak ada paper. Tidak ada demo Space. Tidak ada posting blog, tidak ada utas peluncuran, tidak ada catatan pers. Dua minggu kemudian repositori tersebut menunjukkan 14 unduhan dan 14 suka, yang kira-kira jumlah yang didapat sebuah model ketika satu-satunya orang yang menemukannya adalah mereka yang sudah mengikuti halaman organisasi.

Keheningan adalah bagian yang menyesatkan, karena kartu yang ada di bawahnya bukan sekadar placeholder. Kartu tersebut mendokumentasikan autoencoder audio dual-stream dengan 726M parameter, melakukan benchmark pada 21 dataset terhadap DAC, EnCodec, Mimi, X-Codec2, SemantiCodec, WavLM, HuBERT, dan Whisper Large v3, menyertakan kode inferensi yang berfungsi, serta merilis semuanya di bawah lisensi MIT. Semua isi artikel ini dibaca dari repositori tersebut — kartunya, config.json dan model.py — ditambah perhitungan yang kami lakukan sendiri ketika kartu tersebut tidak mencantumkan angka. Setiap angka performa di bawah ini adalah milik Motif, dijalankan oleh Motif, tanpa reproduksi: sejauh yang kami tahu, belum ada satu pun pihak di luar perusahaan yang memublikasikan pengukuran independen terhadap model ini.

Apa itu Motif-Audio, dan empat hal yang bukan

Ini adalah autoencoder untuk suara. Anda memberinya gelombang mono mentah 16 kHz; ia mengodekannya menjadi laten kontinu dan mendekode laten tersebut kembali menjadi gelombang. Kartu tersebut hanya mengizinkan dua penggunaan langsung: rekonstruksi dan vocoding neural untuk audio dan ucapan umum, serta menggunakan laten sebagai representasi input untuk model lain di hilir. Itu adalah produk yang lebih sempit daripada yang disiratkan oleh frasa "model fondasi audio serbaguna", dan ketidaksesuaian inilah yang membuat sebagian besar pembaca salah paham.

• Ini bukan text-to-speech. Tidak ada pengondisian teks dalam bentuk apa pun, dan kartu tersebut mencantumkan sintesis dengan pengondisian teks sebagai hal yang secara eksplisit berada di luar cakupan. Ini hanya dapat merender ulang audio yang sudah ada.

• Ini bukan sumber token untuk LLM audio.Latennya bersifat kontinu, bukan rangkaian indeks codebook terkuantisasi, sehingga pola ala Moshi/Mimi dalam memberikan token audio diskret ke model bahasa tidak berlaku. Kartu tersebut menyatakannya secara gamblang, yang merupakan sikap disiplin yang patut disambut baik — banyak rilis codec membiarkan pembaca berasumsi sebaliknya.

• Ini bukan pita penuh. Sampling 16 kHz memberikan batas keras Nyquist 8 kHz pada apa pun yang disentuhnya. Cukup baik untuk deteksi ucapan dan peristiwa; penghalang untuk produksi musik atau apa pun yang membutuhkan udara dan sibilan yang utuh.

• Dan meskipun ada kata "codec," ini bukanlah kompresor bit-rate. Hal itu perlu bagian tersendiri, karena tabel rekonstruksi kartu itu sendiri justru mengundang perbandingan yang tidak dapat didukung oleh arsitektur tersebut.

Desain dual-stream, dan mengapa pelatihannya murah

Model menjalankan satu bentuk gelombang melalui dua encoder paralel dan menggabungkannya.

• Aliran semantik dibekukan dan melakukan pekerjaan berat. Ia membaca spektrogram log-mel 80-bin sebagai gambar 2D dan memprosesnya dengan transformer visi 48 lapis, lebar 1024, dan 16 kepala, menggunakan patch 16x16, embedding rotari 2D, serta empat token register — sekitar 605M parameter model. Ia dilatih awal secara mandiri melalui pemodelan spektrogram bertopeng: memprediksi wilayah waktu-frekuensi yang ditopengi dari lingkungan sekitarnya, mempelajari struktur konten dari audio tanpa label, lalu dibekukan.

• Aliran akustiknya kecil dan terlatih.Ia membaca mel 160-bin beresolusi lebih tinggi dan menyematkannya dengan satu Conv2d yang kernelnya membentang di seluruh tinggi 160-bin dan dua frame waktu — jalur yang sengaja dibuat dangkal yang satu-satunya tugasnya adalah detail spektral halus yang dibuang oleh encoder semantik.

• Fusion adalah satu lapisan cross-attention yang menjadikan token akustik sebagai query dan token semantik sebagai key dan value, diikuti dengan penambahan residual dan normalisasi RMS. Aliran mana yang menjadi query sangatlah penting, seperti yang ditunjukkan pada bagian berikutnya.

• Dekoder adalah backbone ConvNeXt 12 blok dengan intermediate selebar 4096, aktivasi Snake, dan kepala inverse-STFT yang memprediksi magnitudo dan fase serta merekonstruksi bentuk gelombang secara langsung, tanpa autoregresi.

Hanya 121M parameter — encoder akustik, lapisan fusi, dan decoder — yang pernah dilatih. Itulah fakta ekonomis menarik yang tersembunyi dalam jumlah parameter: Motif mendapatkan model audio yang kompetitif dari backbone self-supervised yang dibekukan plus lapisan kecil yang dilatih, yang merupakan anggaran yang sangat berbeda dari melatih 726M parameter secara end-to-end. Ini juga merupakan desain yang diam-diam mempertaruhkan segalanya pada kualitas encoder yang dibekukan tersebut.

Satu inkonsistensi kecil yang perlu ditandai bagi siapa pun yang menghitung: kartu tersebut menyebutkan total 726M, sementara pembaca safetensors Hugging Face menghitung 752.4M parameter BF16 dalam checkpoint. Selisih 26M, tidak dapat dijelaskan. Bukan tanda bahaya — perbedaan penghitungan pada buffer dan head adalah hal biasa — tetapi angka di kartu bukan angka di file.

Nomor yang tidak pernah dicetak kartu

Tidak ada satu pun bagian dari kartu model yang menyatakan kecepatan bingkai laten, dimensionalitas per detiknya, atau kecepatan bit yang setara. Semua itu dapat diturunkan dari config.json dan model.py, dan jawabannya membingkai ulang seluruh tabel rekonstruksi. Aritmetikanya, yang dapat diperiksa oleh siapa pun:

• Audio 16.000 Hz dengan panjang hop 160 menghasilkan 100 frame mel per detik.

• Embedding patch akustik menggunakan kernel 160-bin kali 2-frame dengan stride yang sesuai, sehingga menghasilkan 50 token per detik pada 1024 dimensi.

• Lapisan fusi melakukan atensi dari aliran akustik ke aliran semantik, sehingga laten hasil fusi mewarisi panjang sekuens akustik: 50 vektor per detik, dengan lebar 1024.

• Konvolusi transposisi dekoder melakukan upsampling token-token tersebut sebesar tepat 2 kali kembali menjadi 100 frame, dan head iSTFT dengan hop 160 mengubah 100 frame menjadi 16.000 sampel. Rantai ini tertutup — yang merupakan pemeriksaan bahwa pembacaan 50 Hz sudah benar.

Sekarang hitung harganya. Pada bfloat16, 50 vektor per detik dikali 1024 dimensi dikali 2 byte adalah 102,4 kB/s, atau kira-kira 819 kbit/s. PCM 16-bit tanpa kompresi pada 16 kHz adalah 256 kbit/s. "Representasi kontinu yang ringkas" tersebut sekitar 3,2x lebih besar daripada audio mentah yang dienkodenya, dan sekitar 6x ukuran spektrogram mel 160-bin yang menjadi dasar perhitungannya.

Itu bukan skandal — itulah yang seharusnya tampak dari ruang laten generatif, sama seperti latent VAE difusi gambar bukanlah JPEG. Tetapi itu berarti tabel rekonstruksi menilai Motif-Audio terhadap sistem yang melakukan pekerjaan yang jauh lebih sulit. Mimi, EnCodec, DAC, dan X-Codec2 dalam konfigurasi standarnya beroperasi di kisaran sekitar 1 hingga 6 kbit/s. Motif-Audio merekonstruksi dari informasi yang kira-kira seratus kali lebih banyak per detik. Baca tabel itu sebagai bukti bahwa dekoder tersebut setia, bukan sebagai bukti bahwa ini mengompresi lebih baik daripada DAC. Untuk kredit Motif, bagian di luar cakupan sudah memperingatkan agar tidak memperlakukannya sebagai codec token; bagian evaluasi tetap memasukkannya ke dalam tabel dengan empat codec tersebut.

Satu catatan tentang perhitungan kami sendiri: ini diturunkan, bukan dinyatakan vendor. Jika kami salah membaca arah fusi, koreksinya hanya membutuhkan satu baris — muat model dan cetak bentuk dari z_fused.

Membaca papan skor milik Motif sendiri dengan jujur.

Evaluasi semantik membekukan fitur-fitur model dan melatih probe MLP kecil di atasnya, mencakup 21 set data dalam tiga keluarga, terhadap enam baseline. Ini adalah protokol standar sekaligus benar-benar luas cakupannya. Selain itu, evaluasi ini sepenuhnya dijalankan oleh vendor.

• Pada suara lingkungan, ia unggul di semua kolom. Akurasi ESC-50 0.911, UrbanSound8K 0.871, DESED F1 0.616, FSD50k mAP 0.478, Clotho R@1 0.066, dan FSD18-Kaggle mAP 0.759 dibandingkan dengan 0.496 milik Whisper Large v3 — selisih terlebar di seluruh kartu. Jika Anda membangun pelabelan audio atau deteksi peristiwa akustik, ini adalah hasil yang seharusnya membuat Anda mengunduhnya.

• Pada ucapan, ia adalah yang terbaik dalam tiga dari sebelas kolom — CREMA-D 0.744, RAVDESS 0.726, VoxCeleb1 0.754. Itu adalah pengenalan emosi dan identitas pembicara, persis seperti yang seharusnya dikuasai oleh aliran yang membawa timbre dan tekstur. Whisper Large v3 masih memimpin sebagian besar sisanya.

• Ada satu celah yang nyata. Pada inverse-WER LibriSpeech-100h, Motif-Audio mencetak 0.000, dibanding 0.900 untuk Whisper Large v3 dan 0.825 untuk HuBERT. Fluent Speech Commands mencetak 0.800 dibanding 0.987 milik HuBERT. Sebagian dari itu mungkin karena instrumennya, bukan modelnya — DAC, SemantiCodec, dan MSM-MAE juga mencetak 0.000 datar pada kolom itu, dan probe MLP tingkat bingkai adalah cara yang buruk untuk melakukan pengenalan. Tetapi kesimpulan praktisnya tetap berlaku: jika Anda membutuhkan fitur beku untuk ASR, ini bukan modelnya.

• Tabel ini sekaligus berfungsi sebagai ablasi, dan Motif tampaknya tidak menyebutkannya.MSM-MAE, salah satu dari enam baseline, berasal dari keluarga masked-spectrogram-modeling yang sama dengan encoder semantik beku. Jadi membandingkan dua baris tersebut mengukur apa yang sebenarnya didapat dari aliran akustik yang dilatih. Motif-Audio memenangkan 15 dari 21 kolom, seri satu, dan kalah lima. Semua enam kolom lingkungan membaik, beberapa di antaranya meningkat pesat. Dua dari lima kekalahan adalah musik: FMA 0.582 berbanding 0.627, NSynth 0.699 berbanding 0.730. Menambahkan detail akustik sangat membantu pada peristiwa suara dan paralinguistik, dan sedikit merugikan pada klasifikasi timbre musik.

• Satu kolom adalah yang terbaik di tabel dan tetap buruk. Motif-Audio memuncaki transkripsi not MAESTRO pada F1 0.200, di mana setiap sistem lain berada antara 0.000 dan 0.128. Memenangkan kolom dengan batas atas 0.2 bukanlah kemampuan transkripsi; itu adalah catatan bahwa fitur yang dibekukan belum bisa melakukan tugas ini.

Rekonstruksi: kuat, dan masih belum yang terbaik di tabelnya sendiri.

Pada LibriSpeech test-clean, Motif-Audio mencatat PESQ 3.768, STOI 0.980, dan WER 1,97% pada audio yang direkonstruksi, dengan FAD 0,4506. DAC mengungguli pada dua dari empat metrik tersebut — PESQ 4.010 dan FAD 0.2099 — dan sedikit lebih baik pada WER dengan 1,94%. Motif-Audio unggul penuh pada STOI. Dibandingkan dengan Mimi (PESQ 3.439), EnCodec (2.768), dan X-Codec2 (2.433), ia jelas lebih unggul, meski sekali lagi, pada tingkat informasi yang jauh lebih tinggi.

Baris yang paling diam-diam mengungkap adalah baris terakhir: Korean FLEURS, PESQ 3.731, CER 5.13%, FAD 0.1448 — FAD terbaik di seluruh tabel. Ini adalah satu-satunya evaluasi non-Inggris dalam kartu tersebut, dan tidak ada baseline yang dijalankan bersamaan dengannya. Bagi perusahaan AI berdaulat Korea, mengevaluasi rekonstruksi bahasa Korea dan melaporkannya tanpa pesaing lebih terasa seperti uji penerimaan internal yang masuk ke kartu publik daripada sebuah benchmark.

Empat repositori dalam tiga hari

Motif-Audio tidak datang sendirian, dan konteks itu mengubah apa yang mungkin itu sebenarnya.

• 20 Juli — Motif-3-Beta, andalan mixture-of-experts dengan 315 miliar parameter, yang Artificial Analysis Intelligence Index-nya sebesar 44 menempatkannya di peringkat ketiga di antara model sumber terbuka secara global. Kami membahas rilis tersebut secara terpisah; model inilah yang membuat perusahaan dikenal di luar Korea.

• 21 Juli — Motif-Vision-Encoder, sebuah vision transformer 7B dengan hasil yang dipublikasikan terhadap DINOv3, V-JEPA 2.1, dan SigLIP2.

• 22 Juli — Motif-Audio.

• Sebelumnya — Motif-VAE, tokenizer video, pada bulan Juni; Motif-Video-2B pada bulan April.

Dua pola muncul dari daftar itu. Yang pertama adalah lisensi: semua komponennya berlisensi MIT — autoencoder audio, encoder visi, video VAE — sementara Motif-3 (Beta), LLM andalan, dibatasi untuk penggunaan riset pribadi, pendidikan, dan non-komersial. Motif memberikan komponen-komponennya secara gratis dan menahan bagian otaknya. Itu adalah strategi yang koheren bagi perusahaan yang tesis pendapatannya berjalan melalui bisnis komputasi Moreh dan program AI berdaulat pemerintah Korea, bukan melalui penjualan bobot model.

Yang kedua adalah bahwa daftar komponen mulai terlihat seperti satu kesatuan. Backbone teks, encoder visi, tokenizer video, dan kini autoencoder audio yang kartunya mengiklankan, sebagai kemampuan ketiganya, memberikan "fondasi untuk dibangun oleh model text-to-audio dan generasi musik." Pustaka yang dideklarasikan dalam repositori adalah diffusers. Latent kontinu selebar 1024 ditambah diffusers adalah substrat standar untuk generasi audio difusi-latent. Motif tidak mengumumkan hal semacam itu — ini adalah inferensi dari empat repositori dan tag metadata, bukan peta jalan. Tetapi itulah pembacaan yang didukung oleh artefak-artefak tersebut.

Kesenjangan adopsi antara saudara kandung sangat mencolok, dan perlu diingat ketika Anda melihat penghitung unduhan: Motif-3-Beta berada di 4.674 unduhan dan 210 suka, Motif-Vision-Encoder di 2.143, dan Motif-Audio di 14. Organisasi yang sama, minggu yang sama, terpisah tiga tingkat magnitudo. Tidak ada satu pun tentang kualitas model audio yang menjelaskan hal itu. Tidak mengumumkannya yang menjelaskan.

Menjalankannya, dan di mana model seperti ini cocok

Bagian panduan memulai ini secara luar biasa jujur tentang sisi tajamnya sendiri, dan masing-masing akan menghabiskan satu jam waktu Anda jika Anda melewatkannya.

• Instal torchcodec. Rilis torchaudio terbaru mendekode melaluinya, jadi torchaudio.load memunculkan ImportError tanpanya. Set lengkap: torch, torchaudio, torchcodec, diffusers, timm.

• Muat dengan trust_remote_code=True. Kode pemodelan disertakan dengan bobot dan dirutekan melalui auto_map, sehingga tidak ada kelas asli Transformers.

• Lakukan cast dengan .to(device, torch.bfloat16), bukan torch_dtype pada from_pretrained. Kartu tersebut menyatakan dengan jelas bahwa keduanya tidak ekuivalen: yang kedua membiarkan buffer-buffer mel filterbank dalam float32 dan tidak mereproduksi skor-skor yang dilaporkan. Sangat sedikit kartu yang repot-repot mendokumentasikan footgun yang sespesifik ini, dan fakta bahwa kartu ini melakukannya menunjukkan bahwa seseorang pernah terkena dampaknya secara internal.

• Masukkan audio mono 16 kHz, berbentuk (batch, 1, samples), diberi padding sehingga jumlah frame mel habis dibagi 16, lalu potong kembali keluarannya. Kartu ini menyertakan pad_for_model helper yang melakukan perhitungan tersebut.

• Forward mengembalikan empat tensor: bentuk gelombang yang direkonstruksi ditambah z_fused, z_sem, dan z_acou, sehingga Anda dapat menggunakan salah satu aliran secara terpisah sebagai fitur.

Apa yang tidak akan Anda temukan adalah endpoint yang di-host. Sidebar milik Hugging Face sendiri mengatakannya dengan gamblang: "Model ini tidak diterapkan oleh Penyedia Inferensi mana pun." Motif-Audio adalah bobot, bukan API — tidak ada yang melayani, termasuk kami — dan untuk sesuatu yang berada di dalam loop pelatihan Anda atau ekstraktor fitur Anda, itulah bentuk yang tepat. Perlu diperjelas bagian mana dari stack audio yang digambarkan. Komponen yang Anda sewa adalah lapisan sintesis dan model bahasa yang melakukan penalaran di dalam kepala; di OrcaRouter keduanya berada di balik satu kunci dengan harga resmi penyedia, markup 0%, dan failover otomatis, jadi menukar OpenAI TTS-1 HD dengan vendor suara yang berbeda adalah perubahan string, bukan siklus pengadaan. Komponen yang Anda host adalah yang Anda fine-tune, kuantisasi, dan integrasikan ke dalam pipeline — encoder beku seperti ini. Codec bukan masalah perutean. Vendor suara yang mungkin Anda ganti kuartal depan adalah masalah perutean.

Apa yang masih belum dapat diketahui

• Tidak ada makalah.TODO pada kartu itu sendiri menjanjikan satu; rak Papers milik organisasi di Hugging Face masih hanya mencantumkan laporan teknis Motif-Video 2B dan Motif 2 12.7B. Sampai makalah audio dirilis, deskripsi arsitektur itulah satu-satunya yang ada, tanpa ablasi yang menjelaskan mengapa aliran semantik tetap beku atau ukuran patch akustik dipilih dibandingkan dengan apa.

• Tidak ada pengungkapan data pelatihan."Audio tanpa label" adalah keseluruhan pernyataannya. MIT pada bobot menyelesaikan lisensi kode dan tidak menyelesaikan apa pun tentang asal-usul — dan tidak seperti kartu encoder visi, yang secara eksplisit mendorong kepatuhan lisensi dataset kepada pengguna hilir, kartu audio tidak mengangkat masalah ini sama sekali.

• Tidak ada angka latensi, throughput, atau streaming. Transformer 48 lapis pada jendela spektogram 5,12 detik tidak tampak jelas sebagai desain real-time, dan kartu tersebut tidak pernah mengklaim demikian. Jika Anda mempertimbangkannya untuk audio langsung, anggaplah Anda sendiri yang akan mengukurnya.

• Tidak ada varian 24 kHz atau 48 kHz, tidak ada build terkuantisasi, tidak ada demo Space, tidak ada sampel audio untuk didengarkan. Untuk model yang seluruh nilai jualnya adalah kualitas rekonstruksi, merilis tanpa satu pun klip sebelum/sesudah adalah kelalaian yang aneh.

• Tidak ada evaluasi independen dalam bentuk apa pun. Setiap angka di sini adalah milik Motif.

Tiga pertanyaan yang akan didapat repo ini

Bisakah saya membangun produk suara di atasnya?

Bukan dengan yang dikirim. Tidak ada pengkondisian teks, sehingga ia tidak dapat berbicara — ia hanya dapat merender ulang audio yang Anda berikan. Yang mungkin dapat dilakukannya adalah menjadi dasar bagi produk suara yang dilatih oleh orang lain: model teks-ke-ucapan atau teks-ke-audio yang belajar memprediksi z_fused dari teks, dengan dekoder Motif-Audio mengubah laten tersebut menjadi suara. Itulah tepatnya nada "Generate" di bagian pembukaan kartu. Ini adalah fondasi untuk sebuah produk, bukan produk.

Apakah lisensi MIT benar-benar aman untuk penggunaan komersial, mengingat lisensi utamanya tidak?

Lisensi di Hugging Face bersifat per-repositori, dan yang satu ini tidak ambigu: MIT, boleh digunakan, dimodifikasi, dan didistribusikan secara komersial, dengan menyertakan pemberitahuan, tanpa jaminan. Komplikasinya bukan pada teks lisensi, melainkan pada pernyataan data yang hilang. Kartu encoder visi menuliskan kepatuhan lisensi dataset kepada pengguna hilir; kartu audio tidak menyebutkan korpus sama sekali. Jika ini akan dimasukkan ke dalam produk yang dirilis, itu adalah pertanyaan untuk penasihat hukum Anda sendiri, bukan untuk kartu model. Kartu tersebut juga dengan tepat menandai bahwa rekonstruksi yang setia menjadikan model ini komponen yang dapat digunakan dalam pipeline kloning suara dan spoofing.

Haruskah saya mengganti DAC, EnCodec, atau Mimi dengan itu?

Semuanya bergantung sepenuhnya pada untuk apa codec Anda digunakan. Untuk transportasi atau penyimpanan dengan bandwidth terbatas, tidak — aritmetika bit-rate di atas mengesampingkannya, dan itu bukanlah pekerjaan yang diciptakan untuk itu. Sebagai ekstraktor fitur beku untuk penandaan audio, deteksi peristiwa, atau paralinguistik, ini adalah yang terkuat di tabelnya sendiri dengan selisih yang jauh, berlisensi MIT, dan murah untuk dievaluasi: jalankan pengujian Anda, bandingkan dengan backbone Anda saat ini, pertahankan pemenangnya. Sebagai ruang laten untuk model audio generatif, ini masuk akal dan jelas merupakan penggunaan yang dimaksudkan — tetapi Anda akan menjadi yang pertama memublikasikan hasil tersebut, yang merupakan peluang atau peringatan tergantung pada tenggat waktu Anda.

Apa yang harus ditonton

Hal yang paling informatif tentang repositori ini selama bulan depan adalah apakah TODO itu akhirnya diselesaikan. Jika sebuah makalah, demo Space, dan saudara text-to-audio muncul, maka Motif-Audio adalah komponen publik pertama dari tumpukan omni-modal, yang dirilis lebih awal karena bagian-bagiannya berlisensi MIT sedangkan produk unggulannya tidak, dan 14 unduhan akan terlihat seperti catatan kaki. Jika repositori itu tetap pada satu commit sepanjang musim gugur, berarti itu adalah komponen internal yang dibuat publik oleh seseorang karena MIT lebih mudah daripada bucket privat, dan artefak yang menarik selalu berupa resep backbone-beku-plus-cangkang-kecil daripada checkpoint-nya.

Bagaimanapun juga, bobotnya sudah tersedia, lisensinya permisif, dan posisi jujur bagi semua orang di luar Motif saat ini adalah bahwa kami telah membaca kartu model yang sangat baik dan belum ada yang memeriksanya. Cara tercepat untuk mulai memeriksa adalah dengan memuatnya dan mencetak bentuk z_fused.