Kartu hero yang dihasilkan untuk artikel 'Muse Realtime Avatar vs Realtime-Venus', menampilkan dua kartu membulat di kedua sisi judul. Kartu kiri bertuliskan 'Muse Realtime Avatar' di atas ikon bingkai video keluar dan baris 'menghasilkan video' serta '448x768 pada 25 fps, tertutup'; kartu kanan bertuliskan 'Realtime-Venus' di atas ikon kamera masuk dan baris 'membaca video' serta '2 x 9B, Apache-2.0, dapat diunduh'. Subjudulnya berbunyi 'Satu merender wajah. Yang lain mengawasi wajah.' Logo OrcaRouter dikompositkan di sudut kanan bawah.
Guides & Insights

Muse Realtime Avatar vs Realtime-Venus: Video Keluar Melawan Video Masuk

Penulis

Elias Hawthorne

Tanggal Terbit

Model terbaru · 20Lihat semua model
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Dua sistem yang diumumkan terpisah sembilan hari sama-sama menyebut diri mereka real-time dan keduanya mengklaim label audio-visual, dan keduanya menunjuk ke arah yang berlawanan pada sumbu yang sama. Muse Realtime Avatar, yang diumumkan oleh Meta pada 23 September 2026, mengambil sebuah foto dan menghasilkan video dari foto itu yang berbicara — videonya adalah keluaran, bingkai potret 448×768 pada 25 per detik, yang dihasilkan oleh Diffusion Transformer yang digerakkan audio yang berbagi aliran token dengan Muse Realtime Voice. Realtime-Venus, yang diunggah ke arXiv pada 12 September 2026 oleh Venus Team di Ant Group bersama Tsinghua University, mengonsumsi video: checkpoint Realtime-Venus-Omni mengalirkan bingkai kamera melalui encoder SigLIP2 dan membicarakan apa yang dilihatnya, sedangkan checkpoint Realtime-Venus-Audio adalah tulang punggung yang sama dengan visi yang dimatikan saat waktu pemuatan. Yang satu merender wajah. Yang lain mengamati wajah. Keduanya tidak dapat dipanggil, dan hanya salah satunya yang dapat diunduh — yang ternyata merupakan perbedaan yang lebih konsekuensial.

Inversi ketersediaan ini layak dinyatakan secara gamblang sebelum hal lainnya, karena bertentangan dengan segala ekspektasi tentang produk Meta dan rilis lab riset. Sistem Meta tertutup: diumumkan di Connect, didemonstrasikan dalam postingan riset, disematkan dalam agen Muse, tanpa API, tanpa bobot, tanpa harga, dan tanpa tanggal. Sistem Ant Group terbuka: dua checkpoint 9B berupa safetensors BF16 di bawah Apache-2.0 pada inclusionAI/Realtime-Venus di Hugging Face, dengan kode Transformers khusus, berkas requirements, suara referensi, halaman proyek, dan repositori GitHub pendamping. Perusahaan dengan produk konsumen tidak merilis apa pun yang bisa Anda pegang. Tim riset merilis semuanya.

Apa yang dilakukan masing-masing dengan sebuah frame

Arah video adalah keseluruhan perbedaan arsitektural, dan ini bukan soal penekanan.

Video — Muse Realtime Avatar menghasilkannya, yang dikondisikan pada token ucapan, gambar referensi, dan jendela bergulir dari latent video terbaru; Realtime-Venus-Omni mempersepsikannya, dengan encoder visual SigLIP2 yang mengalirkan frame ke dalam model bersama audio.

Audio — Muse Realtime Avatar menggerakkan generasi dari token ucapan Muse Realtime Voice, yang membawa konten dan prosodi secara bersamaan; Realtime-Venus menghasilkan ucapan sebagai token S3 diskret yang didekode oleh dekoder flow-matching streaming, bukan memasang model text-to-speech terpisah di akhir.

Backbone — Arsitektur Meta adalah Diffusion Transformer yang digerakkan oleh audio dengan ukuran yang tidak diungkapkan; Realtime-Venus dibangun di atas backbone bahasa Qwen3-8B dengan encoder audio Whisper-Medium, dan kartu modelnya menyatakan bahwa checkpoint Omni diadaptasi dari MiniCPM-o 4.5.

Bobot — Muse Realtime Avatar tidak dipublikasikan dan tidak ada indikasi bahwa itu akan dipublikasikan; Realtime-Venus menyertakan dua checkpoint 9B, BF16, konteks 40.960 token pada keduanya, di bawah Apache-2.0.

Akses — Muse Realtime Avatar tidak memiliki API dan tidak ada tanggalnya; Realtime-Venus juga tidak memiliki API, dan kartunya menyatakan secara gamblang bahwa ia tidak di-deploy oleh penyedia inferensi mana pun.

Di mana ini berjalan — Muse Realtime Avatar berjalan di dalam aplikasi Muse untuk pengguna yang belum didata oleh Meta, dengan ketentuan 18+; Realtime-Venus berjalan di GPU Anda sendiri, hari ini juga, jika Anda punya perangkat kerasnya dan punya seleranya.

Bacalah dua baris terakhir secara bersamaan, dan perbedaan praktisnya pun tampak. Tak satu pun dari sistem itu dapat dipanggil. Salah satunya dapat dijalankan.

Unduhan 9B itu nyata, dan begitu pula biaya yang harus Anda tanggung

Realtime-Venus bukanlah stub repositori. Bobotnya ada, kode pemuatan kustomnya ada, dan lisensi di tingkat atasnya adalah Apache-2.0. Ada dua hal tentangnya yang perlu diketahui sebelum Anda merancang rencana yang bergantung padanya.

Yang pertama adalah apa yang tidak ada dalam bobot. Runtime dual-loop yang membuat arsitektur ini khas — loop interaksi satu detik ditambah penjadwal latar belakang yang oleh makalah disebut Realtime-Venus-Harness, yang menjalankan tugas-tugas yang didelegasikan terhadap snapshot keadaan percakapan yang terisolasi sehingga pekerjaan yang berjalan lama tidak dapat dirusak oleh percakapan yang terus berjalan — berada di repositori GitHub sebagai komponen terpisah. Desain delegasi, yang merupakan gagasan yang benar-benar baru dalam laporan ini, adalah bagian yang Anda rakit dan percayai sendiri.

Yang kedua adalah garis keturunannya. Kartu tersebut menyatakan bahwa checkpoint Omni diadaptasi dari MiniCPM-o 4.5, model omni-modal 9B yang dirilis sebagai sumber terbuka oleh OpenBMB pada awal 2026. Itu bukan catatan kaki. Ini berarti kontribusi Ant Group adalah pasca-pelatihan, runtime, dan desain delegasi yang dilapiskan ke tulang punggung streaming milik pihak lain, yang merupakan klaim lebih sempit dan lebih spesifik daripada "model omni 9B baru" — dan klaim yang lebih berguna, karena memberi tahu Anda ke mana harus melihat jika ada yang tidak beres pada encoder visual.

Angka-angkanya, dan tepatnya milik siapa angka-angka itu.

Inilah titik di mana kedua sistem bertemu dengan cara yang tidak membantu: tidak ada satu pun dari keduanya yang memiliki evaluasi independen. Empat angka Meta dilaporkan oleh perusahaan terhadap baseline yang dipilih Meta. Angka Realtime-Venus dilaporkan oleh penulis dalam sebuah laporan teknis, tanpa pihak ketiga yang menerbitkan uji coba dan tanpa entri papan peringkat untuk diperiksa. Tidak ada pengukuran publik untuk kedua sistem oleh siapa pun yang tidak membangunnya.

Empat angka Meta, sebagaimana dipublikasikan: 870 ms dari akhir giliran Anda hingga byte pertama balasan suara-dan-video yang tersinkronisasi; video potret 448×768 pada 25 frame per detik; evaluasi model 60× lebih sedikit daripada baseline-nya sendiri; dan 12 sesi real-time bersamaan di satu NVIDIA GB200, peningkatan kapasitas 8× dibandingkan baseline BF16 dua langkah milik Meta. Meta juga mengungkapkan hasil preferensi terhadap dua sistem avatar komersial, salah satunya dilaporkan tidak dapat dibedakan secara statistik dari kesetaraan dalam hal tingkah laku khas — sebuah pengungkapan yang layak diapresiasi, karena hasil semacam ini biasanya dihilangkan oleh sebagian besar postingan peluncuran.

Ant Group, sebagaimana dipublikasikan: skor terbaik pada enam dari delapan benchmark video yang digunakan laporan tersebut, termasuk StreamingBench 70.2, OVO-Bench 64.7, dan Daily-Omni 81.3 untuk checkpoint Omni; dan untuk checkpoint Audio, MMAU 78.0, MMAU-Pro 63.2, Llama Questions 83.8, Speech CMMLU 67.8, serta skor VoiceBench AlpacaEval sebesar 4.81 yang laporan gambarkan sebagai menyamai angka pembanding terbaik.

Ada satu asimetri dalam bukti yang layak disebutkan. Angka-angka Ant Group adalah skor benchmark dengan set pengujian yang dinamai — pada prinsipnya dapat direproduksi oleh siapa pun yang bersedia mengunduh bobot dan menjalankan rangkaian pengujian tersebut. Angka utama Meta adalah pengukuran latensi pada tumpukan penyajian milik Meta sendiri, yang tidak dapat direproduksi oleh siapa pun di luar Meta karena tidak ada orang di luar Meta yang memiliki sistem tersebut. Dengan kata lain, rilis terbuka juga merupakan yang lebih dapat diperiksa.

A generated comparison scoreboard titled 'Muse Realtime Avatar vs Realtime-Venus — the scoreboard', with a left column headed 'Muse Realtime Avatar' and a right column headed 'Realtime-Venus'. Rows read: Video — generated output vs perceived input; Weights — not published vs 2 x 9B, BF16, Apache-2.0; Context — undisclosed vs 40,960 tokens; Access — no API, no date vs no API, self-host only; Headline figure — 870 ms to first byte of voice + video vs StreamingBench 70.2 and Daily-Omni 81.3; Independent runs — none vs none. A footer line reads 'Meta and Ant Group figures both author-reported; neither system independently evaluated.'A screenshot of the Hugging Face model card for inclusionAI/Realtime-Venus, showing the repository name, the Apache-2.0 licence and arXiv 2609.13814 tags, the tagline 'A full-duplex interaction system with asynchronous delegation', the Project Page, GitHub, ModelScope and Licence links, the three-panel overview figure covering proactive response, delegated tool work and audio interruption, and an Inference Providers panel stating the model is not deployed by any inference provider.

Mengapa keduanya sebenarnya merupakan masalah perutean yang terselubung

Tidak ada sistem yang merupakan agen lengkap, dan hal itu berlaku dengan cara yang sama untuk keduanya. Muse Realtime Avatar adalah lapisan render yang dipasang pada Muse Realtime Voice, yaitu lapisan percakapan dari agen yang penalarannya berjalan di Muse Spark. Realtime-Venus mendelegasikan apa pun yang melampaui kemampuan yang dapat dilakukannya secara inline — pengambilan, pemanggilan alat, penalaran berat — ke harness yang menjalankan pekerjaan tersebut di latar belakang terhadap snapshot percakapan. Dalam kedua desain, hal yang diajak bicara oleh pengguna adalah front end, dan pemikirannya terjadi di model teks terpisah.

Model teks terpisah itu adalah bagian yang dapat Anda rutekan. Di OrcaRouter, itu adalah satu endpoint untuk 196 model di 15 penyedia, dengan harga daftar penyedia yang diteruskan tanpa markup, dengan failover otomatis saat model mengalami error atau timeout — yang lebih penting dari biasanya ketika hal di sisi lain adalah checkpoint yang dihosting sendiri yang belum dievaluasi secara independen oleh siapa pun. Kami tidak menghosting Realtime-Venus: itu adalah unduhan, dan kami tidak menyajikannya. Kami juga tidak menghosting Muse Realtime Avatar, karena tidak ada yang menghostingnya. Yang kami sediakan adalah lapisan yang menjadi tempat kedua arsitektur menyerahkan kerja kerasnya, sehingga komponen yang belum terbukti di salah satu sisi percakapan menjadi satu baris konfigurasi alih-alih taruhan produksi.

Manakah dari ini yang sebenarnya lebih maju

Instingnya adalah mengatakan milik Meta, karena Meta memiliki produk dan video demonya. Bukti menunjukkan sesuatu yang lebih menarik. Sistem Meta memiliki rekayasa produksi yang lebih baik — 12 sesi bersamaan pada GB200 adalah hasil serving, dan uji preferensi yang diungkapkan terhadap produk avatar yang sudah dirilis adalah satu-satunya angka head-to-head yang dimiliki kedua sistem. Sistem Ant Group memiliki verifiabilitas yang lebih baik: tolok ukur yang disebutkan namanya, bobot yang dipublikasikan, lisensi Apache-2.0, dan laporan yang dapat dicoba direproduksi oleh siapa pun.

Yang tidak dimiliki keduanya adalah cara untuk membayarnya. Dan yang lebih mendekati bisa digunakan bukanlah yang memiliki aplikasi konsumen — melainkan yang dapat Anda unduh malam ini dan ketahui sendiri, di perangkat keras Anda sendiri, dengan data Anda sendiri, dan tanpa perlu pengumuman.

Jika Anda sedang memilih, pertanyaannya bukanlah model mana yang lebih baik. Melainkan apakah Anda menginginkan wajah yang tidak dapat Anda panggil atau kamera yang dapat Anda jalankan.

A screenshot of Meta's research post 'Bringing Your Muse to Life', dated September 23, 2026, showing the headline, the reading time, a vertical portrait video player showing a white furry character, and the opening paragraph introducing Muse Realtime Avatar as embodiment technology that turns Muse Realtime Voice into expressive, interactive avatars.