Hy-SimulMT vs NLLB-200: Juru Bahasa Streaming Bukanlah Penerjemah 200 Bahasa

Nama dua benchmark itu berbeda satu huruf, dan huruf itulah inti seluruh artikel ini. Hy-SimulMT, juru bahasa real-time Tionghoa↔Inggris dari Tencent Hunyuan yang dirilis pada 26 Oktober 2026, menerbitkan skor 90,3 pada sesuatu yang disebut FLEURS. NLLB-200, penerjemah teks 200 bahasa dari Meta AI sejak Juli 2022, dievaluasi pada sesuatu yang disebut FLORES-200. Keduanya terkait — FLEURS dibangun dari kalimat-kalimat FLORES yang dibacakan keras — tetapi keduanya bukan tes yang sama, tidak dinilai dengan cara yang sama, dan belum ada yang pernah mengadu kedua model ini secara langsung. Mencari pertandingan ini hanya menghasilkan liputan peluncuran salah satu model dan dokumentasi model lainnya, tanpa apa pun di antaranya. Ketiadaan itu adalah titik awal yang jujur: keduanya bukan pesaing, dan pertanyaan yang berguna adalah untuk pekerjaan apa masing-masing sebenarnya ditujukan.

Satu huruf, dua tolok ukur

FLORES-200 adalah tolok ukur teks. Meta membangunnya sebagai bagian dari proyek No Language Left Behind: kalimat-kalimat yang diterjemahkan secara profesional dalam 200 bahasa, digunakan untuk mengukur seberapa baik sistem terjemahan memindahkan teks tertulis dari satu bahasa ke bahasa lain. Metrik utamanya adalah spBLEU, varian BLEU yang dihitung menggunakan tokeniser tetap yang seimbang bahasa sehingga skornya dapat dibandingkan antarbahasa yang menggunakan aksara berbeda. Makalah NLLB juga melaporkan chrF++ dan evaluasi manusia yang disebut XSTS.

FLEURS adalah versi lisan dari FLORES. FLEURS menggunakan kumpulan kalimat FLORES, meminta penutur asli membacakannya dengan lantang, dan mengevaluasi terjemahan ucapan — audio masuk, teks keluar. Cakupannya 102 bahasa, bukan 200. Ketika Tencent melaporkan 90,3 pada FLEURS untuk Hy-SimulMT, angka itu mencakup seluruh pipeline: mendengar audio, mengenali kata, dan menerjemahkannya. Ketika Meta melaporkan spBLEU pada FLORES-200 untuk NLLB-200, teksnya sudah benar dan telah ditokenisasi, dan satu-satunya hal yang diukur adalah langkah penerjemahan.

Letakkan kedua angka itu berdampingan, dan Anda belum membandingkan dua model. Anda telah membandingkan sistem ucapan end-to-end dengan penerjemah teks pada data yang berbeda, dengan metrik yang berbeda, dalam bahasa yang berbeda. Inilah kesalahan yang diundang oleh kemiripan satu huruf itu, dan hal itu layak disebutkan sebelum perbandingan lain dalam tulisan ini.

Apa sebenarnya NLLB-200, empat tahun kemudian

NLLB-200 dirilis pada Juli 2022 dan belum direvisi sejak saat itu. Checkpoint yang Anda unduh hari ini adalah checkpoint tahun 2022. Itu bukan kritik — itu adalah pernyataan tentang jenis artefak ini: rilis penelitian yang menetapkan tolok ukur dan kumpulan data, lalu berhenti.

Keluarga ini mencakup lima ukuran, dan rentang itulah intinya:

• NLLB-200-distilled-600M — checkpoint terkecil yang dapat digunakan, cukup kecil untuk GPU kelas laptop.

• NLLB-200-distilled-1.3B dan NLLB-200-1.3B — pasangan kelas menengah, satu didistilasi untuk kecepatan dan satu dilatih secara langsung.

• NLLB-200-3.3B — model dense yang jadi andalan, ukuran yang paling banyak benar-benar digunakan orang.

• NLLB-200-54.5B — model sparse unggulan: 128 pakar dengan gating top-2, lapisan mixture-of-experts di setiap blok transformer keempat, dan komputasi per token yang kira-kira sebanding dengan model dense 3,3B. Ini adalah model terjemahan terbuka terbesar pada generasinya dan masih menjadi alasan keluarga model ini dikutip.

Set pelatihannya sekitar 18 miliar pasangan kalimat paralel, dan klaim utama dalam makalah tersebut adalah peningkatan BLEU sebesar 44% dibandingkan state of the art sebelumnya, yang diukur pada lebih dari 40.000 arah penerjemahan. Arsitekturnya adalah transformer encoder-decoder yang dibangun untuk penerjemahan satu kalimat. Tidak ada mode streaming, tidak ada input audio, dan tidak ada konsep output parsial — model menerima satu kalimat dan mengembalikan satu kalimat.

Lisensinya adalah CC-BY-NC 4.0, dan kartu modelnya blak-blakan tentang maksudnya: {{1}}tidak dirilis untuk penerapan produksi{{/1}}, {{2}}tidak dimaksudkan untuk terjemahan khusus domain, sepanjang dokumen, masukan panjang, atau tersertifikasi{{/2}}. {{3}}Kode{{/3}} di sekitar bobot berlisensi MIT, tetapi {{4}}bobotnya tidak{{/4}}, yang merupakan kebingungan yang menyertai rilis ini selama empat tahun.

Apa sebenarnya Hy-SimulMT itu, per minggu ini

Hy-SimulMT adalah bentuk artefak yang berlawanan di hampir setiap dimensi. Ini adalah model ucapan: audio dialirkan masuk pada 16 kHz dalam jendela 30 detik, dan model mengeluarkan teks terjemahan saat pembicara masih berbicara. Arsitekturnya adalah campuran pakar jarang dengan 30,4 miliar parameter dengan sekitar 3 miliar parameter aktif per token, dibungkus di sekitar encoder audio 24 lapis. Pasangan bahasa yang didokumentasikan adalah bahasa Mandarin dan Inggris, dalam kedua arah.

Klaim utamanya adalah latensi, bukan cakupan. Tencent melaporkan StreamLAAL sekitar tiga detik pada audio RealSI berdurasi panjang, dan menyebutnya sebagai yang terendah di antara sistem yang dibandingkannya. Itu adalah jenis klaim yang berbeda dari apa pun dalam makalah NLLB, yang sama sekali tidak memiliki pengukuran latensi karena tidak ada yang bisa diukur: penerjemah teks batch tidak memiliki keterlambatan terhadap penutur.

Rilis ini berlisensi Apache-2.0 dan tanpa pembatasan, dengan enam checkpoint yang mencakup dua bentuk keluaran — hanya terjemahan dan teks sumber plus terjemahan — masing-masing dalam presisi penuh, FP8, dan GGUF. Build presisi penuh berukuran sekitar 61 GB, dan build GGUF Q4_K_M berukuran 19,7 GB. Keluaran suara dan kloning suara memerlukan layanan TTS terpisah; model itu sendiri menghasilkan teks.

Dan seperti NLLB-200, tidak ada API yang dihosting dan tidak ada harga yang dipublikasikan. Antarmuka konsumen Tencent adalah aplikasi Hy Translate, yang memiliki tingkat gratis. Segala hal lainnya berarti menjalankan bobot modelnya.

Mengapa skor tidak dapat berbagi kolom

Godaan untuk menyejajarkan keempat skor Hy-SimulMT dengan angka NLLB-200 apa pun yang paling mudah tersedia. Tahanlah godaan itu, dan bukan hanya karena perbedaan FLEURS/FLORES. Kedua model itu sedang diajukan pertanyaan yang berbeda.

• Modalitas masukan — Hy-SimulMT menerima audio, sehingga skornya mencakup kesalahan pengenalan. NLLB-200 menerima teks yang kesalahan pengenalannya sudah dihilangkan. Model ucapan dan model teks pada kalimat yang sama tidak berada pada garis awal yang sama.

• Metrik — Hy-SimulMT melaporkan skor keluarga BLEU pada set terjemahan lisan; NLLB-200 melaporkan spBLEU, chrF++, dan XSTS pada FLORES-200. Tokeniser spBLEU ada secara khusus untuk membuat perbandingan antarbahasa menjadi adil, yang berarti tokeniser tersebut tidak dapat dipertukarkan dengan angka BLEU biasa bahkan ketika keduanya sama-sama disebut BLEU.

• Satuan kerja — NLLB-200 dievaluasi kalimat per kalimat pada teks yang telah diselaraskan. Hy-SimulMT dievaluasi pada audio streaming, di mana kegagalan yang menarik bukanlah kata yang salah diterjemahkan, melainkan kalimat yang tiba terlalu terlambat untuk bisa berguna.

• Jumlah arah — Lebih dari 40.000 arah NLLB-200 dirata-ratakan ke dalam angka utamanya; empat tolok ukur Hy-SimulMT hanya mencakup Mandarin↔Inggris. Rata-rata pada ekor panjang dan skor pada satu pasangan bahasa berdaya sumber tinggi menggambarkan jenis capaian yang berbeda.

Dalam tabelnya sendiri, Hy-SimulMT juga tidak unggul secara merata. Model ini mencetak 75.5 pada CoVoST2 berbanding 82.1 milik Qwen3.8-LiveTranslate, dan tertinggal dari Gemini3.5-LiveTranslate pada FLEURS (90.3 versus 92.4) dan ACL6060 (81.2 versus 82.6). Kemenangan paling jelasnya adalah RealSI-Sentence dengan 84.7. Semua angka tersebut dijalankan oleh vendor, dibuat dengan harness pilihan Tencent, dan tidak direproduksi secara independen. Kartu model juga tidak menyebutkan varian output mana dari kedua variannya yang menghasilkan angka-angka itu.

Latensi diukur dalam satuan yang tidak dimiliki NLLB

Inilah bagian yang menentukan deployment, dan sama sekali tidak ada hubungannya dengan skor benchmark.

Juru bahasa simultan harus mengambil kompromi yang tidak pernah dihadapi penerjemah batch: menunggu lebih lama dan menerjemahkan lebih baik, atau berbicara lebih cepat dan berisiko salah. StreamLAAL mengukur kompromi itu — secara kasar, seberapa jauh keluaran tertinggal dari masukan rata-rata. Tiga detik Hy-SimulMT adalah klaim tentang kompromi itu. Ini secara eksplisit tidak sama dengan waktu hingga keluaran suara pertama, dan Tencent menyatakannya di kartu model. Begitu Anda menambahkan layanan TTS eksternal, pengalaman pendengar juga mencakup latensi layanan tersebut, yang tidak dicakup oleh angka tiga detik itu.

NLLB-200 tidak memiliki angka ekuivalen karena tidak memiliki jalur streaming. Anda dapat menambahkannya secara tambal sulam: potong audio menjadi bagian-bagian, jalankan pengenalan suara, masukkan fragmen kalimat ke NLLB, dan keluarkan terjemahan saat masing-masing selesai. Arsitektur itu berfungsi, dan tim sudah membangunnya. Namun pemotongan menjadi bagian-bagian merusak konteks yang diandalkan penerjemah tingkat kalimat, dan kualitas yang dihasilkan bukanlah kualitas yang diukur pada FLORES-200 dengan kalimat lengkap dan terbentuk baik. Kesenjangan antara "NLLB-200 mendapat skor X pada FLORES" dan "NLLB-200 di dalam pipeline langsung yang dipotong-potong terdengar seperti Y" adalah tempat sebagian besar upaya rekayasa sebenarnya dikerahkan.

Inilah asimetri yang sebenarnya. Hy-SimulMT dirancang untuk kasus streaming dan membayarnya dengan cakupan bahasa serta jejak kelas 30B. NLLB-200 dirancang untuk keluasan dan membayarnya dengan antarmuka hanya-batch. Tidak ada yang tertinggal. Keduanya dioptimalkan untuk batasan yang berbeda.

Cakupan terhadap kedalaman

Keunggulan yang bertahan dari NLLB-200 adalah ekor panjangnya. Dua ratus bahasa, termasuk bahasa-bahasa dengan sumber daya rendah yang sama sekali tidak ditangani oleh sebagian besar model 2026, dalam satu keluarga yang berskala dari checkpoint 600M hingga campuran pakar 54,5B. Jika masalah Anda adalah dokumen dalam bahasa dengan beberapa juta penutur dan tidak ada API komersial yang mencakupnya, NLLB-200 masih menjadi salah satu dari sedikit opsi terbuka, dan checkpoint padat 3,3B dapat berjalan pada satu GPU sederhana.

Hy-SimulMT sama sekali tidak dapat melakukan pekerjaan itu. Ini mendokumentasikan bahasa Mandarin dan Inggris. Metadata Hugging Face-nya membawa tag 36 bahasa, tetapi tidak ada daftar 34 bahasa lainnya yang dipublikasikan, dan setiap contoh di repositori menggunakan en-zh atau zh-en. Merencanakan peluncuran multibahasa hanya berdasarkan tag tersebut merupakan kesalahan.

Aritmetika perangkat kerasnya berjalan ke arah sebaliknya. Model dense 3.3B milik NLLB-200 berukuran beberapa gigabyte dalam FP16 dan muat dengan nyaman pada kartu 16–24 GB. Model andalannya yang 54.5B berukuran sekitar 108 GB dalam FP16 — sebuah proposisi multi-GPU. Hy-SimulMT berukuran sekitar 61 GB dalam BF16 dan memerlukan akselerator 80 GB untuk digunakan sebagaimana dirilis, atau 19.7 GB pada Q4_K_M melalui jalur GGUF yang dukungan llama.cpp-nya belum masuk upstream. Jadi, NLLB-200 lebih murah di ujung kecil dan sebanding di puncak; biaya Hy-SimulMT terkonsentrasi di tengah, dan biaya itu membeli streaming.

Lisensi-lisensi tersebut mengarah ke arah yang berlawanan

Ini bukan tulang punggung perbandingan — modalitasnya yang menjadi tulang punggung — tetapi ini adalah cara tercepat untuk mendiskualifikasi salah satunya untuk produk komersial.

Bobot NLLB-200 berlisensi CC-BY-NC 4.0. Non-komersial. Kode di sekitarnya berlisensi MIT, dan itulah sumber kebingungannya, tetapi bobotnya lah yang akan Anda sajikan, dan kartu Meta menyatakan dengan jelas bahwa model tersebut tidak dirilis untuk penerapan produksi. Penerapan komersial membutuhkan model lain atau pengaturan lisensi.

Hy-SimulMT adalah Apache-2.0, tanpa pembatasan akses, dengan penggunaan komersial, modifikasi, dan redistribusi diizinkan. Tencent menyertakan toolkit pelatihan bersama server inferensi, sehingga pelatihan lanjutan merupakan penggunaan yang dimaksudkan. Jika pilihannya hanya berdasarkan lisensi di antara keduanya, tidak perlu diragukan.

Di mana tempat mereka seharusnya dalam stack yang sama

Alasan matchup ini terus dicari adalah karena tim menghadapi kedua masalah dalam produk yang sama. Perusahaan dengan operasi berbahasa Mandarin dan Inggris memerlukan juru bahasa langsung untuk rapat dan pipeline teks untuk lalu lintas dokumen 200 bahasa yang masuk melalui email, kontrak, dan tiket dukungan. Itu adalah dua pekerjaan yang berbeda, dan arsitektur yang jujur menggunakan dua model yang berbeda.

NLLB-200, atau penerus modernnya, menangani jalur teks offline: terjemahan batch, identifikasi bahasa, triase korpus, ekor panjang. Hy-SimulMT menangani jalur ucapan langsung Tionghoa↔Inggris, tempat latensi mendominasi dan cakupan tidak menjadi masalah karena hanya ada dua bahasa di ruangan itu. Batas di antara keduanya merupakan keputusan perutean, dan sebaiknya dinyatakan secara eksplisit daripada membiarkan aplikasi menyimpulkannya dari jenis file.

Tidak ada dari kedua model tersebut dalam katalog OrcaRouter, jadi kami bukan jalur menuju salah satunya. Yang disediakan sebuah router adalah sambungan di sekitar keduanya: satu API di depan lebih dari 200 model terkelola tanpa markup, harga daftar penyedia diteruskan tanpa tambahan apa pun, dan DSL perutean yang menentukan jalur mana yang diambil sebuah permintaan. Bagian terakhir itu biasa saja namun berguna — permintaan teks diteruskan ke model umum terkelola, permintaan suara masuk ke interpreter yang Anda hosting sendiri, dan aplikasi tidak perlu tahu mana yang mana. Failover otomatis mencakup kasus ketika jalur terkelola tidak tersedia dan permintaan tetap harus mengembalikan sesuatu.

Karena jalur hosted diberi harga sesuai daftar harga penyedia tanpa tambahan apa pun, penurunan harga vendor di sisi teks langsung berlaku di sisi kami pada hari yang sama. Itu bukan hal besar sampai Anda merutekan lalu lintas dokumen dalam volume besar dan alternatifnya adalah menegosiasikan ulang kontrak setiap kali penyedia mengubah kartu tarifnya.

Apa yang harus ditanyakan sebelum memilih salah satu

Pertanyaannya bukanlah model mana yang lebih baik. Ini adalah dua pertanyaan, dan keduanya memiliki jawaban yang berbeda.

Jika masukannya adalah audio yang masih berdatangan, dan bahasanya adalah Tionghoa dan Inggris, jawabannya adalah Hy-SimulMT — dan pertanyaan penerapannya menjadi checkpoint mana dari keenam checkpoint-nya, yang merupakan keputusan tentang bentuk dan presisi keluaran, bukan kualitas. Jika masukannya adalah teks dalam bahasa yang belum Anda identifikasi, dalam suatu kumpulan yang mencakup bahasa-bahasa sumber daya rendah, NLLB-200 tetap menjadi baseline terbuka yang sah setelah empat tahun, asalkan lisensi non-komersialnya cocok dan Anda menerima antarmuka batch.

Yang belum pernah diterbitkan oleh siapa pun adalah jembatannya: pengenalan suara yang memberi masukan ke NLLB-200 pada audio Tionghoa↔Inggris, dievaluasi pada tolok ukur streaming yang sama dengan Hy-SimulMT, dengan latensi dan kualitas dilaporkan bersama. Eksperimen itu akan memberi tahu Anda apakah penerjemah teks dari 2022 yang dibungkus dalam harness streaming 2026 dapat bersaing dengan juru bahasa yang dirancang khusus. Ini juga akan menjadi perbandingan jujur pertama antara kedua model ini, dan perbandingan itu belum ada.

Satu hal terakhir yang perlu dikatakan terang-terangan, karena kemiripan nama benchmark yang hanya berbeda satu huruf akan terus menghasilkan perbandingan yang buruk: model yang menang pada FLEURS telah menunjukkan sesuatu tentang terjemahan ucapan di bawah harness tertentu. Model yang mendapat skor baik pada FLORES-200 telah menunjukkan sesuatu tentang terjemahan teks dalam 200 bahasa. Tidak ada hasil yang dapat dialihkan ke tugas yang lain, dan vendor yang menerbitkan keduanya pada audio yang sama, dengan metrik yang sama dan penghitungan latensi yang sama, akan menjadi yang pertama membuat perbandingan ini berarti.