ERNIE-5.5-Flash vs Qwen 3.8 Flash: Checkpoint Dasar Bertemu Model Jadi

Letakkan ERNIE-5.5-Flash di samping Qwen 3.8 Flash dan pengamatan jujur pertama adalah bahwa keduanya bukan jenis objek yang sama. Yang sebenarnya diterbitkan Baidu adalah ERNIE-5.5-Flash-Base, checkpoint pada akhir pra-pelatihan — sebelum mid-training, sebelum penyetelan instruksi, sebelum pekerjaan preferensi apa pun — sehingga ia melanjutkan teks alih-alih menjawab permintaan, dan disajikan melalui endpoint completions, bukan chat. Qwen 3.8 Flash, yang dirilis Alibaba pada 26 Agustus 2026, adalah model multimodal jadi yang menerima teks, gambar, dan video serta mengembalikan teks, dengan $0,15 per juta token input dan $0,47 per juta token output. Yang satu adalah titik awal yang masih harus Anda latih; yang lain adalah produk yang bisa Anda panggil sore ini. Hampir setiap angka di bawah ini berubah makna tergantung pada yang mana dari kedua hal itu yang Anda pikir sedang Anda bandingkan, itulah sebabnya sebaiknya dipastikan sebelum lembar spesifikasi, bukan sesudahnya.

Apa yang sudah dirilis Baidu, dan apa yang belum diungkapkannya

Rilis ini senyap dalam cara khas peluncuran model berbobot terbuka Tiongkok: artefaknya datang sebelum beritanya muncul. baidu/ERNIE-5.5-Flash-Base dibuat sebagai repositori di Hugging Face pada 21 Oktober, dibiarkan hampir kosong selama seminggu, lalu menerima 128 shard bobot FP8-nya antara 2 dan 3 November. Diagram arsitektur dan benchmark hadir pada 4 November, dan kartu modelnya sendiri masih direvisi pagi ini. Halaman rilis milik Baidu bertanggal hari ini, 5 November, dan satu-satunya diskusi yang muncul di luar halaman itu adalah sebuah utas forum dan sebuah pos WeChat. Tidak ada siaran pers, tidak ada acara peluncuran, dan nyaris tidak ada liputan pers yang berarti.

Hal itu penting bagi apa yang bisa dan tidak bisa Anda percayai. Yang dapat diketahui dari repositori: arsitektur, jumlah parameter, tabel benchmark vendor lengkap dengan harness yang disebutkan secara eksplisit, resep serving SGLang dan vLLM yang berfungsi, teks lisensi, dan fakta bahwa ada versi BF16 di samping versi FP8. Yang tidak dapat diketahui: apakah Baidu berniat menyajikannya sebagai API — lembar harga Qianfan, yang terakhir diperbarui 18 Oktober, mencantumkan ERNIE 5.1, 5.0, dan 4.5 Turbo, dan tidak ada entri ERNIE 5.5 dalam bentuk apa pun — berapa skor yang dicapai versi instruction-tuned-nya, dan apakah ada evaluator independen yang akan mereproduksi satu angka pun dalam tabel Baidu.

Spesifikasi majalah, sebagai catatan: total 280B parameter dengan 14B aktif per token, dilatih dari awal pada 33.5T token, 43 lapisan yang salah satunya adalah FFN padat dan 42 adalah MoE, 512 expert yang dirutekan dengan routing top-10 ditambah satu expert bersama, dan kosakata 201,216 token. Konfigurasi yang dirilis memungkinkan konteks 1,048,576 token, meskipun pelatihan hanya pernah melihat 131,072. Ada juga head prediksi multi-token 0.36B yang tidak dihitung dalam kedua angka parameter tersebut.

Kontras spesifikasi, pada dimensi yang benar-benar menentukan

• Yang Anda terima — ERNIE-5.5-Flash-Base hanyalah sebuah checkpoint dan tidak lebih: bobot yang Anda unduh, endpoint /v1/completions, dan tanpa perilaku mengikuti instruksi. Qwen 3.8 Flash adalah model yang disajikan dengan pemanggilan alat, mode penalaran, keluaran terstruktur, dan respons maksimum 131.072 token.

• Ukuran — total 280B / 14B aktif untuk ERNIE dibandingkan total 125B / sekitar 6B aktif untuk Qwen 3.8 Flash, yang juga membawa tabel embedding n-gram 51B dan head MTP ~4B, menempatkan sekitar 180B parameter di disk.

• Desain atensi — ERNIE menggunakan 43 lapisan yang terbagi menjadi 37 lapisan heavily-compressed-attention (HCA) ditambah 6 lapisan MLA dengan atensi sparse; Qwen 3.8 Flash menggunakan hibrida Gated DeltaNet plus Qwen Sparse Attention di seluruh 48 lapisan. Keduanya adalah pertaruhan bahwa atensi penuh klasik adalah hal yang salah untuk dibayar pada harga kelas Flash, yang diambil dari arah berlawanan.

• Konteks — 1M token diklaim oleh kedua pihak, dari sumber yang berbeda: ERNIE dilatih pada 128K dan mengaktifkan 1M hanya pada waktu fine-tune dan inferensi, sedangkan Qwen 3.8 Flash secara native 262K dan mencapai 1M melalui ekstensi YaRN.

• Modalitas — ERNIE-5.5-Flash-Base hanya mendukung teks, dalam bahasa Inggris dan Mandarin. Qwen 3.8 Flash menerima teks, gambar, dan video, serta tabel dari vendornya mencakup hasil AndroidWorld, OSWorld 2.0, MathVision, dan LVBench yang tidak dapat dihasilkan oleh checkpoint khusus teks.

• Bobot di sisi Qwen — Qwen 3.8 Flash versi produksi hanya tersedia lewat API, tetapi saudaranya yang open-weight, Qwen3.8-Flash-Next, diterbitkan di bawah Qwen Community License 1.0, sehingga kedua sisi tersebut lebih sebanding daripada yang mula-mula disiratkan oleh kerangka API-versus-weights.

• Penyajian — Baidu menyediakan resep yang berfungsi: image lmsysorg/sglang:dev-ernie-55-flash dengan --tp 4, atau vLLM 0.32.0 plus plugin baidu/vLLM-ERNIE dengan ukuran data-parallel 4. Qwen 3.8 Flash tidak memerlukan resep penyajian karena Alibaba menyajikannya untuk Anda.

• Harga — tidak ada harga per-token yang dipublikasikan untuk ERNIE-5.5-Flash-Base di mana pun, karena tidak ada endpoint terkelola yang dapat diberi harga; $0,15 input / $0,47 output per juta token untuk Qwen 3.8 Flash, dengan pembacaan input yang di-cache sebesar $0,0184.

• Lisensi — Perjanjian Lisensi Model Dasar ERNIE 5.5 Flash v1.0, perjanjian khusus yang layak dibaca sepenuhnya sebelum Anda membangun produk di atasnya, dibandingkan dengan Qwen Community License 1.0 di sisi Qwen terbuka.

Baris benchmark yang tampak sebanding padahal tidak

Inilah jebakan yang diciptakan oleh perbandingan ini. Kedua vendor menerbitkan angka LiveCodeBench, dan kedua angka itu adalah 40,1 dan 91,9.

Keduanya tidak mengukur hal yang sama, dan selisih di antara keduanya bukanlah kesenjangan kemampuan. Angka 40,1 milik Baidu adalah Pass@1, sekali percobaan, pada checkpoint mentah yang telah dilatih sebelumnya — model diminta menyelesaikan kelanjutan kode tanpa pernah diajari mengikuti instruksi. Angka 91,9 milik Alibaba adalah LiveCodeBench v6, versi benchmark yang berbeda dan lebih baru, yang dilaporkan untuk model yang telah melalui pipeline pasca-pelatihan lengkap. Pasangan GPQA memiliki masalah yang sama: 60,2 untuk ERNIE pada five-shot exact match di checkpoint dasar, 91,7 untuk Qwen pada GPQA Diamond setelah instruction tuning. Bahkan perbandingan MMLU, 93,3 terhadap model yang tidak memublikasikan MMLU, tidak punya pembanding.

Ini bukan sindiran terhadap model mana pun. Ini adalah pernyataan tentang untuk apa evaluasi model dasar. Skor 40,1 pada LiveCodeBench dari checkpoint yang belum pernah melihat instruksi adalah pernyataan tentang seberapa banyak struktur pemrograman yang diserap oleh pra-pelatihan, dan itu angka yang wajar dalam pembacaan tersebut. Itu tidak memberi tahu Anda apa pun tentang bagaimana bobot yang sama akan memperoleh skor setelah seseorang melakukan fine-tuning. Tidak ada seorang pun, termasuk Baidu, yang telah menerbitkan angka itu.

Satu-satunya tabel yang dapat dibaca apa adanya adalah tabel milik Baidu sendiri, karena keempat kolomnya dijalankan melalui pipeline, prompt, dan pengaturan few-shot yang sama. Dibandingkan dengan DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B), dan MiMo-V2.5-Base (310B-A15B), ERNIE-5.5-Flash-Base meraih best-in-row pada 24 dari 30 benchmark, termasuk MMLU-Pro dengan 78,4 berbanding 69,2, HumanEval+ dengan 82,3 berbanding 69,5, dan RepoQA dengan 91,7 berbanding 81,0. Model ini kalah pada ChineseSimpleQA dari DeepSeek, FullStackBench dan BBH chain-of-thought dari Hy3, serta HELMET-Rerank dan InfiniteBench dari DeepSeek. Itu adalah angka yang dijalankan vendor pada harness pilihan vendor tanpa replikasi independen — tetapi angka-angka tersebut dapat dibandingkan secara internal, yang tidak bisa dikatakan tentang pasangan lintas vendor mana pun dalam artikel ini.

Berapa biaya setiap rute, dengan perhitungannya ditampilkan

Qwen 3.8 Flash adalah yang mudah untuk diberi harga. Ambil contoh beban kerja dukungan dan ekstraksi sebanyak 1.000 permintaan per hari, dengan rata-rata 6.000 token masukan dan 800 token keluaran: 6 juta token masukan dan 0,8 juta token keluaran per hari, atau 180 juta dan 24 juta selama sebulan (30 hari). Dengan tarif $0,15 dan $0,47 per juta, itu berarti $27,00 ditambah $11,28 — $38,28 per bulan, dengan pembacaan dari cache sebesar $0,0184 per juta yang semakin mengurangi porsi prompt sistem yang berulang.

ERNIE-5.5-Flash-Base tidak memiliki pos biaya yang setara, jadi satu-satunya model biaya yang jujur adalah perangkat keras. Repositori FP8 terdiri atas 128 shard yang masing-masing berukuran sekitar 2,25 GB, sekitar 288 GB bobot; versi BF16-nya menggandakan itu. Perintah peluncuran SGLang milik Baidu sendiri memecahnya menjadi empat bagian dengan --tp 4, yang menempatkan sekitar 72 GB bobot pada setiap GPU sebelum ada cache KV — hanya bisa dijalankan pada kartu 80 GB jika Anda tidak pernah menggunakan jendela konteks, dan nyaman pada kartu kelas H200. Sewa empat kartu tersebut dengan harga menengah $2–3 per GPU-jam dan node tersebut memakan biaya sekitar $5,800–8,600 per bulan untuk berjalan terus-menerus, sebelum Anda membayar siapa pun untuk melakukan fine-tuning, mengevaluasinya, atau menjaga stack penyajian tetap mutakhir.

Itu berada pada kisaran 150 hingga 225 kali tagihan API Qwen dalam contoh di atas, dan perbandingannya sengaja dibuat tidak adil dalam satu arah: keduanya bukan substitusi sampai seseorang melakukan post-training pada checkpoint ERNIE. Inti dari perhitungan ini bukanlah bahwa hosting mandiri itu mahal — melainkan bahwa biaya tetapnya nyata dan muncul sebelum model dapat menjawab satu instruksi pun, sehingga skala volume yang membuat memilikinya lebih unggul daripada menyewa sesuatu yang sudah jadi jauh lebih tinggi daripada yang disiratkan oleh perbandingan per token.

Konteks panjang adalah titik temu kedua desain.

Kedua model mengklaim satu juta token, dan keduanya mencapainya dengan menolak membayar perhatian penuh atas satu juta posisi. Lapisan HCA ERNIE menyimpan satu entri per 128 token, sehingga 37 dari 43 lapisannya menumbuhkan cache KV 128 kali lebih lambat daripada lapisan konvensional; enam lapisan MLA mempertahankan akses resolusi penuh untuk token yang membutuhkannya. Hibrida GDN-plus-QSA Qwen melakukan jenis pertukaran yang sama dari sisi perhatian sparse, dan 6B parameter aktifnya menjaga komputasi per token tetap rendah terlepas dari apa yang dilakukan perhatian.

Bagi pembaca, perbedaan praktisnya bukanlah desain mana yang lebih cerdik — keduanya sama-sama masuk akal — melainkan bahwa hanya satu dari keduanya yang disertai harga untuk benar-benar memakai konteks tersebut. Prompt sejuta token pada Qwen 3.8 Flash sudah punya angka yang melekat padanya saat ini. Pada ERNIE-5.5-Flash-Base, prompt yang sama punya perkiraan jam-GPU dan pertanyaan yang tak terjawab tentang bagaimana sebuah model dasar berperilaku pada panjang tersebut tanpa penyetelan instruksi.

Siapa yang harus memilih yang mana

Pilih Qwen 3.8 Flash jika Anda memerlukan model yang mengikuti instruksi saat ini juga, jika input Anda mencakup tangkapan layar, dokumen, atau video, jika Anda ingin tagihan konteks panjang menjadi masalah perencanaan kapasitas pihak lain, dan jika $0.15/$0.47 per juta token sesuai dengan ekonomi unit dari apa yang sedang Anda bangun. Model ini baru berusia dua bulan, telah terdeteksi oleh pelacak pihak ketiga sejak peluncuran, dan angka dari vendor — SWE-bench Pro 62.5, GPQA Diamond 91.7, CoWorkBench 73.9 — merupakan klaim, bukan hasil yang telah terverifikasi, jadi anggaplah sebagai batas atas hingga evaluasi Anda sendiri menyatakan sebaliknya.

Pilih ERNIE-5.5-Flash-Base jika Anda memiliki kapabilitas pasca-pelatihan dan alasan untuk memiliki model sendiri alih-alih menyewanya: domain yang datanya tidak dapat Anda kirim ke API, beban kerja Tionghoa-dan-Inggris di mana CMMLU 90.0 dan ChineseSimpleQA 73.0 adalah angka yang Anda pedulikan, program riset RL yang menginginkan titik awal 280B-A14B, atau anggaran latensi yang membenarkan node empat GPU khusus. Anda juga perlu merasa nyaman bahwa lisensinya adalah perjanjian kustom Baidu, bukan Apache, dan bahwa model tersebut tidak melakukan hal yang berguna sampai tim Anda membuatnya berguna.

Jangan pilih keduanya, namun, jika yang sebenarnya Anda inginkan adalah model serbaguna yang sudah terbukti. Qwen 3.8 Flash adalah produk jadi tanpa skor tolok ukur independen, dan ERNIE-5.5-Flash-Base adalah model yang belum selesai dengan tabel tolok ukur dari vendor. Keduanya bukanlah pilihan default yang aman sebagaimana mestinya sebuah model unggulan berusia dua tahun.

Menjalankan eksperimen tanpa mempertaruhkan peta jalan padanya

Bagian yang janggal dari perbandingan ini adalah kedua sisi dijangkau dengan cara yang sangat berbeda, dan lapisan routing hanya membantu salah satunya. Qwen 3.8 Flash tersedia melalui OrcaRouter sebagai qwen/qwen3.8-flash, pada harga daftar penyedia dengan markup 0% — $0.15 dan $0.47 yang sama dengan yang dikenakan vendor, diteruskan apa adanya, tanpa tambahan untuk hop. ERNIE-5.5-Flash-Base bukan sesuatu yang kami layani: ini adalah rilis bobot, dan tidak ada endpoint terhosting untuknya yang dapat dirutekan, baik di sini maupun di tempat lain yang dapat kami temukan.

Yang benar-benar menjadi keunggulan satu endpoint dalam situasi ini adalah bagian yang datang setelah eksperimen. Jalur realistis untuk ERNIE 5.5 Flash adalah sebuah tim melakukan post-training pada checkpoint dasar, dan pertanyaannya kemudian menjadi apakah model yang telah di-tuning mengalahkan Qwen 3.8 Flash pada trafik Anda sendiri. Dengan keduanya berada di balik satu kunci, itu hanyalah pergantian model-id, bukan kontrak kedua dan SDK kedua; DSL routing dapat memisahkan trafik produksi di antara keduanya selagi Anda memutuskan, dan failover otomatis berarti pemenang yang belum terbukti tidak dapat menjatuhkan seluruh fitur pada hari buruk pertamanya. Fusion model memberi Anda opsi ketiga — sebuah panel yang menjawab bersama-sama — yang sering kali merupakan cara termurah untuk mengetahui apakah tuning baru benar-benar lebih baik daripada yang sudah ada atau sekadar berbeda.

Apa yang akan mengubah jawaban ini?

Tiga hal, kira-kira dalam urutan kemungkinannya. ERNIE 5.5 Flash yang disetel dengan instruksi akan mengubah ini dari ketidakcocokan kategori menjadi perbandingan langsung yang sesungguhnya, dan angka-angka dasarnya menunjukkan bahwa model itu akan kompetitif — 82,3 pada HumanEval+ dan 91,7 pada RepoQA dari checkpoint yang belum disetel adalah posisi awal yang kuat. Entri ERNIE 5.5 di daftar harga Qianfan akan memberi perhitungan hosting mandiri sesuatu untuk dibandingkan dan memberi tahu Anda apakah Baidu berniat menjual model ini atau memberikannya gratis. Dan skor pihak ketiga untuk salah satu model akan memungkinkan pembaca berhenti menerima tabel vendor mentah-mentah, yang merupakan kondisi yang membuat pasangan ini terjebak saat ini: Qwen 3.8 Flash tidak memiliki hasil benchmark independen sama sekali, dan ERNIE-5.5-Flash-Base tidak memiliki baris di papan peringkat netral mana pun.

Sampai dua di antaranya hadir, "mana yang lebih baik" bukan pertanyaan yang sudah diukur oleh siapa pun. Yang bisa dijawab hari ini lebih sempit dan lebih berguna: Qwen 3.8 Flash adalah model yang bisa Anda panggil, dan ERNIE-5.5-Flash-Base adalah model yang bisa Anda bangun di atasnya. Itu pekerjaan yang berbeda, dan tidak ada tabel benchmark yang akan menentukan mana yang Anda miliki.