Kartu hero yang dihasilkan bertuliskan 'Base against base', dengan dua tile checkpoint: 'Hy4 flash-Base' yang mencantumkan '220B total / 12B aktif / konteks 1M / dirilis 17 Nov 2026', dan 'ERNIE 5.5 Flash Base' yang mencantumkan '280B total / 14B aktif / 128K terlatih / dirilis 5 Nov 2026', plus footer bertuliskan 'Kedua tabel benchmark merupakan laporan vendor. Tidak satu pun memiliki skor independen.'
Guides & Insights

Hy4 flash-Base vs ERNIE 5.5 Flash Base: Satu-satunya Perbandingan Adil yang Diterbitkan oleh Salah Satu Vendor

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Dua laboratorium Tiongkok menerbitkan checkpoint pra-latih dengan selang dua belas hari, dan untuk sekali ini tabel perbandingannya berbicara sendiri: Hy4 flash-Base berhadapan dengan ERNIE 5.5 Flash Base, artefak sejenis dari tahap pipeline yang sama, dievaluasi dengan cara yang sama. Tencent menerbitkan Hy4 flash-Base pada 17 November 2026 bersama model instruksi. Baidu menerbitkan ERNIE 5.5 Flash Base pada 5 November 2026, dan pada saat penulisan ini masih merupakan satu-satunya artefak ERNIE 5.5 yang ada — model chat hasil pasca-pelatihan belum dirilis.

Perbedaan dalam apa yang mengelilingi checkpoint itu adalah sebagian besar alasan mengapa pertandingan ini layak mendapat satu halaman. Membandingkan kedua basis memberi tahu Anda bagaimana pra-pelatihan berjalan. Membandingkan kedua rilis memberi tahu Anda sesuatu yang kurang menyanjung tentang keduanya: satu perusahaan mengirimkan bahan mentah dan produk jadi pada hari yang sama, yang lain mengirimkan bahan mentah dan sebuah janji.

Mengapa checkpoint dasar adalah perbandingan yang jujur

Hampir setiap perbandingan model yang Anda baca secara diam-diam tidak adil, karena membandingkan model satu vendor yang sudah selesai dan telah di-instruction-tune dengan model vendor lain yang juga sudah selesai dan telah di-instruction-tune, masing-masing dievaluasi pada harness-nya sendiri dengan baseline-nya sendiri. Checkpoint dasar menghilangkan salah satu variabel tersebut. Tidak ada model yang telah menjalani pelatihan pasca-pelatihan, tidak ada yang memiliki template chat yang membentuk format keluaran, dan kedua vendor menerbitkan tabel few-shot pada benchmark akademik standar alih-alih rangkaian agentic khusus.

Apa yang tersisa — harness, jumlah shot, dan subset — masih spesifik vendor, jadi tidak ada yang di sini merupakan eksperimen terkontrol. Namun, tabel base-versus-base adalah perbandingan antar-run pre-training, dan pre-training adalah bagian yang mahal. Itu adalah hal terdekat dengan angka apples-to-apples yang pernah diterbitkan kedua perusahaan ini tentang satu sama lain.

Dua pos pemeriksaan, berdampingan

• Parameter — Hy4 flash-Base total 220,3B, 12B aktif per token; ERNIE 5.5 Flash Base total 280B, 14B aktif per token.

• Di mana letak parameternya — Hy4 flash-Base membawa 155,5B di backbone 42 lapis, 63,5B di tabel embedding n-gram Engram, 0,43B di encoder visi, dan 0,85B di drafter DFly2; 280B milik ERNIE adalah sebaran MoE yang lebih konvensional, ditambah modul ECHO 0,36B yang dikecualikan dari hitungan utama.

• Kedalaman dan perutean — 42 lapisan (satu dense, 41 MoE) dengan 512 expert yang dirutekan ditambah satu shared expert, 16 aktif, ukuran tersembunyi 3.072, untuk Hy4 flash-Base; 43 lapisan (satu dense, 42 Multi-Router Latent MoE) dengan 512 expert yang dirutekan ditambah satu shared expert, top-10, ukuran tersembunyi 4.096, untuk ERNIE.

• Konteks — 1,048,576 token dikonfigurasi pada keduanya. Tencent melatih Hy4 flash secara langsung pada panjang tersebut; Baidu melatih ERNIE pada 128,000 dan menetapkan konfigurasi yang dirilis ke 1,048,576 untuk fine-tuning dan inferensi, yang merupakan kapabilitas dari konfigurasi tersebut alih-alih perilaku yang telah diukur.

• Modalitas — teks dan gambar masuk, teks keluar, pada keduanya. Hy4 flash-Base menyertakan encoder visi turunan SigLIP2; kartu ERNIE 5.5 Flash Base hanya menjelaskan input teks pada tabel tautan model.

• Lisensi — Tencent Hy License v1.0, turunan Apache 2.0 dengan klausul MaaS pada pendapatan $50 juta atau 100 juta MAU; ERNIE 5.5 Flash Base Model License v1.0, yang sepenuhnya mengecualikan Uni Eropa, Britania Raya, dan Korea Selatan sebagai wilayah.

Baris lisensi bukan catatan kaki. Tim Eropa sama sekali tidak dapat menggunakan checkpoint ERNIE berdasarkan hibahnya, dan sebesar apa pun keunggulan benchmark tidak mengubah itu. Tim dengan ukuran berapa pun dapat menggunakan Hy4 flash-Base, dan tim dengan pendapatan MaaS di atas $50 juta perlu mengirim email sebelum melakukannya.

Apa yang dikatakan tabel Baidu, dan apa konsekuensi dari mempercayainya

Set perbandingan Baidu adalah yang tepat untuk rilis base: ERNIE 5.5 Flash Base dibandingkan dengan DeepSeek-V4-Flash-Base, Hy3-preview-Base, dan MiMo-V2.5-Base, pada satu pipeline yang menurut kartu tersebut digunakan bersama oleh keempatnya. Setiap angka di bawah ini dilaporkan oleh Baidu dan belum direproduksi.

• MMLU — 93,3 ERNIE, 89,4 DeepSeek-V4-Flash-Base, 87,5 Hy3-preview-Base, 87,6 MiMo-V2.5-Base.

• MMLU-Pro — 78,4 dibandingkan dengan 69,2, 66,9, dan 65,7. Selisih terbesar dalam kumpulan ini.

• GPQA — 60,2 dibandingkan 55,9, 50,2, dan 51,4.

• HumanEval+ — 82.3 dibandingkan dengan 69.5, 78.0 dan 74.4.

• LiveCodeBench — 40.1 dibandingkan dengan 31.9, 33.5, dan 32.4.

• LongBench-v2 — 48,7 dibandingkan dengan 44,5, 39,8, dan 44,6.

• BBH dengan chain-of-thought — 89,2 berbanding Hy3-preview-Base 90,0 dan MiMo-V2.5-Base 89,8. Hasil seri tiga arah yang masih dalam batas noise, apa pun yang tersirat dari pemformatan tebal itu.

• ChineseSimpleQA — 73,0 dibandingkan dengan 75,3 milik DeepSeek. Sebuah kekalahan, pada tolok ukur yang paling dekat dengan pasar domestik Baidu.

Tabel itu kehilangan beberapa baris, itulah sebabnya tabel tersebut terbaca sebagai tabel yang dibangun oleh seseorang, bukan tabel yang dipilih oleh seseorang. Perhatikan apa yang tidak ada di dalamnya: Hy4 flash-Base. Checkpoint Tencent belum ada pada 5 November, jadi tidak ada baris langsung antara kedua model dalam perbandingan ini yang pernah diterbitkan oleh siapa pun.

Apa yang tertulis di tabel Tencent, termasuk penafiannya

Tabel dasar Tencent mencakup lima opsi — Hy4 flash-Base, Hy4 Base, Hy3 preview Base, DeepSeek-V4-flash-Base, dan DeepSeek-V4-Pro-Base — dan tabel ini juga kehilangan baris. Dilaporkan vendor, belum direproduksi:

• MMLU-Pro — 71,1 untuk Hy4 flash-Base dibandingkan 73,9 untuk Hy4 Base, 65,8 untuk Hy3 preview Base, 68,6 untuk DeepSeek-V4-flash-Base dan 73,4 untuk DeepSeek-V4-Pro-Base.

• SimpleQA — 37,5 dibandingkan 57,2, 26,4, 31,3 dan 52,1. Kerugian terbesar pada kartu ini.

• C-Eval — 92.0 dibandingkan dengan 95.0, 90.1, 91.9 dan 93.4.

• CMMLU — 91,6 dibandingkan dengan 93,1, 89,6, 89,8 dan 90,7.

• AGIEval Chinese — 90,6 dibandingkan dengan 91,2, 87,8, 88,5, dan 89,8.

• Belebele — 93.8 dibandingkan dengan 95.0, 94.2, 94.4, dan 95.2.

• INCLUDE — 82,8 dibandingkan 88,1, 84,3, 84,0, dan 84,3.

• MMMU-Pro — 52,0 dibandingkan dengan 59,6 untuk Hy4 Base. Baris multimodal hanya ada untuk dua model Hy.

Dibaca secara keseluruhan: Hy4 flash-Base adalah model yang lebih kecil dan lebih murah daripada model-model saudaranya dan kalah dari mereka pada sebagian besar baris, yang memang seperti yang seharusnya dilakukan model aktif 12B terhadap model aktif 49B. Baris yang menarik adalah baris multibahasa, di mana ia hanya berselisih satu atau dua poin dari model yang jauh lebih besar, dan SimpleQA, di mana ia tertinggal dua puluh poin di belakang Hy4 Base — kesenjangan pengambilan fakta yang menunjukkan sesuatu tentang seberapa besar kemampuan itu terletak pada jumlah parameter alih-alih data pelatihan.

Tencent juga secara sukarela menyertakan satu peringatan yang tidak ada pada kartu model Baidu: karena model dasar terpapar sejumlah besar data instruksi sintetis selama pelatihan pertengahan, model tersebut "kadang-kadang gagal mengikuti format jawaban yang diharapkan dalam evaluasi few-shot, yang dapat mendistorsi skor." Sebuah vendor yang memberi tahu bahwa harness evaluasinya sendiri mungkin mengukur kepatuhan format cukup jarang terjadi sehingga layak mendapat satu kalimat itu.

A generated reference card headed 'Two tables, one shared row', with eight benchmark rows for ERNIE 5.5 Flash Base beside eight for Hy4 flash-Base and only the MMLU-Pro pair joined by a connector labelled '78.4 vs 71.1 — the only common row'.

Kedua tabel tersebut tidak dapat ditumpuk satu di atas yang lain

Inilah jebakan dalam perbandingan ini, dan perlu dinyatakan secara terus terang karena sebagian besar internet tidak akan melakukannya. Kedua vendor menerbitkan MMLU-Pro. Baidu melaporkan 78.4 untuk ERNIE 5.5 Flash Base. Tencent melaporkan 71.1 untuk Hy4 flash-Base. Menggiurkan untuk mengurangkannya dan melaporkan kemenangan 7.3 poin bagi Baidu. Pengurangan itu tidak dapat dipertahankan.

Jumlah shot yang berbeda, format prompt yang berbeda, dan dalam kasus Hy4 flash-Base, masalah kepatuhan format yang diakui yang dapat menurunkan skor rata-rata makro. Satu-satunya angka di kedua tabel yang memiliki definisi bersama — Belebele pada subset lima bahasa — tercatat 93,8 untuk Hy4 flash-Base dan sama sekali tidak ada di tabel Baidu. Tidak ada tumpang tindih yang cukup ketat untuk dikurangkan.

Yang bisa Anda katakan lebih sempit dan tetap berguna: checkpoint tiap vendor mengalahkan baseline DeepSeek pihak ketiga yang masing-masing mereka pilih, pada sebagian besar baris, dengan margin yang dihasilkan harness mereka sendiri. Dua klaim yang agak independen dalam arah yang sama adalah bukti yang lebih kuat daripada salah satunya saja dan lebih lemah daripada benchmark bersama. Itulah batas atas yang jujur atas apa yang didukung oleh kedua kartu ini.

Screenshot of the Hugging Face model card for tencent/Hy4-flash-Base, showing the release line, the model-links table and the benchmark table with its synthetic-data format-compliance disclaimer.

Satu rilis sudah selesai; yang lain adalah janji.

Inilah asimetri yang lebih penting daripada baris mana pun di atas, dan ini bukan tentang kualitas benchmark.

Tencent menerbitkan tiga artefak pada 17 November: model instruct, build FP8-nya, dan checkpoint base. Tim yang menginginkan model chat hari ini dapat mengunduhnya, memuatnya di vLLM dengan image vllm/vllm-openai:hy4-flash yang telah dipin, lalu menyajikannya. Checkpoint base tersedia bagi mereka yang ingin melakukan fine-tuning, dan kartunya mengarahkan ke panduan fine-tuning.

Baidu menerbitkan satu artefak pada 5 November. ERNIE 5.5 Flash Base adalah bobot pra-latih. Tidak ada ERNIE 5.5 Flash yang di-instruction-tune untuk diunduh, tidak ada endpoint API yang didokumentasikan dengan nama tersebut dalam materi rilis, dan kartu modelnya hanya mendeskripsikan model pasca-latih sebagai sesuatu yang "diharapkan menyusul." Tim yang mengunduh ERNIE 5.5 Flash Base hari ini berkomitmen untuk melakukan pasca-pelatihan sendiri, pada 280B bobot, sebelum mereka memiliki model yang dapat menjawab pertanyaan dalam format yang dapat digunakan.

Bagi kelompok riset, itu justru merupakan artefak yang menarik. Bagi tim produk, itu bukan sebuah model, melainkan titik awal dengan beban kerja yang tak terbatas, dan perbandingan yang tepat bukanlah dengan Hy4 flash-Base melainkan dengan Hy4 flash — yang berbiaya per token dan sudah berfungsi saat ini.

Screenshot of Baidu's ERNIE 5.5 Flash Base model card, showing the base-checkpoint benchmark table against DeepSeek-V4-Flash-Base, Hy3-preview-Base and MiMo-V2.5-Base.

Di mana router masuk dalam keputusan base-checkpoint

Checkpoint dasar bukanlah yang dilayani router, dan tidak jujur untuk menyiratkan sebaliknya. OrcaRouter tidak menyediakan Hy4 flash-Base maupun ERNIE 5.5 Flash Base, dan model instruct dari kedua vendor tersebut tidak ada di katalog saat ini. Yang ada di katalog adalah tencent/hy4-preview — model 770B/49B yang menjadi sumber distilasi Hy4 flash — dengan $0.834 per juta token input dan $2.501 per juta output, dengan pembacaan cache sebesar $0.042.

Itu penting untuk keputusan tertentu. Jika Anda mempertimbangkan apakah akan melakukan fine-tuning pada checkpoint dasar 220B, pertanyaan pertama adalah apakah perilaku keluarga model tersebut cocok untuk tugas Anda, dan model pratinjau menjawabnya dalam satu sore dengan biaya token yang Anda habiskan untuk pengujian. Melakukan itu sebelum Anda menyediakan delapan GPU untuk deployment FP8 tensor-parallel adalah langkah termurah dalam seluruh proyek. Harga daftar penyedia diteruskan dengan markup 0%, sehingga perubahan harga Tencent mencapai katalog pada hari itu terjadi, bukan pada rebuild berikutnya, dan failover otomatis berarti tugas evaluasi tidak mati karena salah satu upstream mengalami jam yang buruk.

Jika fine-tune-nya berhasil, Anda memiliki bobotnya dan router tidak lagi menjadi bagian dari jalur itu. Jika tidak berhasil, Anda hanya menghabiskan waktu satu sore, bukan satu kuartal, untuk mengetahuinya.

Cara membaca matchup ini

Jika Anda menginginkan model yang benar-benar bisa mengerjakan tugas, halaman ini bukan halaman yang tepat: Hy4 flash adalah model yang sudah jadi, sedangkan ERNIE 5.5 Flash belum memilikinya. Jika Anda menginginkan basis pra-terlatih untuk dikembangkan, kedua kandidat ini lebih berdekatan daripada yang disiratkan oleh pemasaran, dan lebih berjauhan daripada yang ditunjukkan oleh selisih skor benchmark.

ERNIE 5.5 Flash Base lebih besar, dilatih lebih lama — 33,5 triliun token dengan optimizer Muon — dan melaporkan skor yang lebih kuat pada harness miliknya sendiri, termasuk angka MMLU-Pro yang tidak disamai oleh model Tencent mana pun pada kartu perbandingan. Hy4 flash-Base lebih kecil, lebih murah untuk dilayani pada 12B aktif, multimodal secara native, hadir dengan vision encoder dan drafter speculative-decoding, serta dilengkapi lisensi yang tidak mengecualikan tiga yurisdiksi.

Faktor penentunya kemungkinan bukan kapabilitas atau lisensi, melainkan dua belas hari di antara keduanya. Checkpoint Baidu telah memiliki hampir dua minggu bagi komunitas fine-tuning untuk menghasilkan sesuatu; Hy4 flash-Base baru memiliki satu hari. Perhatikan apakah ERNIE 5.5 Flash yang di-instruction-tune muncul, dan perhatikan apakah ada yang menerbitkan LoRA untuk Hy4 flash-Base. Yang pertama akan menjadikannya perbandingan nyata dengan tolok ukur bersama yang kemungkinan besar akan menyusul; yang kedua akan memberi tahu Anda basis mana yang sebenarnya lebih disukai para praktisi.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini