Kartu judul untuk ERNIE 5.5 Flash bertuliskan 'ERNIE 5.5 Flash: Jalur FP4 Khusus Blackwell Muncul Sebelum Model Chat Hadir', dengan chip 'SGLang PR #51236 · dibuka 18 Nov 2026', 'expert MXFP4, hanya SM100', 'Template chat dirender dalam Python', 'Checkpoint chat: belum dirilis'. Footer bertuliskan 'Sumber: sgl-project/sglang PR #51236, terbuka dan belum di-merge.'
Guides & Insights

ERNIE 5.5 Flash: Jalur FP4 Khusus Blackwell Muncul Sebelum Model Chat Hadir

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Hal paling konkret yang diterbitkan tentang ERNIE 5.5 Flash minggu ini adalah sebuah pesan kesalahan. Di dalam pull request 525 baris yang dibuka di repositori SGLang pada 18 November 2026 terdapat penolakan tegas: --moe-a2a-backend megamoe ditolak pada apa pun yang bukan GPU SM100, karena kernel yang dalam kondisi lain akan menjalankan SwiGLU, sedangkan expert model ini menggunakan SiTU. Baris itu, dan sisa PR #51236, adalah deskripsi publik pertama tentang bagaimana rilis chat ERNIE 5.5 Flash — berbeda dengan ERNIE 5.5 Flash Base checkpoint yang diterbitkan Baidu pada 5 November dan ERNIE 5.5 Flash Preview endpoint yang dibukanya pada 11 November — dimaksudkan untuk dilayani. Modelnya sendiri belum dirilis. Kontrak penyajiannya sekarang sudah ada.

Ini adalah artikel tentang sejauh yang kami ketahui, bukan liputan peluncuran. Semua yang ada di bawah ini berasal dari satu pull request terbuka yang belum di-merge dan belum ditinjau, dari dokumentasi SGLang yang ditulis bersamaan dengan dukungan Base sebelumnya, dan dari halaman-halaman terbitan Baidu sendiri. Tidak ada apa pun di sini yang telah dijalankan terhadap checkpoint chat yang dapat diunduh, karena checkpoint semacam itu tidak dapat diunduh. Jika suatu angka berasal dari Baidu, angka itu diberi label sebagai milik Baidu.

Apa yang sebenarnya ditambahkan oleh pull request tersebut

PR #51236 berjudul "[Feat] ERNIE-5.5-Flash: Menambahkan encoding templat chat Python dan serving FP4 MegaMoE" dan dibuka oleh chang-wenbin, seorang kontributor, pada pukul 12:12 UTC tanggal 18 November. PR ini menyentuh 14 file, menambah 525 baris, dan menghapus 24 baris. Tidak ada persetujuan, semua proses CI-nya dilewati karena menunggu label, dan bagian accuracy-test maupun speed-test dalam deskripsi sama-sama masih berupa komentar templat yang belum diisi. Jika dibaca sebagai bukti, itu penting: ini adalah kode yang diyakini penulisnya diperlukan, bukan kode yang sudah diverifikasi oleh siapa pun.

Ini adalah pull request ERNIE 5.5 keempat dalam dua minggu. #48546 menambahkan resep deployment ke cookbook SGLang dan di-merge pada 5 November, hari ketika bobot Base dipublikasikan. #48547 menambahkan model itu sendiri — Ernie5_5_MoeForCausalLM, backend attention, kumpulan KV-cache, modul draf DSpark — dan di-merge pada 6 November. #49807 memperluas prefill NVIDIA LiteTopK ke "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1" pada 11 November dan masih terbuka. PR 18 November adalah yang pertama dari keempatnya yang sama sekali bukan tentang checkpoint Base.

Templat chat ini berbasis Python, dan itu mengubah siapa yang bisa menjalankannya.

Checkpoint ERNIE 5.5 Flash dapat membawa templat chat mereka sebagai Python alih-alih sebagai string Jinja, dalam kelas tokenizer yang oleh PR dinamai ErnieChatTokenizer. Jalur normal SGLang merender prompt dengan memanggil apply_chat_template terhadap templat Jinja di konfigurasi tokenizer; pengodean chat ernie5_5 yang baru malah memanggil tokenizer milik checkpoint itu sendiri, dan menyelesaikan dirinya secara otomatis dari string arsitektur atau tipe model ernie5_5_moe. Konsekuensi praktisnya, dalam kata-kata PR itu sendiri: tokenizer harus dimuat dengan --trust-remote-code, dan menyajikan chat dengan --skip-tokenizer-init ditolak mentah-mentah dengan error yang menjelaskan.

Itu adalah batasan deployment yang bisa ditindaklanjuti pembaca. Model yang merender prompt dalam Python mengeksekusi kode dari repositori checkpoint pada waktu permintaan, sehingga siapa pun yang menjalankannya secara air-gapped, di dalam image yang diperketat, atau di balik kebijakan yang melarang kode jarak jauh harus memilih untuk menyertakan sendiri tokenizer atau menerima flag tersebut. Checkpoint Base tidak memiliki masalah ini: tokenizer_config.json yang dipublikasikan tidak membawa templat chat sama sekali dan mendeklarasikan PreTrainedTokenizerFast biasa, yang memang seperti yang Anda harapkan dari checkpoint yang disajikan melalui endpoint completions.

Tiga detail kecil di file yang sama bernilai lebih dari yang terlihat. Adapter ini mendukung pesan sistem inline — giliran sistem di tengah percakapan dirender di tempatnya, bukan digabungkan ke pesan pertama — yang hanya dilakukan oleh dua encoding lain di pohon SGLang. Ia menggunakan kelanjutan native renderer untuk continue_final_message, karena jalur penambahan awalan generik akan menghilangkan awalan di dalam blok think yang telah dibuka. Dan ia sengaja membuang chat_template_kwargs yang akan ditolak renderer, karena ErnieChatTokenizer melempar error pada kata kunci tak dikenal sementara template Jinja diam-diam mengabaikannya — PR tersebut menyebut frontend yang mengirim thinking bergaya DeepSeek sebagai kasus yang rusak.

Perbaikan bug yang timbul dari ini adalah satu baris paling mengungkap dalam diff. Handler permintaan SGLang membaca kunci thinking dan menetapkan default-nya nonaktif; parser penalaran ernie55 membaca enable_thinking dan menetapkan default-nya aktif. Menyuntikkan default handler karena itu menghasilkan prompt dengan thinking nonaktif di bawah parser penalaran yang mengharapkan penalaran, dan seluruh jawaban model diurai ke reasoning_content dengan content dibiarkan kosong. Itulah persis mode kegagalan yang dilaporkan pengguna endpoint Preview sejak 11 November — jawaban biasa datang sebagai content kosong — dan perbaikan ini menyiratkan bahwa checkpoint chat berpikir secara default.

Penalaran dan panggilan alat juga mendapatkan parser yang dipilih otomatis: ernie55 untuk penalaran, membaca tag <ernie:think>, dan ernie55 untuk panggilan alat, membaca <ernie:tool_call>. Docstring adaptor menyatakan bahwa teks, pemanggilan alat, dan toggle berpikir didukung serta bahwa cabang multimodal templat "dibiarkan untuk peningkatan di kemudian hari" — jadi pada PR ini model chat disajikan sebagai apa yang telah Baidu deskripsikan di tempat lain: model teks.

Mengapa para pakar empat-bit mengunci jalur cepat menuju Blackwell

Paruh kedua PR ini membahas routed experts yang disimpan dalam MXFP4, dijalankan sebagai w4a8 — bobot empat bit, aktivasi delapan bit — melalui all-to-all MegaMoE DeepGEMM antar-GPU. Dua pilihan implementasi mengandung informasi tentang model itu sendiri.

• Kuantisasi terdeteksi otomatis dari header safetensors, karena checkpoint tidak membawa kunci routed_experts_quant_method. Hal itu sesuai dengan konfigurasi Base yang dipublikasikan, yang tidak memiliki bidang tersebut; loader membaca dtype expert dari header file dan menetapkan is_fp4_experts dari situ.

• Jalur MegaMoE ditolak pada SM90 dan pada ROCm, bukan didegradasi, karena kernel MegaMoE FP8 SM90 dan ROCm di-hardcode untuk SwiGLU sementara para expert ini diaktivasi dengan SiTU. Komentar PR tersebut menetapkan secara persis konstanta yang ditanamkan DeepGEMM: SiTU beta 4.0 dan linear beta 25.0. config.json milik checkpoint Base sendiri mendeklarasikan activation_situ_beta: 4.0 dan activation_situ_linear_beta: 25.0, sehingga konstanta kernel dan bobotnya selaras — semacam pemeriksaan silang yang membuat sebuah kebocoran terbaca sebagai rekayasa, bukan spekulasi.

Mode kegagalan yang dicegah adalah yang senyap. Kernel SM90 yang menghitung SwiGLU pada bobot SiTU tidak akan crash; ia akan mengembalikan teks yang lancar namun sedikit salah. Menolak untuk mulai adalah hasil yang lebih baik, dan itulah alasan kisah FP4 dibatasi oleh perangkat keras, bukan bersifat universal.

Apa artinya secara komersial lebih sempit daripada "ERNIE 5.5 Flash membutuhkan Blackwell." Tidak demikian. Cookbook SGLang, yang ditulis untuk checkpoint Base, menerbitkan resep node tunggal pada B300, GB300, B200, GB200, dan H100, dan resep FP8 H100 menggunakan delapan GPU karena bobot FP8 kira-kira 280 GB. Jalur experts FP4 adalah jalur yang hanya ada pada komponen SM100, dan SGLang belum menerbitkan tabel memori untuk checkpoint FP4 karena belum pernah melihatnya. Perlakukan setiap perhitungan "muat pada satu B200" yang Anda lihat — termasuk perkiraan jelas bahwa membagi dua byte experts membawa model 280 GB ke sekitar 150 GB — sebagai perkiraan, bukan resep.

Apa yang sebenarnya dapat diunduh hari ini

• ERNIE 5.5 Flash Base — bobot terbuka sejak 5 November 2026, dalam FP8 dan BF16, di Hugging Face dan ModelScope. 280B parameter total, 14B aktif, 43 lapisan (satu FFN padat, 42 MoE), 512 routed expert dengan top-10 plus satu shared expert dalam ruang laten berdimensi 2.048. Attention hibrida: 37 lapisan attention yang sangat terkompresi, 6 lapisan MLA dengan sparse attention DSA. Lisensinya adalah ERNIE 5.5 Flash Base Model License Agreement v1.0 — bukan Apache 2.0.

• ERNIE 5.5 Flash Preview — hanya API sejak 11 November, di Baidu Qianfan, tercantum dengan konteks 1 juta token dan batas laju 300 permintaan serta 3 juta token per menit. Postingan rilis Baidu menyebut bahwa bobotnya "akan segera di-open-source-kan di bawah Apache 2.0." Hingga hari ini, hal itu belum terjadi. Varian gratis dari Preview ini telah dapat dipanggil melalui katalog pihak ketiga sejak 10 November.

• ERNIE 5.5 Flash — model yang dibahas dalam pull request ini. Belum dirilis. Cookbook SGLang mencantumkannya sebagai "ERNIE-5.5-Flash (FP8 / FP4 / BF16, segera hadir), dengan penalaran, tool calling, dan draf DSpark yang disertakan," dan daftar model Qianfan berisi tepat satu entri ERNIE 5.5, yaitu ernie-5.5-flash-preview. Tidak ada halaman Artificial Analysis untuk model ERNIE 5.5 mana pun, dan baris ERNIE terbaru di papan peringkat arena adalah ERNIE 5.1 dengan skor 1467 — jadi setiap angka kemampuan yang dilekatkan pada model ini tetap milik Baidu sendiri.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

Pembacaan jujur atas keseluruhan PR ini adalah: PR ini ditulis untuk checkpoint yang tidak dapat diunduh siapa pun. Kode deteksi FP4, loader draf DSpark yang membangun main_proj dengan konfigurasi kuantisasi FP8 dan mengkuantisasi feature_projection BF16 saat dimuat, serta pemanasan tabel encode yang membayar biaya terukur 0,8 detik saat startup alih-alih pada permintaan pertama — semuanya menyasar artefak yang dirujuk dalam komentar kode hanya sebagai "the 1110 checkpoint." Baidu telah mengumumkan artefak tersebut dan belum menerbitkannya.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

Seberapa berharga ini bagi seseorang yang memilih model hari ini

Sebagai keputusan pembelian, sangat kecil; sebagai keputusan penjadwalan, cukup besar. Rilis yang akan menjadikan ERNIE 5.5 Flash kandidat bukanlah pull request ini; melainkan checkpoint chat ditambah berapa pun harga yang ditetapkan Baidu ditambah satu evaluasi independen. Yang memang dipastikan PR ini adalah bentuk deployment yang akan Anda ikuti jika berencana melakukan self-host: tokenizer Python yang memerlukan kode remote, jalur cepat FP4 yang membutuhkan perangkat keras SM100, draf spekulatif DSpark yang dibundel ke dalam keluarga checkpoint yang sama, dan parser penalaran yang mengasumsikan mode thinking aktif. Tim yang sebelumnya menganggap "kami punya H100, kami akan menjalankan versi terkuantisasi murah" sekarang tahu bahwa versi terkuantisasi murah itulah yang tidak dapat ditangani perangkat keras mereka.

Jika Anda lebih memilih untuk tidak mempertaruhkan jalur produksi pada endpoint maupun kode penyajian yang belum digabungkan, bentuk yang masuk akal adalah menjaga model tetap di belakang lapisan perutean selama model itu membuktikan kemampuannya. Katalog OrcaRouter tidak mencakup model ERNIE apa pun — daftar model mengembalikan 218 entri dan tidak ada baris Baidu — jadi ini bukan klaim bahwa Anda dapat memanggilnya di sini hari ini. Yang diberikan platform untuk model dalam kondisi ini adalah desain eksperimen: satu endpoint yang kompatibel dengan OpenAI di depan 200+ model lain, failover otomatis lintas penyedia di belakang satu endpoint tersebut, dan markup 0% dengan harga daftar penyedia diteruskan apa adanya, jadi penetapan harga ulang oleh penyedia adalah yang Anda bayar pada hari hal itu terjadi, bukan setelah margin diterapkan. Jika ERNIE 5.5 Flash nantinya tersedia di penyedia yang sudah Anda rutekan, mencobanya menjadi perubahan string model, bukan integrasi kedua.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

Apa yang akan mengubah ini menjadi sebuah cerita rilis?

Empat hal, kira-kira dalam urutan seberapa besar hal-hal itu akan mengubah gambaran. Pull request yang di-merge dengan CI dan uji akurasi yang telah ditinjau akan mengubah "seseorang menulis ini" menjadi "SGLang dapat menyajikannya," yang merupakan perbedaan yang dihasilkan dukungan Base sebelumnya pada 6 November. Checkpoint MXFP4 yang muncul di Hugging Face akan membuat separuh bagian FP4 dari PR tersebut dapat diuji oleh siapa pun yang memiliki B200. Bobot Apache 2.0 yang dijanjikan Baidu untuk Preview akan menyelesaikan pertanyaan lisensi yang masih terbuka setelah rilis Base. Dan skor independen pertama — halaman Artificial Analysis, entri arena berperingkat, benchmark agentic yang dapat direproduksi dari pihak selain Baidu — akan menggantikan tabel vendor dengan bukti.

Sampai saat itu, pertanyaan yang menarik bukanlah apakah ERNIE 5.5 Flash bagus. Melainkan apakah sebuah model dapat hadir dengan kontrak penyajiannya sepenuhnya ditentukan sementara bobotnya masih belum diterbitkan, dan apa dampaknya bagi orang-orang yang merencanakan perangkat keras berdasarkan pengumuman. Pekan ini jawabannya ya, dan kontraknya adalah templat obrolan dalam Python, pakar empat bit pada satu generasi GPU, dan penolakan untuk dimulai di tempat lain. Langkah Baidu berikutnya adalah bobotnya; langkah SGLang adalah tinjauan.