ERNIE 5.5 Flash Preview Akhirnya Memiliki Postingan Peluncuran, Dua Puluh Benchmark, dan Janji Bobot Model

46,5 pada Terminal-Bench 4.0 adalah skor pertama yang pernah diterbitkan Baidu untuk ERNIE 5.5 Flash Preview, dan skor itu muncul pada 11 November 2026 — sehari setelah model itu sendiri tersedia di Qianfan sebagai endpoint berbayar dengan daftar harga dan tanpa dokumentasi sama sekali. Pos rilis yang memuat angka itu adalah pernyataan resmi pertama tentang model tersebut, dan pos itu menjawab tiga pertanyaan yang tidak bisa dijawab endpoint: apa model itu (280 miliar parameter total dengan 14 miliar aktif, konteks 1M token, dilatih pascapelatihan pada checkpoint ERNIE 5.5 Flash Base dari 5 November), bagaimana menurut Baidu perbandingannya (dua puluh baris benchmark disandingkan dengan GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash-1017 dan model yang hanya tercantum sebagai Hy4), dan apakah Anda akan pernah bisa menjalankannya sendiri (bobotnya "akan segera open-source di bawah Apache 2.0"). Setiap angka dalam tabel itu dilaporkan vendor, dihasilkan pada harness milik Baidu sendiri dengan model juri yang dipilih Baidu, dan tidak ada satu pun yang direproduksi di luar perusahaan. Grup benchmark adalah bagian dari perbandingan ini yang benar-benar dapat Anda kendalikan. harga daftar penyedia dengan markup 0% GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3 dan DeepSeek V4.1 Flash berada pada satu kunci dengan harga daftar penyedia, dengan biaya OrcaRouter ditampilkan sebagai $0.00.

Apa yang Baidu pasang di halaman itu

Tulisan ini disusun sebagai demo reel dengan lampiran benchmark, yang memberi tahu Anda apa yang menurut Baidu menjadi inti argumennya. Empat bagian kemampuan — pengembangan game, pemodelan dan desain 3D, pekerjaan pengetahuan, pembuatan video — masing-masing dibangun dari artefak yang dihasilkan model secara menyeluruh di dalam agent harness, dengan aset dan alat eksternal dikreditkan satu per satu. Spesifikasinya ada di paragraf pembuka dan tidak pernah muncul lagi: total 280B, 14B aktif, konteks 1M token, API di Qianfan, bobot dijanjikan di bawah Apache 2.0. Tidak ada model card, tidak ada batas pengetahuan, tidak ada angka latensi, tidak ada harga, dan tidak ada pernyataan tentang berapa token penalaran yang dikeluarkan model per tugas.

Dua kalimat dalam postingan itu lebih penting daripada gabungan seluruh sisanya. Kalimat pertama ada di bagian pengembangan gim, yang mendeskripsikan proyek Unreal Engine 5.8: "Karena ini adalah model hanya-teks dan tidak dapat melihat layar, model ini mengubah masalah-masalah yang ditemukan dalam playtesting, seperti karakter yang melayang di atas tanah, arah berlari yang tidak konsisten, dan kamera yang salah tempat, menjadi pengujian yang terukur dalam kode." Itu adalah deskripsi yang luar biasa terus terang tentang sebuah solusi alternatif — model tersebut menulis pengujian karena tidak dapat melihat gim — dan ini merupakan pernyataan paling jelas sejauh ini bahwa ini adalah sistem masukan-teks, keluaran-teks yang kompetensi visualnya didelegasikan kepada perkakas.

Yang kedua adalah paragraf penutup: ERNIE 5.5 Flash Preview "adalah checkpoint perantara dari pasca-pelatihan. Model ini sudah kompetitif dengan model seukurannya, tetapi karena pelatihan belum selesai, beberapa kemampuan mungkin masih kurang." Postingan peluncuran yang memberi tahu Anda bahwa peluncuran belum selesai bernilai lebih daripada postingan yang tidak melakukannya, dan itu membingkai ulang semua yang ada di atasnya. Anda tidak sedang membaca pengumuman produk. Anda sedang membaca laporan kemajuan dengan papan skor terlampir, yang diterbitkan agar pengguna memberikan laporan balik sebelum rilis resmi.

Dua puluh baris benchmark, baca dengan cermat.

Tabel lampiran adalah satu gambar, yang dengan sendirinya merupakan petunjuk kecil: angka-angkanya tidak dapat disalin, diurutkan, atau diperiksa terhadap spreadsheet. Dibaca dari gambar, kolom ERNIE adalah sebagai berikut, semuanya dilaporkan Baidu dan tidak direproduksi:

• Pengodean agentik — Terminal-Bench 4.0 mencapai 46,5; DeepSWE v1.1 mencapai 71,2; ProgramBench (Almost Solved) mencapai 29,5; NL2Repo-Bench mencapai 64,8; Terminal-Bench-Science 0.1 mencapai 21,0.

• Penggunaan komputer dan otomasi — CookieBench pada 88,2, AutomationBench pada 61,9, APEX-Agents 1.1 pada 64,2, DRACO pada 84,9.

• Pekerjaan pengetahuan — SpreadsheetBench V2 sebesar 36.4, OfficeQA Pro V2 sebesar 67.9, Agents' Last Exam (CLI) sebesar 29.0, SkillsBench 1.1 hanya teks sebesar 73.5.

• Agen umum dan penggunaan alat — Toolathlon-Verified sebesar 79,0, MCP-Atlas sebesar 84,6, BrowseComp sebesar 87,4.

• Penalaran — HLE tanpa alat pada 46,4 dengan penanda catatan kaki, AA-Omniscience-Public pada 25,2, AA-LCR v1.1 pada 79,0.

• 3D — BlenderWorld hanya teks pada 79.0, satu-satunya baris yang secara langsung menjawab klaim CAD dan Blender di bagian isi.

Catatan kaki adalah tempat kejujuran berada, dan itu layak dibaca sebelum melihat sel mana pun. Setiap benchmark dijalankan pada harness bernama — Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1, dan sesuatu yang disingkat DSH semuanya muncul — dan model jurinya adalah Qwen3.8-Max, DeepSeek-V4.1-Flash-1017, dan Gemini 3.1 Flash-Lite. Satu catatan kaki mengakui bahwa "GLM-5.3 dan model kami tidak memiliki kemampuan multimodal native, pemahaman gambar disediakan melalui alat yang ditenagai oleh Claude Opus 5.5." Dengan kata lain, setidaknya sebagian benchmark yang bergantung pada penglihatan diselesaikan oleh ERNIE 5.5 Flash Preview yang menjalankan alat yang memanggil model pesaing. Itu adalah pilihan rekayasa yang sah dan hal yang benar-benar aneh untuk ditemukan di papan skor, dan itu berarti baris yang melibatkan melihat apa pun mengukur keseluruhan harness, bukan modelnya saja.

Dua baris yang membawa awalan AA perlu diberi catatan tersendiri. AA-Omniscience-Public dan AA-LCR v1.1 adalah tolok ukur yang diterbitkan oleh Artificial Analysis, pelacak independen — tetapi ini adalah hasil uji Baidu atas tolok ukur tersebut, bukan hasil uji Artificial Analysis. Per 11 November, tidak ada baris ERNIE 5.5 di papan peringkat Artificial Analysis, sehingga tidak ada angka independen untuk dibandingkan dengan salah satu sel itu.

Demo reel itu adalah argumen yang sebenarnya.

Jika tabel benchmark adalah bagian yang akan dikutip, keempat studi kasus adalah bagian yang sulit dipalsukan, karena bagian itu menggambarkan hasil kerja, bukan skor. Detailnya cukup spesifik sehingga secara prinsip dapat diverifikasi dan cukup konkret sehingga berguna ketika Anda memutuskan untuk hal apa model ini akan digunakan.

• Pengembangan game — game third-person Unreal Engine 5.8 yang dibuat dalam satu tugas pemrograman selama 11 jam, menggabungkan aset dari beberapa generasi engine ke dalam satu proyek dan menulis game tersebut dalam C++; secara terpisah, hampir 100 mini-game mobile dihasilkan dari dokumen desain di Cocos, Unity, LayaAir, PixiJS, dan Canvas 2D, sebagian besar menyusun aturan sebagai simulasi deterministik sehingga playthrough bot dan pencarian ruang keadaan dapat memverifikasi bahwa setiap level dapat diselesaikan.

• Pemodelan 3D — sebuah Boeing 747 dan bandara Beijing Daxing dibangun oleh dua agen melalui Blender Python API, satu untuk bandara dan satu untuk pesawat, lalu disesuaikan skalanya, diberi pencahayaan, dirender bingkai demi bingkai dengan Cycles dan OptiX serta disunting dengan FFmpeg; kompleks candi Hōryū-ji diteliti dan dibangun langkah demi langkah; sebuah sekuens previs berisi sekitar 2.100 objek dan 1,82 juta segitiga di empat scene Blender; sebuah mesin W16, dua menara Shenzhen, dan rover bulan dimodelkan di FreeCAD melalui skrip Python.

• Pekerjaan pengetahuan — laporan riset 20 halaman tentang biaya listrik pusat data, analisis mengemudi otonom 24 halaman yang dibangun dari 4.169 laporan kecelakaan federal, buku kerja perencanaan kekayaan interaktif dengan Monte Carlo 1.000 jalur, dan karya orkestra berdurasi 6 menit 34 detik yang diserahkan dalam format WAV. Kisah pelatihan di balik ini adalah angka terbesar dalam postingan: 300.000 ruang kerja yang menyimpan 10 juta file referensi di lebih dari 40 jenis file.

• Video — lebih dari 150.000 lingkungan kreasi dan sekitar 5.300 menit video jadi, dengan sorotan utama berupa film pendek animasi 2D berdurasi 116 detik yang ditulis dalam lebih dari 10.000 baris Python dan menggerakkan satu ekor pelikan berparameter melalui 20 gaya seni.

Yang menjadi kesamaan dari semua ini adalah tidak satu pun darinya merupakan interaksi chat. Semuanya adalah proses agentic panjang dengan pemanggilan tool, dan klaim yang diajukan adalah soal daya tahan — apakah model dapat menjaga rencana tetap utuh selama berjam-jam penyuntingan. Itulah tepatnya sifat yang paling buruk diukur oleh tabel benchmark dua puluh baris, dan itulah alasan postingan tersebut mengedepankan artefak.

Ketika postingan peluncuran dan endpoint tidak sependapat

Model yang dijelaskan dalam postingan dan model yang dijelaskan dalam lembar spesifikasi Qianfan dapat dikenali sebagai sistem yang sama yang dilihat dari dua departemen yang tidak saling membandingkan catatan. Endpoint tersebut resmi aktif pada 10 November dengan harga $0,28 per juta token input dan $1,13 per juta token output, dengan pembacaan cache sebesar $0,028, konteks 1.024.000 token, batas output 921.600 token, penalaran wajib pada satu tingkat upaya tinggi, dan tanpa kartu model. Postingan peluncuran, yang diterbitkan sehari kemudian, menegaskan kembali jendela konteks, sama sekali mengabaikan harga, tidak mengatakan apa pun tentang penalaran wajib, dan menyediakan posisi setara isi kartu model tanpa menyediakan kartu modelnya.

Konsekuensi praktisnya adalah bahwa dua bagian cerita ini harus dibaca bersama-sama atau tidak sama sekali. Tulisan itu memberi tahu Anda bahwa model dapat menangani tugas pengodean selama sebelas jam; endpoint memberi tahu Anda bahwa semua yang dipikirkannya ditagih dengan tarif output dan bahwa Anda tidak dapat mematikan proses berpikir. Satu proses yang menghabiskan berjam-jam untuk iterasi adalah proses yang mengeluarkan token output dalam jumlah sangat besar, dan pada $1,13 per juta, biaya reel demo adalah pertanyaan yang tidak pernah diangkat oleh tulisan itu. Sampai seseorang mengukur token output per tugas yang diselesaikan pada beban kerja mereka sendiri, perbandingan apa pun antara model ini dan model yang lebih murah hanyalah perbandingan kartu tarif.

Apa yang masih kurang, dan itu bukan hal kecil

Tiga kekosongan mendefinisikan kondisi ERNIE 5.5 Flash Preview saat ini, dan masing-masing terselesaikan dalam skala waktu yang berbeda.

• Bobotnya. Postingan tersebut menjanjikan Apache 2.0 "segera" tetapi tidak menyebut tanggal, dan per 11 November tidak ada repositori pratinjau di Hugging Face — satu-satunya artefak ERNIE 5.5 yang dipublikasikan di sana adalah ERNIE-5.5-Flash-Base dan varian BF16-nya, keduanya dibuat pada 21 Oktober. Checkpoint dasar dirilis di bawah lisensi ERNIE 5.5 Flash Base, lisensi komunitas terbatas yang mengecualikan Uni Eropa, Inggris Raya, dan Korea Selatan, membatasi penggunaan komersial gratis berdasarkan pendapatan tahunan terkait, dan mewajibkan atribusi "Powered by ERNIE". Jika bobot pratinjau benar-benar hadir di bawah Apache 2.0, itu merupakan perubahan ketentuan lisensi untuk keluarga ini dan jauh lebih penting daripada baris benchmark mana pun.

• Skor independen. Tidak ada apa pun dalam rilis ini yang dijalankan oleh pihak selain Baidu. Tolok ukur dengan nama AA adalah yang perlu diperhatikan, karena Artificial Analysis menjalankan perangkat ujinya sendiri dan akan menerbitkan baris yang sebanding jika dan ketika mereka menambahkan model tersebut; sampai saat itu, dua puluh sel tersebut hanyalah klaim, bukan pengukuran.

• Model yang sudah jadi. Baidu mengatakan pasca-pelatihan masih berlangsung dan rilis resmi akan menyempurnakan versi pratinjau. Itu adalah pernyataan eksplisit bahwa angka-angka hari ini memiliki masa berlaku, dan itu menjadikan setiap keputusan untuk membangun di atas checkpoint ini sebagai keputusan tentang sasaran yang bergerak.

Bagaimana mengevaluasinya tanpa mempertaruhkan jalur produksi padanya

Akses dilakukan melalui API Qianfan milik Baidu sendiri, atau melalui platform pihak ketiga yang menjualnya kembali. OrcaRouter tidak merutekan ERNIE 5.5 Flash Preview — tidak ada entri ERNIE dalam katalog kami yang berisi lebih dari 200 model dan tidak ada endpoint Baidu di baliknya, jadi tidak ada apa pun di sini yang boleh ditafsirkan sebagai penawaran untuk melayaninya.

Dalam situasi ini, kegunaan katalog adalah sisi lain dari meja: model-model yang menjadi pembanding bagi model ini semuanya dapat diakses melalui satu kunci yang kompatibel dengan OpenAI pada harga daftar penyedia dengan markup 0%, yang memungkinkan Anda menjalankan dua puluh tugas yang sama melalui GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3, dan DeepSeek V4.1 Flash sendiri dan melihat apakah urutan Baidu tetap bertahan saat dihadapkan pada prompt Anda. Failover otomatis menjalankan tugas kedua — pratinjau tanpa riwayat uptime tidak perlu menjadi satu-satunya penopang jalur permintaan, karena fallback yang dirutekan dapat mengambil alih panggilan saat tersendat.

Evaluasi yang layak dijalankan minggu ini bersifat sempit dan murah. Ambil sepuluh tugas agen berjangka panjang milik Anda sendiri, jalankan masing-masing melalui pratinjau dan melalui dua model yang sudah Anda percayai, lalu catat tiga hal per tugas: apakah tugas itu selesai, berapa banyak token keluaran yang dihabiskan, dan berapa biayanya. Itu memberi Anda dua angka yang tidak dipublikasikan Baidu — token per tugas dan biaya per tugas yang diselesaikan — dibandingkan dengan baseline yang Anda pilih sendiri. Semua hal lain dalam postingan rilis, termasuk angka 46.5, adalah harness milik orang lain.

Yang akan menjawab pertanyaan itu bukanlah demo lain. Melainkan tanggal rilis Apache 2.0, kartu model dengan batas pengetahuan dan tabel evaluasi, baris Artificial Analysis yang dihasilkan oleh Artificial Analysis, serta checkpoint kedua yang angkanya dapat dibandingkan dengan yang ini. Baidu kini telah menerbitkan cerita yang seharusnya diterbitkannya pada 10 November. Hal berikutnya yang menjadi kewajibannya kepada pengguna adalah artefak yang memungkinkan mereka berhenti menerima begitu saja kata-katanya soal papan skor.