ERNIE 5.5 Flash Preview dan Klaim "#2 Open Model" yang Bertentangan dengan Baris Papan Peringkatnya Sendiri

Baidu mengutip tweet sebuah klaim papan peringkat pada 12 November 2026 yang berbunyi, lengkapnya, "Ernie 5.5 Flash Preview oleh @Baidu_Inc sedang menuju menjadi model terbuka #2 di Code Arena: WebDev, dengan 1668 poin." Baidu menambahkan jumlah parameter — total 280 miliar, 14 miliar aktif per token — dan berterima kasih kepada komunitas karena "telah mengujinya." Lalu Baidu membiarkan sisanya begitu saja. Masalahnya, baris yang menghasilkan 1668 itu tidak diberi label terbuka. Di papan Code Arena WebDev yang sama, dalam snapshot 10 November yang sama, ERNIE 5.5 Flash Preview membawa tag Proprietary, skor 1668 ±16, label AutoEval, dan suara tercantum sebagai N/A. Model-model yang disebut sebagai yang dilampauinya — DeepSeek-V4.1-Flash pada 1664 dan Kimi K3 pada 1658 — adalah baris berperingkat dengan 13,952 dan 22,405 suara manusia masing-masing, dan baris D​eepSeek membawa tag lisensi MIT. Jadi kalimat itu melakukan tiga hal sekaligus: melaporkan skor nyata, menjanjikan lisensi yang belum ada, dan menggambarkan peringkat yang belum diberikan papan.

Semua itu tidak membuat angka tersebut salah. Itu membuat angka tersebut menjadi jenis objek yang berbeda dari yang dijual oleh kalimat itu, dan perbedaannya sepenuhnya dapat dibaca di kolom-kolom papan peringkat itu sendiri.

Apa yang diposting Arena, dan satu baris yang dihilangkan Baidu

Postingan Arena terbit pada 01:08:21 UTC tanggal 12 November 2026, satu menit sebelum kutipan Baidu. Teks lengkapnya sebaiknya Anda lihat langsung, karena klaim dan pembatasnya berada dalam paragraf yang sama:

• "Ernie 5.5 Flash Preview oleh @Baidu_Inc sedang trending menuju posisi model terbuka #2 di Code Arena: WebDev, dengan 1668 poin."

• "Bobot akan segera dirilis sebagai open source di bawah lisensi Apache 2.0."

• "Skornya menempatkannya tepat di atas: DeepSeek-V4.1-Flash (Max) pada 1664, Kimi K3 (Max) pada 1658."

Arena memberi pagar pada peringkat itu dua kali — "trending towards becoming" — dan mengaitkan status open-weights dengan peristiwa masa depan lewat kata "soon." Quote-tweet Baidu mereproduksi skor dan jumlah parameter, menghapus sepenuhnya kalimat Apache 2.0, dan mempertahankan framing "latest from @arena". Pembaca yang hanya melihat unggahan Baidu tidak akan tahu bahwa separuh klaim soal model terbuka itu merupakan pernyataan yang berorientasi ke masa depan, karena satu-satunya tempat hal itu dinyatakan adalah bagian yang dipotong.

Itu bukan salah kutip. Itu adalah pilihan, dan itu memindahkan beban pembuktian kepada pembaca yang ingin memeriksanya — yang merupakan hal yang dilakukan oleh bagian lain dari tulisan ini.

Baris itu, baca kolom demi kolom

Code Arena WebDev menilai pekerjaan pengembangan web front-end: tugas pengodean agentik dengan beberapa langkah penalaran dan penggunaan alat, bukan kualitas obrolan dan bukan pengodean umum. Snapshot 10 November-nya memuat 995.980 suara di 158 model. Berikut adalah baris ERNIE 5.5 Flash Preview sebagaimana dicetak oleh papan, tanpa interpretasi tambahan:

• Skor — 1668, dipublikasikan sebagai 1668 +16/-16, sehingga interval sekitar 90 persen kira-kira 1652 hingga 1684.

• Peringkat — N/A. Baris tersebut ditampilkan di antara peringkat 16 dan peringkat 17 tanpa nomor peringkat.

• Suara — N/A. Tidak ada jumlah suara manusia pada baris tersebut sama sekali.

• Label — AutoEval, tag tertaut yang mengarah ke penjelasan milik Arena sendiri.

• Tag lisensi — Hak milik.

• Harga — $0,28 masuk, $1,13 keluar per juta token, yang sesuai dengan harga daftar Qianfan.

• Konteks — N/A, pada model yang halaman vendornya menyatakan jendela 1M-token.

Tiga dari tujuh kolom itu adalah N/A, dan salah satunya adalah kolom lisensi, yaitu kolom yang menjadi dasar klaim tersebut. Bandingkan band yang diklaim berada di atasnya dan gambaran menjadi lebih tajam, bukan lebih kabur:

• 1691 — Claude Opus 5 (Max), A​nthropic, Proprietari.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, diberi tag "Kimi K3.1 Pro License," sebuah lisensi kustom yang oleh Arena ditandai bukan sebagai open maupun proprietary.

• 1682 — Gemini 4 Argon (High), Google, Proprietari.

• 1679 — GPT-6.1 Terra (Max), OpenAI, Proprietari.

• 1676 — Qwen3.8-Max (0902), A​libaba, Proprietari, Awal.

• 1673 — GPT-6 Sol (Max), OpenAI, Hak Milik.

• 1670 — Qwen3.8-Max, Alibaba, Hak Milik Eksklusif, Pendahuluan.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Hak Milik, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13,952 suara.

• 1658 — Kimi K3 (Max), Moonshot, 22.405 suara.

Bacalah daftar itu berdampingan dengan klaim tersebut. Semua yang berada di atas ERNIE dalam daftar itu adalah Proprietary kecuali satu baris berlisensi khusus. Model pertama yang benar-benar berlisensi terbuka yang Anda temui adalah baris D​eepSeek di bawahnya. Jadi "#2 open model" bukanlah deskripsi tentang posisi ERNIE dalam tabel ini. Itu adalah deskripsi tentang posisi ERNIE seandainya bobotnya diterbitkan di bawah Apache 2.0 dan seandainya skor AutoEval diperlakukan setara dengan skor hasil voting manusia. Kedua syarat itu masih bersifat masa depan atau diperdebatkan, dan keduanya tidak terlihat dalam quote-tweet tersebut.

Apa sebenarnya AutoEval, dan mengapa ±16 penting di sini

{{1}}Arena{{/1}} menerbitkan metodologi AutoEval-nya pada {{2}}30 Juli 2026{{/2}} dan terakhir merevisinya pada {{3}}12 Agustus{{/3}}. Mekanismenya adalah {{4}}model reward yang dilatih pada preferensi manusia{{/4}}, yang digunakan untuk memberikan suara secara otomatis: {{5}}ambil sampel pasangan prompt-respons langsung, regenerasi respons dari model target, minta model reward menilai keduanya, ubah selisih skor menjadi suara probabilitas lunak{{/5}}, lalu gabungkan suara sintetis tersebut dengan suara manusia langsung pada model lain. Arena menyatakan skor yang dihasilkan "{{6}}diberi label 'AutoEval' secara jelas, lalu diperbarui setelah cukup suara manusia masuk untuk memvalidasinya{{/6}}," dan melaporkan {{7}}korelasi peringkat di atas 0,98 dengan evaluasi langsung{{/7}}.

Itu adalah cara yang dapat dipertahankan untuk mendapatkan sinyal hari pertama, dan itulah sebabnya sebuah model dapat muncul di papan pada hari peluncurannya. Itu juga, menurut deskripsi Arena sendiri, adalah placeholder. Angka itu bersifat sementara secara konstruksi dan diperkirakan akan berubah. Label pada baris ERNIE bukan hiasan; itu adalah instruksi untuk memperlakukan 1668 sebagai perkiraan yang menunggu validasi.

Sekarang terapkan bar kesalahan, yaitu bagian dari baris yang tidak dikutip siapa pun. Interval ERNIE membentang dari sekitar 1652 hingga 1684. Angka 1664 milik DeepSeek-V4.1-Flash dan 1658 milik Kimi K3 sama-sama berada di dalamnya. Begitu juga Qwen3.8-Max pada 1670, dan GPT-6 Sol pada 1673. Kalimat "skornya menempatkannya tepat di atas DeepSeek-V4.1-Flash pada 1664 dan Kimi K3 pada 1658" secara aritmetika benar untuk estimasi titik dan tidak didukung secara statistik sebagai perbandingan: berdasarkan ketidakpastian yang dipublikasikan pada baris ini sendiri, ERNIE tidak dapat dibedakan dari model mana pun antara 1652 dan 1684. Bisa jadi ERNIE di atas DeepSeek. Bisa jadi di bawahnya. Papan peringkat saat ini tidak menyatakan yang mana.

Ini bukan soal teknis yang ditujukan kepada satu vendor. Interval ±16 pada papan peringkat yang seluruh top-25-nya mencakup sekitar 200 poin berarti hampir setiap pasangan baris yang berdekatan adalah seri pada tingkat keyakinan ini, dan pembacaan jujur atas satu perbandingan berdekatan mana pun — untuk model apa pun — adalah "setara." Yang tidak biasa di sini hanyalah bahwa seorang vendor memperbesar perbandingan berdekatan itu sebagai konsekuensinya.

Dari mana asal "#2", dan lisensi apa yang menjadi landasannya

Menelusuri mundur dari angka-angka tersebut, dan ada tepat satu cara klaim itu menjadi benar, yang layak dinyatakan karena dapat diperiksa dan karena Arena tidak menjelaskannya secara eksplisit.

Anggap himpunan terbuka berarti "setiap baris yang tidak ditandai Proprietary oleh Arena." Di atas 1668, itu menyisakan tepat satu baris: Kimi K3.1 Pro (Max) pada 1688, dengan tag "Kimi K3.1 Pro License." Semua lainnya di atas ERNIE ditandai Proprietary. Dalam pembacaan itu, Kimi K3.1 Pro adalah #1 dan ERNIE 5.5 Flash Preview akan menjadi #2 — bukan karena mengalahkan bidang itu, tetapi karena bidang di depannya bersifat proprietary.

Rekonstruksi itu adalah inferensi, bukan kutipan: {{1}}postingan Arena tidak menyebutkan model yang dianggapnya #1{{/1}}, dan papan tersebut tidak mengungkapkan pengklasifikasi terbuka-versus-proprietary-nya di luar tag lisensi. Jika inferensi itu benar, maka fakta penopang klaim tersebut adalah lisensi kustom pada model orang lain — {{2}}Arena memperlakukan Kimi K3.1 Pro sebagai terbuka{{/2}}, dan seluruh kerangka "#2 model terbuka" mewarisi keputusan klasifikasi itu. Jika Arena justru menghitung lisensi kustom sebagai tertutup, {{3}}1668 milik ERNIE adalah baris non-proprietary teratas{{/3}} dan klaim tersebut seharusnya berbunyi "#1," yang akan menjadi kalimat yang lebih aneh untuk diterbitkan tentang sebuah pratinjau.

Bagaimanapun juga, kalimat itu membawa beban lebih besar daripada data di baliknya. Angkanya nyata. Peringkat itu bergantung pada lisensi yang belum pernah dilihat siapa pun.

Jarak yang disembunyikan oleh pembingkaian

Satu angka lagi seharusnya ada dalam versi jujur apa pun dari tulisan ini, dan ketidakhadirannya adalah hal yang paling informatif tentangnya. Peringkat teratas Code Arena WebDev dalam snapshot yang sama adalah Claude Fable 5.2 pada 1836. ERNIE 5.5 Flash Preview pada 1668 tertinggal 168 poin dari itu — dan peringkat ke-17 dari 158 jika baris AutoEval diperingkat, berada di antara Qwen3.8-Max pada 1670 dan DeepSeek-V4.1-Flash pada 1664.

Peringkat ketujuh belas di papan peringkat 158 model, satu hari setelah rilis, dengan 14 miliar parameter aktif dari total 280 miliar, adalah hasil yang benar-benar bagus. Itu adalah jenis hasil yang pantas mendapat postingan minggu peluncuran. Itu bukan jenis hasil yang perlu didandani sebagai finis podium, dan mendandaninya seperti itu justru mengundang pengawasan yang membuat vendor kehilangan lebih banyak kredibilitas daripada yang akan hilang dengan kalimat jujur.

Apa yang halaman vendor nyatakan dan tidak nyatakan

Halaman rilis resmi Baidu untuk ERNIE 5.5 Flash Preview bertanggal 11 November 2026, menyatakan "280B parameter total dengan 14B aktif dan konteks 1M token," dan mendeskripsikan model tersebut sebagai checkpoint pasca-pelatihan pertama pada ERNIE 5.5 Flash Base, dengan bobot dasar yang dipublikasikan pada 5 November. Halaman itu tidak memuat pernyataan lisensi, pernyataan bobot, maupun angka benchmark — referensi benchmark di halaman tersebut adalah judul berita tentang rilis ERNIE sebelumnya, bukan skor untuk model ini.

Kesenjangan itu penting bagi klaim yang sedang diperiksa. “{{1}}Bobot akan segera dijadikan sumber terbuka di bawah Apache 2.0{{/1}}” muncul dalam postingan Arena. Itu tidak muncul di halaman rilis vendor, dan tidak muncul dalam amplifikasi postingan tersebut oleh vendor sendiri. Jika komitmen Apache 2.0 itu nyata dan berlaku saat ini, halaman rilis adalah tempat yang wajar untuknya dan itu tidak ada di sana. Jika itu nyata tetapi belum didokumentasikan, maka satu-satunya sumber publik untuk komitmen lisensi pada model ini adalah pengumuman papan peringkat — yang merupakan tempat yang lemah bagi sebuah lisensi untuk berada ketika vendor membangun peringkat di atasnya.

Bagaimana cara menggunakan ini sebelum angkanya stabil?

Pertanyaan praktis bagi siapa pun yang memilih model minggu ini bukanlah apakah 1668 adalah skor yang bagus. Pertanyaannya adalah apakah estimasi WebDev sementara pada checkpoint pratinjau, dengan harga $0,28 untuk input dan $1,13 untuk output dengan penalaran wajib yang ditagihkan sebagai output, seharusnya menggantikan sesuatu yang sudah ada di produksi. Berdasarkan bukti yang tersedia, jawabannya adalah tidak — tetapi cara mengujinya murah, dan tidak perlu mempercayai baik postingan itu maupun artikel ini.

Jalankan perbandingan pada model yang dirutekan, bukan pada papan peringkat. DeepSeek-V4.1-Flash dan Kimi K3 sama-sama tersedia melalui OrcaRouter di balik satu kunci yang kompatibel dengan OpenAI, dengan harga daftar penyedia tanpa markup, jadi kelompok kontrol memakan tarif penyedia itu sendiri, bukan kontrak kedua dan SDK kedua. Buat dua puluh tugas front-end yang mewakili pekerjaan Anda sebenarnya — refaktor komponen, bug tata letak yang hanya muncul pada satu breakpoint, pekerjaan penyambungan state machine — jalankan setiap model dua kali, dan hitung token keluaran sekaligus kebenarannya. Itulah pengukuran yang tidak akan diberikan oleh satu baris papan peringkat, karena itulah satu angka yang harus menjadi milik Anda: biaya per tugas, bukan harga per token.

Perlakukan ERNIE 5.5 Flash Preview itu sendiri sebagai hal yang sedang diuji, bukan sebagai hal yang diadopsi. Model ini ada di Qianfan, bukan di katalog kami, dan preview yang oleh vendornya sendiri disebut sebagai checkpoint pasca-pelatihan perantara adalah persis profil yang Anda tempatkan di belakang model primer, bukan di depannya. Jika Anda memang menempatkannya pada suatu jalur, tempatkan pada jalur dengan failover, sehingga pada hari Arena menggantikan 1668 dengan angka hasil voting manusia — atau pada hari bobot Apache 2.0 muncul, atau gagal muncul — pengguna Anda mengetahuinya dari baris log, bukan dari gangguan layanan.

Apa yang bisa menyelesaikannya

Tiga hal, sesuai urutan kemungkinan terjadinya, yang masing-masing akan mengubah putusan dalam artikel ini, bukan sekadar memperindahnya.

• Suara manusia menggantikan label AutoEval pada baris itu. Arena mengatakan skor diperbarui setelah cukup banyak suara masuk. Ketika suara tidak lagi terbaca N/A, 1668 menjadi sebanding dengan 1664 dan 1658 yang menjadi pembandingnya, dan pertanyaan ±16 itu selesai dengan sendirinya. Perhatikan interval menyempit sebesar pergerakan estimasi titik.

• Bobot diterbitkan di bawah lisensi bernama. Repositori aktual dengan file Apache 2.0 menyelesaikan pertanyaan model terbuka secara permanen dan membuat framing "#2 open model" secara retrospektif adil. Pengumuman lisensi tanpa bobot tidak menyelesaikan apa pun.

• Pengukuran WebDev yang independen. AutoEval milik Arena adalah instrumen Arena sendiri, dan setiap angka benchmark yang dipublikasikan Baidu untuk model ini adalah hasil run Baidu sendiri pada harness milik Baidu sendiri. Keduanya bukan hasil pihak ketiga. Evaluasi front-end pertama yang benar-benar independen untuk ERNIE 5.5 Flash Preview akan bernilai lebih dari keduanya.

Sampai saat itu, kalimat yang akurat adalah kalimat yang membosankan: sebuah checkpoint pratinjau yang dirilis Baidu pada 11 November menempati posisi 1668 di Code Arena WebDev, sebuah estimasi AutoEval di dalam interval yang tumpang tindih dengan empat model di bawahnya, pada baris yang masih ditandai Proprietary oleh papan peringkat itu, dan vendornya memperbesarnya sebagai #2 jangka pendek di antara model terbuka. Setiap klausa dari pernyataan itu dapat diperiksa hari ini. Versi yang di-tweet bukanlah salah, melainkan belum selesai — dan versi itu diterbitkan seolah-olah sudah tuntas.