ERNIE 5.5 Flash Preview Menginginkan Tugas Terberat Anda: Apa yang Sebenarnya Dibuktikan oleh Build Sebelas Jam Itu

ERNIE 5.5 Flash Preview resmi aktif sebagai endpoint berbayar di platform Qianfan milik Baidu pada 10 November 2026, dan postingan peluncuran resminya menyusul pada 11 November dengan satu klaim utama: berikan tugas tersulit Anda kepadanya. Klaim itu lebih bertumpu pada satu artefak daripada yang lain — sebuah game Unreal Engine 5.8 orang ketiga yang dibuat dalam apa yang Baidu sebut sebagai satu tugas pengodean sebelas jam — dan pada dua puluh baris benchmark yang dijalankan Baidu pada harness miliknya sendiri dengan juri yang dipilihnya. Baik sebelas jam itu maupun kedua puluh angka itu belum direproduksi di luar perusahaan. Pertanyaan yang menarik bukanlah apakah demonya mengesankan. Melainkan apakah proses agentic selama sebelas jam bahkan merupakan hal yang tepat untuk diukur, dan apa yang dikatakan lembar spesifikasi tentang tagihan yang akan Anda bayar untuk satu kali proses. Katalog tersebut memuat 228 model dari 17 penyedia dan tidak ada entri ERNIE dalam katalog yang memuat 228 model dari 17 penyedia sehingga kelompok pembandingnya hanya berjarak satu kunci meskipun subjeknya tidak.

Klaim tersebut adalah tentang durasi, bukan tingkat kesulitan

Setiap postingan peluncuran model mengatakan bahwa model tersebut bagus dalam hal-hal sulit. Yang ini mendefinisikan "sulit" secara berbeda: ia mendefinisikannya sebagai "panjang". Build game, adegan 3D, ruang kerja berisi ribuan file, dan film pendek animasi berdurasi 116 detik semuanya adalah latihan untuk menjaga rencana tetap utuh selama berjam-jam pengeditan dan pemanggilan alat, bukan untuk menjawab pertanyaan yang akan dijawab salah oleh model yang lebih kecil.

Perbedaan itu penting karena kedua sifat tersebut bisa terpisah. Sebuah model bisa sangat unggul dalam penalaran satu putaran dan ambruk pada jam keempat sebuah refactor, ketika konteksnya penuh dengan kesalahan-kesalahannya sendiri sebelumnya dan rencananya perlu direvisi alih-alih dieksekusi. Sebuah model juga bisa biasa saja dalam teka-teki sekali coba dan tetap menjadi pilihan yang tepat untuk build semalaman. Baidu bertaruh bahwa Anda peduli pada hal yang kedua.

Kalimat paling berguna di seluruh tulisan ini bukanlah sebuah benchmark. Kalimat itu ada di bagian pengembangan game, yang menjelaskan bagaimana model bekerja tanpa bisa melihat: karena hanya berbasis teks dan tidak dapat melihat layar, model mengubah bug yang ditemukan saat playtesting — karakter melayang di atas tanah, arah berlari yang tidak konsisten, kamera yang salah tempat — menjadi pengujian terukur dalam kode. Itu adalah deskripsi jujur tentang sebuah akal-akalan, dan itu memberi tahu Anda sesuatu yang tidak disampaikan lembar spesifikasi. Kompetensi model dalam pekerjaan visual didelegasikan ke perkakas yang ditulisnya sendiri, yang berarti kualitas hasilnya bergantung pada apakah model dapat menciptakan pengujian yang dapat diverifikasi untuk hal yang tidak dapat dilihatnya.

Apa sebenarnya isi reel tersebut

Keempat studi kasus itu layak disebutkan karena jauh lebih spesifik daripada biasanya teks peluncuran, dan kekhususan itulah yang pada prinsipnya membuatnya bisa diperiksa.

• Pengembangan game — game orang ketiga Unreal Engine 5.8 yang dibangun dalam satu tugas berdurasi sebelas jam, menggabungkan aset dari beberapa generasi engine ke dalam satu proyek dan menulis game dalam C++; secara terpisah, hampir seratus mini-game seluler yang dihasilkan dari dokumen desain di Cocos, Unity, LayaAir, PixiJS, dan Canvas 2D, sebagian besar menyusun aturannya sebagai simulasi deterministik sehingga permainan bot dan pencarian ruang keadaan dapat membuktikan setiap level dapat diselesaikan.

• Pemodelan 3D — sebuah Boeing 747 dan bandara Beijing Daxing yang dibangun oleh dua agen melalui API Python Blender, satu untuk bandara dan satu untuk pesawat, lalu disesuaikan skalanya, diberi pencahayaan, dirender bingkai demi bingkai dengan Cycles dan OptiX serta dipotong dengan FFmpeg; kompleks kuil Hōryū-ji yang diteliti dan dirakit langkah demi langkah; sebuah sekuens previs berisi sekitar 2.100 objek dan 1,82 juta segitiga di empat scene Blender; mesin W16, dua menara Shenzhen, dan rover bulan yang dimodelkan di FreeCAD melalui skrip Python.

• Kerja pengetahuan — laporan riset 20 halaman tentang biaya listrik pusat data, analisis kendaraan otonom 24 halaman yang dibangun berdasarkan 4.169 laporan kecelakaan federal, buku kerja perencanaan kekayaan interaktif dengan Monte Carlo 1.000 jalur, dan sebuah karya orkestra 6 menit 34 detik yang disampaikan sebagai berkas WAV.

• Video — lebih dari 150.000 lingkungan kreasi dan sekitar 5.300 menit video jadi, dengan sorotan utama berupa film pendek animasi 2D berdurasi 116 detik yang ditulis dalam lebih dari 10.000 baris Python dan menggerakkan satu ekor pelikan berparameter melalui 20 gaya seni.

Angka pelatihan di balik bagian pekerjaan pengetahuan adalah angka terbesar dalam tulisan ini: 300.000 ruang kerja yang menyimpan 10 juta file referensi di lebih dari 40 jenis file. Itu adalah pernyataan tentang apa yang dilatih untuk dihadapi oleh model, dan itulah bagian dari argumen yang sama sekali tidak dapat disampaikan oleh tabel benchmark.

Kedua puluh baris itu, dibaca untuk melihat apa yang dikatakannya tentang lari jarak jauh.

Lampiran adalah satu gambar, yang berarti angka-angka tersebut tidak dapat disalin, diurutkan, atau diperiksa terhadap spreadsheet. Dibaca dari gambar itu, kolom ERNIE adalah sebagai berikut, semuanya dilaporkan vendor dan tidak direproduksi:

• Pengodean agentik — Terminal-Bench 4.0 mencapai 46,5; DeepSWE v1.1 mencapai 71,2; ProgramBench (Almost Solved) mencapai 29,5; NL2Repo-Bench mencapai 64,8; Terminal-Bench-Science 0.1 mencapai 21,0.

• Penggunaan komputer dan otomasi — CookieBench pada 88,2, AutomationBench pada 61,9, APEX-Agents 1.1 pada 64,2, DRACO pada 84,9.

• Pekerjaan pengetahuan — SpreadsheetBench V2 sebesar 36.4, OfficeQA Pro V2 sebesar 67.9, Agents' Last Exam (CLI) sebesar 29.0, SkillsBench 1.1 hanya teks sebesar 73.5.

• Agen umum dan penggunaan alat — Toolathlon-Verified sebesar 79,0, MCP-Atlas sebesar 84,6, BrowseComp sebesar 87,4.

• Penalaran — HLE tanpa alat sebesar 46,4, AA-Omniscience-Public sebesar 25,2, AA-LCR v1.1 sebesar 79,0.

• 3D — BlenderWorld hanya teks pada 79.0.

Tabel ini jauh lebih berguna dibaca sebagai peta tentang apa yang masih gagal daripada sebagai papan skor. Empat baris berada di bawah 40: ProgramBench pada 29,5, Agents' Last Exam di baris perintah pada 29,0, AA-Omniscience-Public pada 25,2, dan Terminal-Bench-Science pada 21,0. Itu bukan tolok ukur yang lunak. Agents' Last Exam dirancang mendekati batas terdepan dari apa yang dapat diselesaikan agen secara otonom; omniscience menghukum jawaban salah yang penuh keyakinan; Terminal-Bench-Science menguji tugas sekelas laboratorium di mana prosedur yang tampak masuk akal tidak ada gunanya. Model yang menginginkan tugas tersulit Anda dan mendapat skor 21,0 pada varian sains dari tolok ukur agentik tersulit sedang memberi tahu Anda di mana batas atas saat ini berada. SpreadsheetBench V2 pada 36,4 mengatakan hal serupa tentang pekerjaan spreadsheet secara khusus, yang terasa janggal di samping buku kerja Monte Carlo 1.000 jalur dalam posting peluncuran.

Baris-baris di atas 80 sama informatifnya karena alasan yang berbeda. BrowseComp pada 87,4, MCP-Atlas pada 84,6, CookieBench pada 88,2, dan DRACO pada 84,9 semuanya adalah tugas di mana model dinilai berdasarkan keadaan akhir yang tuntas dan dapat diperiksa, bukan berdasarkan jawaban. Pola itu — kuat dalam penyelesaian yang dapat diverifikasi, lemah dalam penilaian ilmiah terbuka — persis seperti yang Anda harapkan dari model yang dilatih pada 300.000 ruang kerja yang penuh dengan file yang entah berhasil dibangun atau tidak.

Catatan kaki itulah yang memuat kejujuran. Setiap benchmark dijalankan pada harness bernama; Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1, dan sesuatu yang disingkat DSH semuanya muncul, dan model jurinya adalah Qwen3.8-Max, DeepSeek-V4.1-Flash-1017, serta Gemini 3.1 Flash-Lite. Satu catatan kaki mengakui bahwa GLM-5.3 dan model ini tidak memiliki kemampuan multimodal native dan bahwa pemahaman gambar disediakan melalui alat yang ditenagai oleh Claude Opus 5.5. Karena itu, setidaknya beberapa baris yang bergantung pada visi mengukur harness yang di dalamnya ERNIE 5.5 Flash Preview memanggil model pesaing untuk melihat sesuatu. Itu adalah pilihan rekayasa yang sah dan hal aneh untuk ditemukan dalam papan skor.

Dua baris dengan awalan AA memerlukan catatan tersendiri. AA-Omniscience-Public dan AA-LCR v1.1 adalah benchmark yang diterbitkan oleh Artificial Analysis, pelacak independen, tetapi ini adalah hasil pengujian Baidu atas benchmark tersebut. Per 11 November, tidak ada baris ERNIE 5.5 di papan peringkat Artificial Analysis, sehingga tidak ada angka independen yang dapat dijadikan pembanding untuk kedua sel tersebut.

Berapa biaya untuk menjalankan operasi selama sebelas jam, dan apa yang tidak dikatakan Baidu

Dokumentasi endpoint adalah bagian dari rilis ini yang mengubah demo menjadi keputusan rekayasa. Qianfan mencantumkan ERNIE 5.5 Flash Preview dengan harga $0.28 per juta token masukan dan $1.13 per juta token keluaran, dengan pembacaan cache sebesar $0.028, jendela konteks 1,024,000 token, batas atas keluaran 921,600 token, dan penalaran yang selalu aktif pada satu tingkat upaya tinggi tanpa cara untuk mematikannya.

Batas keluaran itu adalah alasan mekanis mengapa satu proses panjang tunggal bahkan mungkin dilakukan: model dapat mengeluarkan token hampir sebanyak yang dapat ditampung seluruh jendela konteksnya. Itu juga alasan tagihannya tidak jelas. Prompt dihargai seperempat dari tarif keluaran, tetapi semua yang dipikirkan model ditagih pada tarif keluaran, dan model yang tidak bisa berhenti berpikir adalah model yang biaya per tugasnya didominasi oleh token yang tidak dibaca siapa pun.

Lakukan perhitungan untuk satu panggilan maksimal, yaitu kasus paling menguntungkan yang tersedia. Mengisi jendela 1.024.000 token memakan biaya sekitar $0,29 pada tarif input. Menghasilkan batas atas output penuh 921.600 token memakan biaya sekitar $1,04. Itu kira-kira $1,33 untuk satu panggilan yang menghabiskan kedua batas. Build Unreal selama sebelas jam sangat mungkin tidak melakukan itu, dan posting peluncuran tidak menyebutkan berapa banyak token yang dikonsumsi, berapa banyak panggilan terpisah yang diperlukan, atau berapa biayanya. Sampai seseorang mengukur token output per tugas yang diselesaikan pada beban kerja mereka sendiri, klaim apa pun tentang model ini murah atau mahal untuk pekerjaan sulit adalah perbandingan kartu tarif, bukan perbandingan hasil.

Dua hal yang masih harus diberikan rilis ini kepada Anda

Tulisan itu ditutup dengan menyebut ERNIE 5.5 Flash Preview sebagai "an intermediate checkpoint from post-training," sambil mengakui bahwa pelatihan belum selesai dan beberapa kemampuan mungkin masih belum memadai. Tulisan itu juga menjanjikan bobotnya akan segera di-open-source-kan di bawah Apache 2.0, tanpa tanggal, dan per 11 November belum ada repositori pratinjau di Hugging Face — satu-satunya artefak ERNIE 5.5 yang diterbitkan di sana adalah checkpoint dasar dan varian BF16-nya. Tidak ada model card, tidak ada knowledge cutoff, dan tidak ada angka latensi di mana pun dalam rilis tersebut.

Jadi, ringkasan jujur dari "berikan tugas terberat Anda" lebih sempit daripada slogan itu. ERNIE 5.5 Flash Preview adalah model khusus teks dengan konteks yang sangat besar, kuota keluaran yang luar biasa besar, rekam jejak yang kuat pada tugas yang berakhir dengan artefak build, rekam jejak yang lemah pada tugas yang berakhir dengan penilaian ilmiah, dan nol verifikasi independen. Itu adalah profil yang nyata dan spesifik. Profil itu juga kemungkinan besar akan ditimpa oleh checkpoint kedua.

Cara menguji profil itu tanpa mempertaruhkan jalur apa pun padanya

Baidu melayani model ini melalui API Qianfan miliknya sendiri dan melalui platform pihak ketiga yang menjual ulangnya. OrcaRouter tidak merutekan ERNIE 5.5 Flash Preview — tidak ada entri ERNIE dalam katalog 228 model dari 17 penyedia dan tidak ada endpoint Baidu di baliknya — jadi tidak ada apa pun di sini yang boleh dibaca sebagai penawaran untuk melayaninya.

Kegunaan katalog dalam situasi ini adalah separuh eksperimen lainnya. Model yang menjadi pembanding bagi model ini dapat diakses melalui satu kunci pada harga daftar penyedia tanpa markup, yang berarti Anda dapat menjalankan tugas sulit yang sama melalui model-model tersebut dan membandingkan tingkat penyelesaian, bukan skor yang dipublikasikan. Failover otomatis menjalankan tugas kedua: pratinjau tanpa riwayat waktu aktif tidak harus menjadi satu-satunya penopang jalur permintaan, karena fallback yang dirutekan dapat mengambil panggilan saat macet pada jam ketiga.

Evaluasi yang layak dijalankan minggu ini kecil. Ambil sepuluh tugas agen berhorizon panjang milik Anda sendiri — tugas yang biasanya tidak akan Anda percayakan pada satu kali proses tanpa pengawasan — dan jalankan masing-masing melalui ERNIE 5.5 Flash Preview serta melalui dua model yang sudah Anda percayai. Catat apakah tugas itu selesai, berapa token output yang dibakar, dan berapa biayanya. Itu menghasilkan dua angka yang dihilangkan Baidu: token per tugas dan biaya per tugas yang selesai. Semua hal lain dalam posting peluncuran, termasuk 46,5 dan termasuk sebelas jam, adalah harness orang lain di mesin orang lain.

Yang akan menjawab pertanyaan itu bukanlah demo reel lain. Melainkan tanggal rilis Apache 2.0, model card dengan knowledge cutoff, baris Artificial Analysis yang dihasilkan oleh Artificial Analysis, dan checkpoint kedua yang angkanya dapat dibandingkan dengan yang ini. Baidu telah menerbitkan cerita yang seharusnya diterbitkannya bersama endpoint tersebut. Hal berikutnya yang menjadi utangnya kepada orang-orang yang baru saja diundangnya untuk menyerahkan tugas-tugas terberat mereka adalah artefak yang memungkinkan mereka berhenti menerima begitu saja kata-katanya tentang bagaimana tugas-tugas terberat itu berakhir.