ERNIE 5.5 Flash Preview vill ha din svåraste uppgift: vad bygget på elva timmar faktiskt bevisar

ERNIE 5.5 Flash Preview lanserades som en fakturerad slutpunkt på Baidus Qianfan-plattform den 10 november 2026, och det officiella lanseringsinlägget följde den 11 november med ett enda rubrikpåstående: ge den dina svåraste uppgifter. Det påståendet vilar mer än något annat på en enda artefakt – ett tredjepersonsspel i Unreal Engine 5.8 som byggdes i vad Baidu beskriver som en enda elva timmar lång kodningsuppgift – och på tjugo benchmarkrader som Baidu körde på sina egna testramverk med domare som företaget självt valt. Varken de elva timmarna eller de tjugo siffrorna har reproducerats utanför företaget. Den intressanta frågan är inte om demon är imponerande. Det är om en elva timmar lång agentisk körning ens är rätt sak att mäta, och vad databladet säger om fakturan du skulle få för en sådan. Katalogen innehåller 228 modeller från 17 leverantörer och det finns ingen ERNIE-post i en katalog med 228 modeller från 17 leverantörer så jämförelsegruppen är bara en nyckel bort även om subjektet inte är det.

Påståendet handlar om varaktighet, inte svårighetsgrad.

Varje lanseringsinlägg för en modell säger att modellen är bra på svåra saker. Det här definierar svårt annorlunda: det definierar det som långt. Spelbygget, 3D-scenerna, arbetsytorna med flera tusen filer och den 116 sekunder långa animerade kortfilmen är alla övningar i att hålla en plan samman över timmar av redigeringar och verktygsanrop, inte i att svara på en fråga som en mindre modell skulle få fel.

Den distinktionen spelar roll eftersom de två egenskaperna går isär. En modell kan vara utmärkt på resonemang i ett enda steg och kollapsa vid fjärde timmen av en refaktorering, när kontexten är full av dess egna tidigare misstag och planen behöver revideras snarare än utföras. En modell kan också vara medioker på ett pussel med bara ett försök och ändå vara rätt val för en nattlig byggkörning. Baidu satsar på att du bryr dig om det andra.

Den mest användbara meningen i hela inlägget är inte ett benchmark. Den finns i avsnittet om spelutveckling och beskriver hur modellen fungerade utan att kunna se: eftersom den är textbaserad och inte kan titta på skärmen, omvandlade den buggar som upptäckts i speltester – en karaktär som svävar ovanför marken, en inkonsekvent springriktning, en felplacerad kamera – till mätbara tester i kod. Det är en uppriktig beskrivning av en kringlösning, och den säger något som specifikationsbladet inte gör. Modellens kompetens inom visuellt arbete delegeras till verktyg som den själv skriver, vilket innebär att resultatets kvalitet beror på om den kan konstruera ett verifierbart test för det den inte kan se.

Vad rullen faktiskt innehåller

De fyra fallstudierna är värda att räkna upp eftersom de är mer specifika än lanseringstexter vanligtvis är, och det är specificiteten som gör dem kontrollerbara i princip.

• Spelutveckling — ett tredjepersonsspel i Unreal Engine 5.8 som byggdes i en enda elva timmar lång uppgift, där tillgångar från flera motorgenerationer sammanfogades till ett enda projekt och spelet skrevs i C++; separat nästan hundra mobila minispel som genererats från designdokument för Cocos, Unity, LayaAir, PixiJS och Canvas 2D, varav de flesta strukturerar sina regler som en deterministisk simulering så att botgenomspelningar och sökning i tillståndsrymden kan bevisa att varje nivå går att klara.

• 3D-modellering — en Boeing 747 och Beijing Daxing flygplats byggda av två agenter via Blender Python API, en på flygplatsen och en på flygplanet, sedan skaljusterade, belysta, renderade bildruta för bildruta med Cycles och OptiX och klippta med FFmpeg; Hōryū-ji tempelkomplexet undersökt och monterat steg för steg; en previs-sekvens på ungefär 2 100 objekt och 1,82 miljoner trianglar över fyra Blender-scener; en W16-motor, två Shenzhen-torn och en månrover modellerade i FreeCAD genom Python-skript.

• Kunskapsarbete – en 20-sidig forskningsrapport om elkostnader för datacenter, en 24-sidig analys av autonom körning baserad på 4 169 federala krockrapporter, en interaktiv arbetsbok för förmögenhetsplanering med en Monte Carlo-simulering med 1 000 banor, och ett 6 minuter och 34 sekunder långt orkesterstycke levererat som en WAV-fil.

• Video – fler än 150 000 skapandemiljöer och cirka 5 300 minuter färdig video, med en 116 sekunder lång 2D-animerad kortfilm som huvudnummer, skriven i över 10 000 rader Python, som för en enda parametriserad pelikan genom 20 konststilar.

Träningssiffran bakom avsnittet om kunskapsarbete är den största siffran i inlägget: 300 000 arbetsytor med 10 miljoner referensfiler i över 40 filtyper. Det är ett påstående om vad modellen tränades att överleva, och det är den del av argumentet som en benchmarktabell inte alls kan göra.

De tjugo raderna, lästa för vad de säger om långa serier

Bilagan är en enda bild, vilket innebär att siffrorna inte kan kopieras, sorteras eller kontrolleras mot ett kalkylblad. Avläst från den bilden ser ERNIE-kolumnen ut så här, allt leverantörsrapporterat och ej reproducerat:

• Agentisk kodning – Terminal-Bench 4.0 på 46,5, DeepSWE v1.1 på 71,2, ProgramBench (nästan löst) på 29,5, NL2Repo-Bench på 64,8, Terminal-Bench-Science 0.1 på 21,0.

• Datoranvändning och automatisering – CookieBench på 88,2, AutomationBench på 61,9, APEX-Agents 1.1 på 64,2, DRACO på 84,9.

• Kunskapsarbete – SpreadsheetBench V2 på 36,4, OfficeQA Pro V2 på 67,9, Agents' Last Exam (CLI) på 29,0, SkillsBench 1.1 text-only på 73,5.

• Allmänna agenter och verktygsanvändning — Toolathlon-Verified på 79,0, MCP-Atlas på 84,6, BrowseComp på 87,4.

• Resonemang — HLE utan verktyg på 46,4, AA-Omniscience-Public på 25,2, AA-LCR v1.1 på 79,0.

• 3D — BlenderWorld endast text vid 79,0.

Tabellen är mycket mer användbar om man läser den som en karta över vad som fortfarande misslyckas än som en resultattavla. Fyra rader ligger under 40: ProgramBench på 29,5, Agents' Last Exam på kommandoraden på 29,0, AA-Omniscience-Public på 25,2 och Terminal-Bench-Science på 21,0. Det är inga beskedliga benchmarkar. Agents' Last Exam är utformat för att ligga nära gränsen för vad en agent kan slutföra autonomt; omniscience straffar självsäkert felaktiga svar; Terminal-Bench-Science testar uppgifter av laboratoriekvalitet där ett till synes rimligt tillvägagångssätt är värdelöst. En modell som vill ha din svåraste uppgift och får 21,0 på vetenskapsvarianten av det svåraste agentiska benchmarket säger dig var taket för närvarande ligger. SpreadsheetBench V2 på 36,4 säger något liknande om just kalkylbladsarbete, vilket skaver mot lanseringsinläggets Monte Carlo-arbetsbok med 1 000 vägar.

Raderna över 80 är lika informativa av en annan anledning. BrowseComp på 87,4, MCP-Atlas på 84,6, CookieBench på 88,2 och DRACO på 84,9 är alla uppgifter där modellen poängsätts utifrån ett slutfört, kontrollerbart sluttillstånd i stället för utifrån ett svar. Det mönstret – stark på verifierbara slutföranden, svag på öppna vetenskapliga bedömningar – är precis vad man skulle förvänta sig av en modell som tränats på 300 000 arbetsytor fulla av filer som antingen går att bygga eller inte.

Det är fotnoterna som står för ärligheten. Varje benchmark kördes på en namngiven testrigg, där Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1 och något som förkortas DSH alla förekom, och domarmodellerna är Qwen3.8-Max, DeepSeek-V4.1-Flash-1017 och Gemini 3.1 Flash-Lite. En fotnot medger att GLM-5.3 och denna modell saknar inbyggd multimodal kapacitet och att bildförståelse tillhandahölls via ett verktyg som drivs av Claude Opus 5.5. Åtminstone några av de visionsberoende raderna mäter därför en testrigg där ERNIE 5.5 Flash Preview anropar en konkurrents modell för att titta på saker. Det är ett legitimt ingenjörsval och en märklig sak att hitta i en resultattavla.

De två raderna med prefixet AA behöver en egen anmärkning. AA-Omniscience-Public och AA-LCR v1.1 är benchmarks som publiceras av Artificial Analysis, den oberoende spåraren, men dessa är Baidus körningar av dem. Per den 11 november finns det ingen ERNIE 5.5-rad på Artificial Analysiss ledartavla, så det finns inget oberoende nummer att ställa mot någon av cellerna.

Vad en elva timmars körning skulle kosta, och vad Baidu inte sa

Slutpunktsdokumentationen är den del av den här versionen som förvandlar en demo till ett tekniskt beslut. Qianfan anger ERNIE 5.5 Flash Preview till 0,28 USD per miljon inputtokens och 1,13 USD per miljon outputtokens, med cachade läsningar till 0,028 USD, ett kontextfönster på 1 024 000 tokens, ett outputtak på 921 600 tokens och resonemang som alltid är påslaget på en enda hög ansträngningsnivå utan möjlighet att stänga av det.

Det där utdatataket är den mekaniska anledningen till att en lång enskild körning ens är tänkbar: modellen kan producera nästan lika många token som hela dess kontextfönster rymmer. Det är också anledningen till att räkningen inte är uppenbar. Promptning prissätts till en fjärdedel av utdatatakten, men allt modellen tänker debiteras till utdatatakten, och en modell som inte kan sluta tänka är en modell där kostnaden per uppgift domineras av token som ingen läser.

Räkna på ett maximalt enskilt anrop, vilket är det mest gynnsamma fallet som finns. Att fylla fönstret på 1 024 000 token kostar cirka 0,29 USD till indatatakten. Att generera hela utdatataket på 921 600 token kostar cirka 1,04 USD. Det är ungefär 1,33 USD för ett anrop som uttömmer båda gränserna. Den elva timmar långa Unreal-bygget gjorde med stor sannolikhet inte det, och lanseringsinlägget säger inte hur många token den förbrukade, hur många separata anrop det krävdes eller vad det kostade. Tills någon mäter utdata-token per slutförd uppgift i sin egen arbetsbelastning är varje påstående om att den här modellen är billig eller dyr för hårt arbete en jämförelse av prislistor snarare än en jämförelse av resultat.

Två saker som releasen fortfarande är skyldig dig

Inlägget avslutas med att kalla ERNIE 5.5 Flash Preview "en mellanliggande checkpoint från efterträning" och medger att träningen inte är klar och att vissa förmågor ännu kan vara bristfälliga. Det lovar också att vikterna snart ska släppas som öppen källkod under Apache 2.0, utan något datum, och den 11 november finns det inget förhandsvisningsrepo på Hugging Face – de enda ERNIE 5.5-artefakterna som publicerats där är bascheckpointen och dess BF16-variant. Det finns inget modellkort, ingen kunskapsavgränsning och ingen latenssiffra någonstans i utgåvan.

Så den ärliga sammanfattningen av ”ge den din svåraste uppgift” är snävare än sloganen. ERNIE 5.5 Flash Preview är en text-only-modell med en mycket stor kontext, en ovanligt stor tillåten utdatamängd, en stark historik för uppgifter som slutar i en byggartefakt, en svag historik för uppgifter som slutar i en vetenskaplig bedömning och noll oberoende verifiering. Det är en verklig och specifik profil. Den är också en som en andra checkpoint sannolikt kommer att skriva över.

Hur man testar den profilen utan att satsa en sökväg på den

Baidu tillhandahåller den här modellen via sitt eget Qianfan API och via tredjepartsplattformar som återförsäljer den. OrcaRouter dirigerar inte ERNIE 5.5 Flash Preview – det finns ingen ERNIE-post i en katalog med 228 modeller från 17 leverantörer och ingen Baidu-slutpunkt bakom den – så inget här bör tolkas som ett erbjudande om att tillhandahålla den.

Vad katalogen är bra för i den här situationen är den andra halvan av experimentet. Modellerna som den här mäts mot är tillgängliga via en enda nyckel till leverantörens listpris utan påslag, vilket innebär att du kan köra samma svåra uppgifter genom dem och jämföra slutförandegrader i stället för publicerade poäng. Automatisk redundansväxling sköter det andra jobbet: en förhandsversion utan drifttidshistorik behöver aldrig vara det enda som håller uppe en förfrågningsväg, eftersom en dirigerad reservväg kan ta anropet när den fastnar vid timme tre.

Utvärderingen som är värd att köra den här veckan är liten. Ta tio av dina egna långsiktiga agentuppgifter – de som du normalt inte skulle anförtro åt en enda obevakad körning – och kör var och en genom ERNIE 5.5 Flash Preview och genom två modeller som du redan litar på. Anteckna om den slutfördes, hur många utdatatokens den förbrukade och vad den kostade. Det ger de två siffrorna som Baidu utelämnade: tokens per uppgift och kostnad per slutförd uppgift. Allt annat i lanseringsinlägget, inklusive 46,5 och inklusive de elva timmarna, är någon annans testrigg på någon annans maskin.

Det som skulle avgöra frågan är inte ännu en demorulle. Det är ett datum för släppet under Apache 2.0, ett modellkort med en kunskapsgräns, en rad i Artificial Analysis som tagits fram av Artificial Analysis och en andra checkpoint vars siffror kan ställas mot denna. Baidu har publicerat den berättelse som det borde ha publicerat tillsammans med slutpunkten. Nästa sak som Baidu är skyldigt de människor som det just har bjudit in att lämna över sina svåraste uppgifter är den artefakt som gör att de kan sluta lita på dess ord om hur det gick med de svåraste uppgifterna.