ERNIE 5.5 Flash Preview wil je moeilijkste taak: wat de elf uur durende build echt bewijst

ERNIE 5.5 Flash Preview ging op 10 november 2026 live als factureerbaar endpoint op het Qianfan-platform van Baidu, en op 11 november volgde het officiële lanceerbericht met één claim in de kop: geef het je moeilijkste taken. Die claim leunt zwaarder op één artefact dan op wat dan ook — een third-person Unreal Engine 5.8-game die is gebouwd in wat Baidu beschrijft als één enkele codeertaak van elf uur — en op twintig benchmarkrijen die Baidu op zijn eigen harnesses heeft gedraaid met door het bedrijf gekozen beoordelaars. Noch de elf uur, noch de twintig cijfers zijn buiten het bedrijf gereproduceerd. De interessante vraag is niet of de demo indrukwekkend is. Het is of een agentische run van elf uur überhaupt het juiste is om te meten, en wat het specificatieblad zegt over de rekening die je voor één zo'n run zou betalen. De catalogus bevat 228 modellen van 17 aanbieders en er is geen ERNIE-vermelding in een catalogus van 228 modellen van 17 aanbieders dus de vergelijkingsgroep is één toets verwijderd, ook al geldt dat niet voor het onderwerp.

De bewering gaat over duur, niet over moeilijkheid

Elke post over een modellancering zegt dat het model goed is in moeilijke dingen. Deze definieert 'moeilijk' anders: als lang. De game-build, de 3D-scènes, de werkruimtes met duizenden bestanden en de korte animatiefilm van 116 seconden zijn allemaal oefeningen in het bij elkaar houden van een plan gedurende uren aan bewerkingen en tool-aanroepen, niet in het beantwoorden van een vraag die een kleiner model verkeerd zou beantwoorden.

Dat onderscheid is belangrijk, omdat de twee eigenschappen los van elkaar kunnen staan. Een model kan uitstekend zijn in redeneren binnen één beurt en instorten in het vierde uur van een refactor, wanneer de context vol zit met zijn eigen eerdere fouten en het plan herzien moet worden in plaats van uitgevoerd. Een model kan ook middelmatig zijn in een eenmalige puzzel en toch de juiste keuze zijn voor een nachtelijke build. Baidu gokt erop dat jij het tweede belangrijk vindt.

De nuttigste zin in het hele bericht is geen benchmark. Hij staat in de sectie over gameontwikkeling en beschrijft hoe het model te werk ging zonder te kunnen zien: omdat het alleen tekst verwerkt en niet naar het scherm kan kijken, zette het bugs die tijdens playtesting werden opgemerkt — een personage dat boven de grond zweeft, een inconsistente renrichting, een verkeerd geplaatste camera — om in meetbare tests in code. Dat is een openhartige beschrijving van een workaround, en ze vertelt je iets wat de specificatielijst niet doet. De competentie van het model voor visueel werk wordt gedelegeerd aan tooling die het zelf schrijft, wat betekent dat de kwaliteit van het resultaat ervan afhangt of het een verifieerbare test kan bedenken voor hetgeen het niet kan zien.

Wat de reel eigenlijk bevat

De vier casestudies zijn het vermelden waard, omdat ze specifieker zijn dan lanceringscopy doorgaans is, en die specificiteit maakt ze in beginsel controleerbaar.

• Spelontwikkeling — een Unreal Engine 5.8-spel in derdepersoonsperspectief dat in één taak van elf uur werd gebouwd, waarbij assets uit meerdere engine-generaties in één project werden samengevoegd en het spel in C++ werd geschreven; daarnaast bijna honderd mobiele minigames die op basis van ontwerpdocumenten werden gegenereerd voor Cocos, Unity, LayaAir, PixiJS en Canvas 2D, waarvan de meeste hun regels als een deterministische simulatie opzetten, zodat playthroughs door bots en zoeken in de toestandsruimte kunnen bewijzen dat elk level uitspeelbaar is.

• 3D-modellering — een Boeing 747 en Beijing Daxing Airport, gebouwd door twee agents via de Blender Python API, de ene op de luchthaven en de andere op het vliegtuig, daarna op schaal op elkaar afgestemd, belicht, frame voor frame gerenderd met Cycles en OptiX en gemonteerd met FFmpeg; het tempelcomplex Hōryū-ji onderzocht en stap voor stap samengesteld; een previs-sequentie van ongeveer 2.100 objecten en 1,82 miljoen driehoeken verspreid over vier Blender-scènes; een W16-motor, twee torens in Shenzhen en een maanrover gemodelleerd in FreeCAD via Python-scripts.

• Kenniswerk — een onderzoeksrapport van {{1}}20 pagina's{{/1}} over de elektriciteitskosten van datacenters, een analyse van autonoom rijden van {{2}}24 pagina's{{/2}} op basis van {{3}}4.169 federale ongevalsrapporten{{/3}}, een interactief werkboek voor vermogensplanning met een {{4}}Monte Carlo met 1.000 paden{{/4}}, en een orkeststuk van {{5}}6 minuten en 34 seconden{{/5}} geleverd als WAV-bestand.

• Video — meer dan 150.000 creatieomgevingen en ongeveer 5.300 minuten voltooide video, met als hoogtepunt een 2D-animatieshort van 116 seconden, geschreven in meer dan 10.000 regels Python, die één geparametriseerde pelikaan door 20 kunststijlen beweegt.

Het trainingscijfer achter de sectie over kenniswerk is het grootste getal in het bericht: 300.000 workspaces met 10 miljoen referentiebestanden verspreid over meer dan 40 bestandstypen. Dat zegt iets over waar het model op is getraind om te overleven, en dat is precies het deel van het betoog dat een benchmarktabel helemaal niet kan overbrengen.

De twintig rijen, gelezen om wat ze zeggen over lange reeksen

De bijlage is één afbeelding, wat betekent dat de cijfers niet kunnen worden gekopieerd, gesorteerd of met een spreadsheet vergeleken. Afgelezen van die afbeelding loopt de ERNIE-kolom als volgt, allemaal door de leverancier opgegeven en niet gereproduceerd:

• Agentisch programmeren — Terminal-Bench 4.0 op 46,5, DeepSWE v1.1 op 71,2, ProgramBench (Almost Solved) op 29,5, NL2Repo-Bench op 64,8, Terminal-Bench-Science 0.1 op 21,0.

• Computergebruik en automatisering — CookieBench op 88,2, AutomationBench op 61,9, APEX-Agents 1.1 op 64,2, DRACO op 84,9.

• Kenniswerk — SpreadsheetBench V2 op 36,4, OfficeQA Pro V2 op 67,9, Agents' Last Exam (CLI) op 29,0, SkillsBench 1.1 alleen tekst op 73,5.

• Algemene agents en toolgebruik — Toolathlon-Verified op 79,0, MCP-Atlas op 84,6, BrowseComp op 87,4.

• Redeneren — HLE zonder hulpmiddelen op 46,4, AA-Omniscience-Public op 25,2, AA-LCR v1.1 op 79,0.

• 3D — BlenderWorld alleen tekst op 79.0.

De tabel is veel nuttiger te lezen als een kaart van wat nog steeds mislukt dan als een scorebord. Vier rijen staan onder 40: ProgramBench op 29.5, Agents' Last Exam op de opdrachtregel op 29.0, AA-Omniscience-Public op 25.2, en Terminal-Bench-Science op 21.0. Dat zijn geen zachte benchmarks. Agents' Last Exam is ontworpen om dicht bij de grens te liggen van wat een agent autonoom kan voltooien; Omniscience bestraft zelfverzekerde foute antwoorden; Terminal-Bench-Science test taken van laboratoriumkwaliteit waarbij een plausibel ogende procedure waardeloos is. Een model dat je moeilijkste taak wil en 21.0 scoort op de wetenschapsvariant van de moeilijkste agentische benchmark, vertelt je waar het plafond momenteel ligt. SpreadsheetBench V2 op 36.4 zegt iets vergelijkbaars over specifiek spreadsheetwerk, wat ongemakkelijk naast het 1.000-paden-Monte-Carlo-werkboek uit het lanceringsbericht staat.

De rijen boven de 80 zijn om een andere reden net zo informatief. BrowseComp op 87,4, MCP-Atlas op 84,6, CookieBench op 88,2 en DRACO op 84,9 zijn allemaal taken waarbij het model wordt beoordeeld op een voltooide, controleerbare eindtoestand in plaats van op een antwoord. Dat patroon — sterk op verifieerbare voltooiing, zwak op open wetenschappelijk oordeelsvermogen — is precies wat je zou verwachten van een model dat is getraind op 300.000 werkruimtes vol bestanden die wel of niet bouwen.

De eerlijkheid zit in de voetnoten. Elke benchmark draaide op een met naam genoemde harness, waarbij Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1 en iets dat werd afgekort tot DSH allemaal voorkwamen, en de judge-modellen zijn Qwen3.8-Max, DeepSeek-V4.1-Flash-1017 en Gemini 3.1 Flash-Lite. Eén voetnoot geeft toe dat GLM-5.3 en dit model geen native multimodale mogelijkheden hebben en dat beeldbegrip werd geleverd via een tool die door Claude Opus 5.5 wordt aangedreven. Ten minste enkele van de visie-afhankelijke rijen meten daarom een harness waarin ERNIE 5.5 Flash Preview een model van een concurrent aanroept om naar dingen te kijken. Dat is een legitieme engineeringkeuze en iets vreemds om in een scorebord tegen te komen.

De twee rijen met het voorvoegsel AA hebben een eigen kanttekening nodig. AA-Omniscience-Public en AA-LCR v1.1 zijn benchmarks die zijn gepubliceerd door Artificial Analysis, de onafhankelijke tracker, maar dit zijn Baidu's runs ervan. Per 11 november staat er geen ERNIE 5.5-rij op de Artificial Analysis-ranglijst, dus er is geen onafhankelijk cijfer om tegen een van beide cellen af te zetten.

Wat een elf uur durende run zou kosten, en wat Baidu niet zei

De endpointdocumentatie is het onderdeel van deze release dat van een demo een technische beslissing maakt. Qianfan vermeldt ERNIE 5.5 Flash Preview tegen $0,28 per miljoen invoertokens en $1,13 per miljoen uitvoertokens, met gecachte reads tegen $0,028, een contextvenster van 1.024.000 tokens, een uitvoerplafond van 921.600 tokens, en redeneervermogen dat altijd aanstaat op één hoog inspanningsniveau, zonder mogelijkheid om het uit te schakelen.

Dat outputplafond is de mechanische reden waarom één lange run überhaupt denkbaar is: het model kan bijna evenveel tokens uitstoten als zijn hele contextvenster bevat. Het is ook de reden waarom de rekening niet vanzelfsprekend is. Het geven van prompts wordt geprijsd tegen een kwart van het outputtarief, maar alles wat het model denkt, wordt tegen het outputtarief gefactureerd, en een model dat niet kan stoppen met denken is een model waarvan de kosten per taak worden gedomineerd door tokens die niemand leest.

Voer de berekening uit voor één maximale aanroep, het gunstigste beschikbare geval. Het vullen van het venster van 1.024.000 tokens kost ongeveer $0,29 tegen het invoertarief. Het uitsturen van het volledige uitvoerplafond van 921.600 tokens kost ongeveer $1,04. Dat is ongeveer $1,33 voor één aanroep die beide limieten uitput. De Unreal-build van elf uur heeft dat zeer waarschijnlijk niet gedaan, en het lanceerbericht zegt niet hoeveel tokens deze heeft verbruikt, hoeveel afzonderlijke aanroepen ervoor nodig waren of wat het heeft gekost. Totdat iemand op de eigen workload de uitvoertokens per voltooide taak meet, is elke bewering dat dit model goedkoop of duur is bij zwaar werk een vergelijking van tariefkaarten in plaats van een vergelijking van resultaten.

Twee dingen die de release je nog schuldig is

De post sluit af met de woorden dat ERNIE 5.5 Flash Preview "een tussenliggend checkpoint uit post-training" is, waarbij wordt toegegeven dat de training nog niet voltooid is en dat sommige vaardigheden mogelijk nog tekortschieten. Er wordt ook beloofd dat de gewichten binnenkort open source worden gemaakt onder Apache 2.0, zonder datum, en op 11 november is er geen preview-repository op Hugging Face — de enige ERNIE 5.5-artefacten die daar zijn gepubliceerd, zijn het basischeckpoint en de BF16-variant ervan. Er is nergens in de release een modelkaart, een knowledge cutoff of een latentiecijfer te vinden.

Dus de eerlijke samenvatting van "geef het je moeilijkste taak" is narrower dan de leus. ERNIE 5.5 Flash Preview is een alleen-tekstmodel met een zeer grote context, een ongewoon grote toegestane uitvoer, een sterke staat van dienst bij taken die eindigen in een build-artefact, een zwakke staat van dienst bij taken die eindigen in een wetenschappelijk oordeel, en geen enkele onafhankelijke verificatie. Dat is een echt en specifiek profiel. Het is er ook een die een tweede checkpoint waarschijnlijk zal overschrijven.

Hoe kun je dat profiel testen zonder er een pad op te verwedden?

Baidu levert dit model via zijn eigen Qianfan-API en via platforms van derden die het doorverkopen. OrcaRouter routeert ERNIE 5.5 Flash Preview niet — er is geen ERNIE-vermelding in een catalogus van 228 modellen van 17 aanbieders en er zit geen Baidu-endpoint achter — dus niets hier mag worden opgevat als een aanbod om het te leveren.

Waar de catalogus in deze situatie goed voor is, is de andere helft van het experiment. De modellen waarmee dit model wordt vergeleken, zijn via één sleutel bereikbaar tegen de lijstprijs van de provider, zonder opslag, wat betekent dat je dezelfde moeilijke taken via hen kunt laten lopen en voltooiingspercentages kunt vergelijken in plaats van gepubliceerde scores. Automatische failover vervult de tweede taak: een preview zonder uptimegeschiedenis hoeft nooit het enige te zijn dat een aanvraagpad overeind houdt, omdat een gerouteerde fallback het verzoek kan overnemen wanneer het op uur drie vastloopt.

De evaluatie die deze week de moeite waard is om uit te voeren, is klein. Neem tien van je eigen langetermijntaken voor agents — de taken die je normaal niet aan één onbeheerde run zou toevertrouwen — en laat elk daarvan door ERNIE 5.5 Flash Preview en door twee modellen die je al vertrouwt lopen. Noteer of het is afgerond, hoeveel outputtokens het heeft verbruikt en wat het heeft gekost. Dat levert de twee getallen op die Baidu heeft weggelaten: tokens per taak en kosten per voltooide taak. Al het andere in het lanceringsbericht, inclusief de 46,5 en inclusief de elf uur, is de harness van iemand anders op de machine van iemand anders.

Wat de kwestie zou beslechten, is niet nog een demonstratiereel. Het is een datum voor de Apache 2.0-release, een modelkaart met een kennisafsluitdatum, een rij in Artificial Analysis die door Artificial Analysis is geproduceerd, en een tweede checkpoint waarvan de cijfers tegen dit checkpoint kunnen worden afgezet. Baidu heeft het verhaal gepubliceerd dat het naast het endpoint had moeten publiceren. Het volgende dat het de mensen verschuldigd is die het zojuist heeft uitgenodigd hun moeilijkste taken over te dragen, is het artefact waarmee zij kunnen ophouden het op zijn woord te geloven over hoe de moeilijkste taken zijn uitgepakt.