ERNIE 5.5 Flash Preview en de claim "#2 Open Model" die door zijn eigen leaderboard-rij wordt tegengesproken

Baidu quote-tweette op 12 november 2026 een bewering over een ranglijst die volledig luidt: "Ernie 5.5 Flash Preview van @Baidu_Inc is op weg om het #2 open model te worden op de Code Arena: WebDev, met 1668 punten." Baidu voegde de parameteraantallen toe — 280 miljard totaal, 14 miljard actief per token — en bedankte de community voor "het op de proef stellen." Daarna liet het de rest staan. Het probleem is dat de rij die die 1668 oplevert, niet als open is gelabeld. Op hetzelfde Code Arena WebDev-bord, in dezelfde snapshot van 10 november, ERNIE 5.5 Flash Preview draagt de tag Proprietary, een score van 1668 ±16, het label AutoEval, en stemmen vermeld als N/A. De modellen die worden genoemd als degenen die het voorbijstreeft — DeepSeek-V4.1-Flash met 1664 en Kimi K3 met 1658 — zijn gerangschikte rijen met respectievelijk 13.952 en 22.405 menselijke stemmen, en de DeepSeek-rij draagt een MIT-licentietag. De zin doet dus drie dingen tegelijk: een echte score rapporteren, een licentie beloven die nog niet bestaat, en een rangschikking beschrijven die het bord niet heeft toegekend.

Niets daarvan maakt het getal onjuist. Het maakt van het getal een ander soort object dan het object dat de zin verkoopt, en het verschil is volledig afleesbaar in de eigen kolommen van het leaderboard.

Wat Arena postte, en de ene regel die Baidu wegliet

De Arena-post verscheen op 12 november 2026 om 01:08:21 UTC, één minuut vóór het citaat van Baidu. Het is de moeite waard de volledige tekst ervan voor je te hebben, omdat de bewering en het voorbehoud daarbij in dezelfde alinea staan:

• "Ernie 5.5 Flash Preview van @Baidu_Inc is op weg om het #2 open model te worden op de Code Arena: WebDev, met 1668 pts."

• "De gewichten worden binnenkort als open source vrijgegeven onder Apache 2.0."

• "De score ervan zet het net boven: DeepSeek-V4.1-Flash (Max) met 1664, Kimi K3 (Max) met 1658."

Arena nuanceerde de rangschikking twee keer — "op weg naar het worden van" — en koppelde de open-weightsstatus aan een toekomstige gebeurtenis met het woord "soon". Baidu's quote-tweet reproduceerde de score en de parameteraantallen, liet de Apache 2.0-zin volledig weg en behield de "latest from @arena"-formulering. Een lezer die alleen Baidu's bericht zag, zou niet weten dat de helft van de bewering over het open model een toekomstgerichte uitspraak is, omdat de enige plek waar die werd gedaan juist het deel is dat werd geschrapt.

{{1}}Dat is geen verkeerd citaat. Het is een selectie, en die legt de bewijslast bij de lezer die het wil controleren — wat de rest van dit stuk doet.{{/1}}

De rij, kolom voor kolom gelezen

Code Arena WebDev beoordeelt front-end webontwikkelingswerk: agentische coderingstaken met meerdere redeneerstappen en toolgebruik, niet chatkwaliteit en niet algemene codering. De snapshot van 10 november bevat 995.980 stemmen over 158 modellen. Hier is de rij van ERNIE 5.5 Flash Preview zoals het bord die weergeeft, zonder interpretatie toe te voegen:

• Score — 1668, gepubliceerd als 1668 +16/-16, dus een interval van ongeveer 90 procent van ruwweg 1652 tot 1684.

• Rang — N.v.t. De rij wordt weergegeven tussen rang 16 en rang 17 zonder een rangnummer.

Stemmen — N/A. Er staat helemaal geen aantal menselijke stemmen in de rij.

• Label — AutoEval, een gelinkte tag die verwijst naar Arena's eigen uitleg.

• Licentielabel — Propriëtair.

• Prijs — $0,28 voor invoer, $1,13 voor uitvoer per miljoen tokens, wat overeenkomt met de Qianfan-lijstprijs.

• Context — N/A, bij een model waarvan de leverancierspagina een contextvenster van 1M tokens vermeldt.

Drie van die zeven kolommen zijn N/A, en een ervan is de licentiekolom, de kolom waar de claim van afhangt. Vergelijk de band waarvan wordt beweerd dat hij erboven ligt, en het beeld wordt scherper in plaats van vager:

• 1691 — Claude Opus 5 (Max), Anthropic, Propriëtair.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, aangeduid met "Kimi K3.1 Pro License", een aangepaste licentie die Arena noch als open noch als propriëtair aanmerkt.

• 1682 — Gemini 4 Argon (High), G​oogle, Propriëtair.

• 1679 — GPT-6.1 Terra (Max), O​penAI, Propriëtair.

• 1676 — Qwen3.8-Max (0902), A​libaba, Propriëtair, Voorlopig.

• 1673 — GPT-6 Sol (Max), O​penAI, Propriëtair.

• 1670 — Qwen3.8-Max, A​libaba, Propriëtair, Voorlopig.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Propriëtair, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13.952 stemmen.

• 1658 — Kimi K3 (Max), Moonshot, 22.405 stemmen.

Lees die lijst naast de bewering. Alles boven ERNIE erin is propriëtair, behalve één rij met een aangepaste licentie. Het eerste model met een echt open licentie dat je tegenkomt, is de D​eepSeek-rij eronder. Dus "#2 open model" is geen beschrijving van waar ERNIE in deze tabel staat. Het is een beschrijving van waar ERNIE zou staan als de gewichten onder Apache 2.0 werden gepubliceerd en als AutoEval-scores als gelijkwaardig aan door mensen gestemde scores werden behandeld. Beide voorwaarden zijn toekomstig of betwist, en geen van beide is zichtbaar in de quote-tweet.

Wat AutoEval eigenlijk is, en waarom ±16 hier van belang is

Arena publiceerde zijn AutoEval-methodologie op 30 juli 2026 en herzag deze voor het laatst op 12 augustus. Het mechanisme is een beloningsmodel dat is getraind op menselijke voorkeuren en wordt gebruikt om automatisch stemmen uit te brengen: bemonster live prompt-responsparen, genereer een respons opnieuw vanuit het doelmodel, laat het beloningsmodel beide beoordelen, converteer het scoreverschil naar een zachte kansstem en combineer die synthetische stemmen vervolgens met de live menselijke stemmen op de andere modellen. Arena stelt dat de resulterende scores "duidelijk als 'AutoEval' worden gelabeld en vervolgens worden bijgewerkt zodra er genoeg menselijke stemmen binnenkomen om ze te valideren", en meldt een rangschikkingscorrelatie van meer dan 0,98 met live-evaluatie.

Dat is een verdedigbare manier om vanaf dag één een signaal te krijgen, en het is de reden waarom een model op de dag dat het uitkomt op een ranglijst kan verschijnen. Volgens Arena's eigen beschrijving is het ook een tijdelijke aanduiding. Het getal is per definitie voorlopig en zal naar verwachting veranderen. Het label op ERNIE's rij is geen decoratie; het is een instructie om 1668 te behandelen als een schatting in afwachting van validatie.

Pas nu de foutbalk toe, het deel van de rij dat niemand citeerde. ERNIE's interval loopt van ongeveer 1652 tot 1684. DeepSeek-V4.1-Flash's 1664 en Kimi K3's 1658 liggen beide erbinnen. Dat geldt ook voor Qwen3.8-Max op 1670, en ook voor GPT-6 Sol op 1673. De zin "de score ervan zet het net boven DeepSeek-V4.1-Flash op 1664 en Kimi K3 op 1658" is rekenkundig juist voor de puntschattingen en statistisch niet onderbouwd als vergelijking: op basis van de eigen gepubliceerde onzekerheid van deze rij is ERNIE niet te onderscheiden van enig model tussen 1652 en 1684. Het kan boven D​eepSeek liggen. Het kan eronder liggen. De ranglijst zegt momenteel niet welke.

Dit is geen technisch detail dat op één leverancier is gericht. Een interval van ±16 op een ranglijst waar de hele top-25 ongeveer 200 punten omvat, betekent dat bijna elk aangrenzend paar rijen op dit betrouwbaarheidsniveau een gelijkspel is, en de eerlijke interpretatie van elke afzonderlijke aangrenzende vergelijking — voor welk model dan ook — is "gelijk". Wat hier ongewoon aan is, is alleen dat een leverancier de aangrenzende vergelijking als gevolg daarvan heeft uitvergroot.

Waar "#2" vandaan komt, en van welke licentie het afhankelijk is

{{1}}Werk terug vanaf de cijfers{{/1}} en er is precies één manier waarop de bewering waar wordt, wat het vermelden waard is omdat het controleerbaar is en omdat Arena het niet expliciet heeft uiteengezet.

Laten we onder de open set "elke rij verstaan die Arena niet als Proprietary labelt." Boven 1668 blijft er precies één rij over: Kimi K3.1 Pro (Max) op 1688, met het label "Kimi K3.1 Pro License." Al het andere boven ERNIE heeft het label Proprietary. In die lezing is Kimi K3.1 Pro #1 en zou ERNIE 5.5 Flash Preview #2 zijn — niet omdat het het veld heeft verslagen, maar omdat het veld vóór hem proprietary is.

Die reconstructie is een gevolgtrekking, geen citaat: in Arena's bericht wordt het model dat het als #1 beschouwt niet genoemd, en het leaderboard maakt zijn classifier voor open versus propriëtair niet zichtbaar buiten de licentietags om. Als die gevolgtrekking juist is, dan is het dragende feit van de bewering een aangepaste licentie op andermans model — Arena behandelt Kimi K3.1 Pro als open, en de hele framing van "#2 open model" erft die classificatiebeslissing. Als Arena aangepaste licenties daarentegen als gesloten telt, is ERNIE's 1668 de hoogste niet-propriëtaire rij en had de bewering "#1" moeten luiden, wat een vreemdere zin zou zijn geweest om over een preview te publiceren.

Hoe dan ook doet die zin meer werk dan de data erachter. Het getal is echt. De rang is voorwaardelijk, afhankelijk van een licentie die niemand heeft gezien.

De afstand die het kader verbergt

In elke eerlijke versie van dit bericht hoort nog één getal thuis, en het feit dat het ontbreekt, is er het meest informatief aan. De top van Code Arena WebDev in dezelfde snapshot is Claude Fable 5.2 met 1836. ERNIE 5.5 Flash Preview met 1668 staat 168 punten achter dat getal — en zou 17e van de 158 zijn als de AutoEval-rij werd gerangschikt, tussen Qwen3.8-Max met 1670 en DeepSeek-V4.1-Flash met 1664.

Zeventiende op een ranglijst van 158 modellen, één dag na release, met 14 miljard actieve parameters van in totaal 280 miljard, is een oprecht goed resultaat. Het is het soort resultaat dat een post in de lanceerweek rechtvaardigt. Het is niet het soort resultaat dat als podiumplek hoeft te worden voorgesteld, en het op die manier voorstellen lokt precies de kritische blik uit die een leverancier meer geloofwaardigheid kost dan de eerlijke zin zou hebben gekost.

Wat de leverancierspagina wel en niet zegt

De eigen releasepagina van Baidu voor ERNIE 5.5 Flash Preview is gedateerd op 11 november 2026, vermeldt "280B totale parameters met 14B actief en een context van 1M tokens" en beschrijft het model als het eerste post-trained checkpoint op ERNIE 5.5 Flash Base, waarvan de basisgewichten op 5 november zijn gepubliceerd. De pagina bevat geen licentieverklaring, geen verklaring over gewichten en geen benchmarkcijfers — de benchmarkverwijzingen op de pagina zijn kopregels over eerdere ERNIE-releases, niet de scores voor dit model.

Die kloof is van belang voor de bewering die wordt onderzocht. "De gewichten worden binnenkort open-source gemaakt onder Apache 2.0" staat in Arena's bericht. Het staat niet op de releasepagina van de leverancier, en het staat ook niet in de eigen verspreiding van dat bericht door de leverancier. Als de Apache 2.0-toezegging echt en actueel is, is de releasepagina de natuurlijke plek ervoor, en daar staat het niet. Als ze echt is maar nog niet gedocumenteerd, dan is de enige publieke bron voor een licentietoezegging over dit model een aankondiging op een leaderboard — wat een magere plek is voor een licentie om te bestaan wanneer een leverancier daar een ranglijst op bouwt.

Hoe gebruik je dit voordat de cijfers vaststaan?

De praktische vraag voor iedereen die deze week een model kiest, is niet of 1668 een goede score is. Het is of een voorlopige WebDev-schatting op een preview-checkpoint, geprijsd op $0,28 voor input en $1,13 voor output, waarbij verplichte redenering als output wordt gefactureerd, iets wat al in productie is zou moeten vervangen. Op basis van de beschikbare gegevens is het antwoord nee — maar de manier om het te testen is goedkoop, en je hoeft daarvoor noch het bericht noch dit artikel te geloven.

Voer de vergelijking uit op de gerouteerde modellen in plaats van op de ranglijst. DeepSeek-V4.1-Flash en Kimi K3 zijn beide beschikbaar via OrcaRouter achter één OpenAI-compatibele sleutel, tegen de lijstprijs van de provider zonder opslag, dus kost de controlegroep het eigen tarief van de provider in plaats van een tweede contract en een tweede SDK. Bouw twintig frontendtaken die je werkelijke werk vertegenwoordigen — componentrefactors, een lay-outbug die zich alleen bij één breakpoint voordoet, het aansluiten van een state machine — en draai elk model twee keer; tel daarbij zowel de outputtokens als de correctheid. Dat is de meting die geen enkele rij op de ranglijst je zal geven, want het is het enige getal dat van jou moet zijn: kosten per taak, niet prijs per token.

Behandel ERNIE 5.5 Flash Preview zelf als het ding dat wordt getest in plaats van het ding dat wordt geadopteerd. Het staat op Qianfan, niet in onze catalogus, en een preview waarvan de eigen leverancier het zelf een tussenliggend post-training-checkpoint noemt, is precies het profiel dat je achter een primaire routeert in plaats van ervoor. Als je het toch op een pad zet, zet het dan op een pad met failover, zodat je gebruikers op de dag dat Arena 1668 vervangt door een door mensen gestemd getal — of op de dag dat de Apache 2.0-gewichten verschijnen, of juist niet — het uit een logregel vernemen en niet uit een storing.

Wat zou het beslechten?

Drie dingen, in de volgorde waarin ze waarschijnlijk zullen komen, die elk het oordeel in dit artikel zouden veranderen in plaats van het louter op te smukken.

• Menselijke stemmen vervangen het AutoEval-label op die rij. Arena zegt dat scores worden bijgewerkt zodra er genoeg stemmen binnen zijn. Wanneer er bij de stemmen niet langer N/A staat, wordt de 1668 vergelijkbaar met de 1664 en 1658 waartegen hij was afgezet, en lost de kwestie van ±16 zichzelf op. Let op dat het interval net zo veel smaller wordt als de puntschatting verschuift.

• Gewichten gepubliceerd onder een genoemde licentie. Een daadwerkelijke repository met een Apache 2.0-bestand beslecht de kwestie van het open model definitief en maakt de framing "#2 open model" achteraf gezien terecht. Een licentieaankondiging zonder gewichten beslecht niets.

• Een onafhankelijke WebDev-meting. Arena's AutoEval is het eigen instrument van Arena, en elk benchmarkcijfer dat Baidu voor dit model heeft gepubliceerd, is de eigen uitvoering van Baidu op de eigen harness van Baidu. Geen van beide is een resultaat van een derde partij. De eerste echt onafhankelijke front-end-evaluatie van ERNIE 5.5 Flash Preview zal meer waard zijn dan beide.

Tot dan is de accurate zin de saaie: een preview-checkpoint dat Baidu op 11 november uitbracht, belandde op 1668 op Code Arena WebDev, een AutoEval-schatting binnen een interval dat overlapt met de volgende vier modellen daaronder, op een rij die het scorebord nog steeds als Proprietary labelt, en de leverancier versterkte dat tot een nummer 2 op korte termijn onder open modellen. Elke clausule daarvan is vandaag controleerbaar. De versie die werd getweet, is niet zozeer verkeerd als wel onvoltooid — en ze werd gepubliceerd alsof ze klaar was.