ERNIE 5.5 Flash Preview och påståendet "#2 Open Model" som dess egen rad i leaderboarden motsäger

Baidu quote-tweetade den 12 november 2026 ett påstående om en resultattavla som i sin helhet lyder: "Ernie 5.5 Flash Preview av @Baidu_Inc är på väg att bli den #2 öppna modellen på Code Arena: WebDev, med 1668 poäng." Baidu lade till parameterantalen – 280 miljarder totalt, 14 miljarder aktiva per token – och tackade communityn för att de "satte det på prov". Sedan lät man resten stå. Problemet är att raden som ger 1668 inte är märkt som öppen. På samma Code Arena WebDev-tavla, i samma snapshot från 10 november, ERNIE 5.5 Flash Preview bär taggen Proprietär, en poäng på 1668 ±16, etiketten AutoEval, och röster angivna som N/A. Modellerna som anges som de den överträffar – DeepSeek-V4.1-Flash på 1664 och Kimi K3 på 1658 – är rankade rader med 13 952 respektive 22 405 mänskliga röster, och D​eepSeek-raden bär en MIT-licenstagg. Så meningen gör tre saker samtidigt: rapporterar en verklig poäng, lovar en licens som ännu inte finns och beskriver en rankning som tavlan inte har tilldelat.

Inget av det gör siffran fel. Det gör siffran till ett annat slags objekt än det som meningen säljer, och skillnaden är helt läsbar i resultattavlans egna kolumner.

Vad Arena publicerade, och den enda rad som Baidu utelämnade

Arena-inlägget publicerades kl. 01:08:21 UTC den 12 november 2026, en minut före Baidus citat. Hela texten är värd att ha framför sig, eftersom påståendet och dess förbehåll står i samma stycke:

• "Ernie 5.5 Flash Preview av @Baidu_Inc är på väg att bli den #2 öppna modellen på Code Arena: WebDev, med 1668 poäng."

• "Vikterna kommer snart att släppas som öppen källkod under Apache 2.0."

• Dess poäng placerar den strax över: DeepSeek-V4.1-Flash (Max) på 1664, Kimi K3 (Max) på 1658.

Arena garderade sig kring rankningen två gånger – "på väg att bli" – och knöt öppna-vikter-statusen till en framtida händelse med ordet "snart". Baidus citattweet återgav poängen och parameterantalen, tog bort meningen om Apache 2.0 helt och behöll inramningen "senaste från @arena". En läsare som bara såg Baidus inlägg skulle inte veta att den öppna modellhälften av påståendet är ett framåtblickande uttalande, eftersom det enda stället där det sades är den hälft som klipptes bort.

Det är inte en felcitering. Det är ett urval, och det flyttar bevisbördan till läsaren som vill kontrollera det – vilket är vad resten av den här texten gör.

Raden, läs kolumn för kolumn

Code Arena WebDev poängsätter front-end-webbutvecklingsarbete: agentiska kodningsuppgifter med flera resonemangssteg och verktygsanvändning, inte chattkvalitet och inte allmän kodning. Dess ögonblicksbild från 10 november innehåller 995 980 röster över 158 modeller. Här är ERNIE 5.5 Flash Previews rad så som tavlan skriver ut den, utan någon tolkning tillagd:

• Poäng — 1668, publicerat som 1668 +16/-16, så ett ungefärligt 90-procentigt intervall på ungefär 1652 till 1684.

• Rang — N/A. Raden visas mellan rang 16 och rang 17 utan ett rangnummer.

• Röster — N/A. Det finns överhuvudtaget inget antal mänskliga röster på raden.

• Etikett — AutoEval, en länkad tagg som pekar på Arenas egen förklaring.

• Licensetikett — Proprietär.

• Pris — $0.28 in, $1.13 ut per miljon tokens, vilket matchar Qianfan-listpriset.

• Kontext — Ej tillämpligt, på en modell vars leverantörssida anger ett fönster på 1 miljon token.

Tre av dessa sju kolumner är N/A, och en av dem är licenskolumnen, som är den kolumn som påståendet beror på. Jämför det intervall som det påstås ligga över, och bilden blir skarpare snarare än mjukare:

• 1691 — Claude Opus 5 (Max), A​nthropic, Proprietär.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, märkt "Kimi K3.1 Pro License", en anpassad licens som Arena varken betecknar som öppen eller proprietär.

• 1682 — Gemini 4 Argon (Hög), Google, Proprietär.

• 1679 — GPT-6.1 Terra (Max), OpenAI, Proprietär.

• 1676 — Qwen3.8-Max (0902), A​libaba, Proprietär, Preliminär.

• 1673 — GPT-6 Sol (Max), O​penAI, Proprietär.

• 1670 — Qwen3.8-Max, Alibaba, Proprietär, Preliminär.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Proprietär, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13 952 röster.

• 1658 — Kimi K3 (Max), M​oonshot, 22 405 röster.

Läs den listan mot påståendet. Allt ovanför ERNIE på den är proprietärt utom en rad med anpassad licens. Den första verkligt öppet licensierade modellen du stöter på är D​eepSeek-raden nedanför den. Så "#2 öppen modell" är inte en beskrivning av var ERNIE befinner sig i den här tabellen. Det är en beskrivning av var ERNIE skulle befinna sig om vikterna publicerades under Apache 2.0 och om AutoEval-poäng behandlades som likvärdiga med poäng från mänskliga röster. Båda villkoren är framtida eller omstridda, och inget av dem syns i citatweeten.

Vad AutoEval faktiskt är, och varför ±16 spelar roll här

Arena publicerade sin AutoEval-metodik den 30 juli 2026 och reviderade den senast den 12 augusti. Mekanismen är en belöningsmodell tränad på mänskliga preferenser, som används för att avge röster automatiskt: sampla live-prompt–svarspar, generera om ett svar från målmodellen, låt belöningsmodellen poängsätta båda, omvandla poängskillnaden till en mjuk sannolikhetsröst och kombinera sedan dessa syntetiska röster med de aktuella mänskliga rösterna på de andra modellerna. Arena uppger att de resulterande poängen "tydligt märkta 'AutoEval' och sedan uppdateras när tillräckligt många mänskliga röster har kommit in för att validera dem", och rapporterar rangkorrelation över 0,98 med live-utvärdering.

Det är ett försvarbart sätt att få en signal från dag ett, och det är därför en modell kan dyka upp på en resultattavla samma dag som den släpps. Det är också, enligt Arenas egen beskrivning, en platshållare. Siffran är provisorisk till sin konstruktion och förväntas ändras. Etiketten på ERNIE:s rad är inte dekoration; den är en instruktion att behandla 1668 som en uppskattning i väntan på validering.

Tillämpa nu felstapeln, som är den del av raden som ingen citerade. ERNIE:s intervall sträcker sig från ungefär 1652 till 1684. Både DeepSeek-V4.1-Flashs 1664 och Kimi K3:s 1658 ligger inom det. Detsamma gäller Qwen3.8-Max på 1670 och GPT-6 Sol på 1673. Meningen "dess poäng placerar den strax över DeepSeek-V4.1-Flash på 1664 och Kimi K3 på 1658" är aritmetiskt sann för punktuppskattningarna och statistiskt ohållbar som jämförelse: utifrån den publicerade osäkerheten för just denna rad går ERNIE inte att skilja från någon modell mellan 1652 och 1684. Den kan ligga över DeepSeek. Den kan ligga under DeepSeek. Resultattavlan säger för närvarande inte vilket.

Detta är inte en teknikalitet riktad mot en specifik leverantör. Ett ±16-intervall på en resultattavla där hela topp-25 spänner över ungefär 200 poäng innebär att nästan varje intilliggande radpar är oavgjort på denna konfidensnivå, och den ärliga tolkningen av varje enskild intilliggande jämförelse – för vilken modell som helst – är "jämn". Det som är ovanligt här är bara att en leverantör förstärkte den intilliggande jämförelsen som ett resultat.

Varifrån "#2" kommer, och vilken licens det är beroende av

Utgå baklänges från siffrorna, och det finns exakt ett sätt varpå påståendet blir sant, vilket är värt att nämna eftersom det går att kontrollera och eftersom Arena inte uttryckte det explicit.

Om man låter den öppna mängden betyda "varje rad som Arena inte taggar Proprietary", återstår ovanför 1668 exakt en rad: Kimi K3.1 Pro (Max) på 1688, med taggen "Kimi K3.1 Pro License". Allt annat ovanför ERNIE är taggat Proprietary. Enligt den läsningen är Kimi K3.1 Pro #1 och ERNIE 5.5 Flash Preview skulle vara #2 – inte för att det slog fältet, utan för att fältet framför det är proprietärt.

Den rekonstruktionen är en slutledning, inte ett citat: Arenas inlägg namnger inte modellen som den anser vara #1, och resultattavlan redovisar inte sin klassificering av öppen kontra proprietär utöver licensetiketterna. Om slutledningen stämmer är påståendets bärande faktum en anpassad licens på någon annans modell — Arena behandlar Kimi K3.1 Pro som öppen, och hela inramningen "#2 öppen modell" ärver det klassificeringsbeslutet. Om Arena i stället räknar anpassade licenser som stängda är ERNIE:s 1668 den översta icke-proprietära raden och påståendet borde ha stått "#1", vilket hade varit en märkligare mening att publicera om en förhandsversion.

Hur som helst gör meningen mer arbete än datan bakom den. Siffran är verklig. Rangordningen är villkorad av en licens som ingen har sett.

Avståndet som inramningen döljer

En siffra till hör hemma i varje ärlig version av det här inlägget, och dess frånvaro är det mest informativa med det. Toppen av Code Arena WebDev i samma ögonblicksbild är Claude Fable 5.2 på 1836. ERNIE 5.5 Flash Preview på 1668 ligger 168 poäng efter det – och skulle vara 17:e av 158 om AutoEval-raden rankades, placerad mellan Qwen3.8-Max på 1670 och DeepSeek-V4.1-Flash på 1664.

Sjuttonde plats på en 158-modellstabell, en dag efter lansering, med 14 miljarder aktiva parametrar av totalt 280 miljarder, är ett genuint bra resultat. Det är den typen av resultat som motiverar ett inlägg under lanseringsveckan. Det är inte den typen av resultat som behöver kläs upp som en pallplats, och att klä upp det så inbjuder precis till den granskning som kostar en leverantör mer trovärdighet än den ärliga meningen skulle ha gjort.

Vad leverantörens sida säger och inte säger

Baidus egen utgivningssida för ERNIE 5.5 Flash Preview är daterad 11 november 2026, anger "280B totala parametrar med 14B aktiva och en kontext på 1M token" och beskriver modellen som den första eftertränade checkpointen på ERNIE 5.5 Flash Base, vars basvikter publicerades den 5 november. Den innehåller inget licensutlåtande, inget viktutlåtande och inga benchmark-siffror — sidans benchmark-referenser är rubriker om tidigare ERNIE-utgåvor, inte poäng för den här modellen.

Det gapet spelar roll för det påstående som granskas. "Vikterna kommer snart att släppas som öppen källkod under Apache 2.0" förekommer i Arenas inlägg. Det förekommer inte på leverantörens utgivningssida, och det förekommer inte i leverantörens egen spridning av det inlägget. Om Apache 2.0-åtagandet är verkligt och aktuellt är utgivningssidan den naturliga platsen för det, och det finns inte där. Om det är verkligt men ännu inte dokumenterat, då är den enda offentliga källan till ett licensåtagande för den här modellen ett tillkännagivande på en topplista — vilket är en svag plats för en licens att leva på när en leverantör bygger en rangordning ovanpå den.

Hur man använder detta innan siffrorna stabiliseras

Den praktiska frågan för alla som väljer en modell den här veckan är inte huruvida 1668 är en bra poäng. Det är huruvida en preliminär WebDev-uppskattning på en förhandsgranskningscheckpoint, prissatt till $0.28 in och $1.13 ut med obligatoriskt resonemang fakturerat som output, bör ersätta något som redan är i produktion. Baserat på tillgänglig bevisning är svaret nej — men sättet att testa det är billigt, och det kräver inte att man tror på vare sig inlägget eller den här artikeln.

Kör jämförelsen på de routade modellerna i stället för på resultattavlan. DeepSeek-V4.1-Flash och Kimi K3 är båda tillgängliga via OrcaRouter bakom en enda OpenAI-kompatibel nyckel, till leverantörens listpris utan påslag, så att kontrollgruppen kostar leverantörens egen taxa i stället för ett andra avtal och en andra SDK. Bygg tjugo frontenduppgifter som representerar ditt faktiska arbete – komponentrefaktoreringar, en layoutbugg som bara visar sig vid en viss brytpunkt, ett arbete med att koppla ihop en tillståndsmaskin – kör varje modell två gånger och räkna både utdatatokens och korrekthet. Det är mätningen som ingen rad på resultattavlan ger dig, eftersom det är det enda talet som måste vara ditt: kostnad per uppgift, inte pris per token.

Betrakta ERNIE 5.5 Flash Preview i sig som det som testas snarare än det som antas. Den finns på Qianfan, inte i vår katalog, och en förhandsversion som leverantören själv kallar en mellanliggande post-training-checkpoint är exakt den profil man routar bakom en primär snarare än framför den. Om du ändå sätter den på en väg, sätt den på en väg med failover, så att den dag Arena ersätter 1668 med ett mänskligt röstat nummer — eller den dag Apache 2.0-vikterna dyker upp, eller inte gör det — får dina användare veta det via en loggrada och inte via ett avbrott.

Vad skulle avgöra det?

Tre saker, i den ordning de sannolikt kommer att inträffa, som var och en skulle ändra slutsatsen i den här artikeln snarare än bara försköna den.

• Mänskliga röster ersätter AutoEval-etiketten på den raden. Arena säger att poängen uppdateras när tillräckligt många röster har kommit in. När rösterna slutar visa N/A blir 1668 jämförbart med 1664 och 1658 som det ställdes mot, och ±16-frågan löser sig själv. Se hur intervallet smalnar av lika mycket som punktuppskattningen rör sig.

• Vikter publicerade under en namngiven licens. Ett faktiskt kodförråd med en Apache 2.0-fil avgör frågan om öppen modell för alltid och gör formuleringen "#2 open model" retroaktivt rättvis. Ett licensmeddelande utan vikter avgör ingenting.

• En oberoende WebDev-mätning. Arenas AutoEval är Arenas eget instrument, och varje benchmark-siffra som Baidu har publicerat för den här modellen är Baidus egen körning i Baidus egen testrigg. Ingen av dem är ett tredjepartsresultat. Den första genuint oberoende frontend-utvärderingen av ERNIE 5.5 Flash Preview kommer att vara värd mer än båda.

Fram till dess är den korrekta meningen den tråkiga: en förhandsgranskningscheckpoint som Baidu släppte den 11 november landade på 1668 i Code Arena WebDev, en AutoEval-uppskattning inom ett intervall som överlappar de nästa fyra modellerna nedanför, på en rad som resultattavlan fortfarande märker som Proprietary, och dess leverantör förstärkte det som en #2 på kort sikt bland öppna modeller. Varje sats i det är kontrollerbar i dag. Versionen som tweetades är inte så mycket fel som ofullständig — och den publicerades som om den vore klar.