ERNIE-5.5-Flash vs Claude Haiku 5.5: En bascheckpoint möter ett prisgolv

Baidu lade ut ERNIE-5.5-Flash-Base på Hugging Face i morse, och den första raden i modellkortet är den som spelar roll: vikterna är checkpointen i slutet av förträningen, utan att någon mellanträning eller efterträning har tillämpats. Den eftertränade ERNIE 5.5 Flash, enligt Baidus lanseringsinlägg, "kommer att följa". Den där enda meningen gör en direkt jämförelse med Claude Haiku 5.5 omöjlig i dag, eftersom Claude Haiku 5.5 är en färdig, instruktionstränad modell som Anthropic säljer för $0,10 per miljon indata-tokens och $0,50 per miljon utdata-tokens. Den ena sidan av den här duellen är en forskningsartefakt. Den andra sidan är en produkt med en prislista. Det som följer är vad var och en faktiskt är, vad siffrorna som Baidu publicerade kan och inte kan ställas mot, och vad som skulle behöva ändras innan jämförelsen som folk söker efter blir en verklig sådan. ERNIE-5.5-Flash finns inte med där i dag. bläddra i hela modellkatalogen Den listar alla modeller som OrcaRouter kan routa, med aktuella leverantörspriser.

Vad Baidu faktiskt publicerade idag

Släppet består av två repon — baidu/ERNIE-5.5-Flash-Base i FP8 och baidu/ERNIE-5.5-Flash-Base-BF16 — plus ett tekniskt inlägg under Product Updates på ernie.baidu.com. Det är en gles mixture-of-experts-språkmodell med 280B parametrar totalt och 14B aktiverade per token, förtränad från grunden på 33,5T tokens med Muon-optimeraren och FP8 blandad precision. I sidopanelen på Hugging Face avrundas totalen till 286B; modellkortet anger att båda siffrorna utesluter 0,36B av det Baidu kallar ECHO-parametrar.

Arkitekturen är specifik, vilket är ovanligt för en tyst lansering. 43 lager, ett dense och 42 MoE. 37 lager använder komprimerad attention som Baidu kallar HCA, med cache för en post per 128 token; sex använder MLA med gles attention i DeepSeek-stil. Dold storlek 4 096, 64 huvuden, 512 routade experter med top-10-routning plus en delad expert, och en vokabulär på 201 216. Träningskontexten är 128K; den släppta konfigurationen möjliggör 1 048 576 token för finjustering och inferens.

Verktyg som medföljer. Kortet innehåller driftsättningsexempel för SGLang och vLLM, och NVIDIAs Megatron-Bridge-förråd har redan ett ERNIE 5.5-exempel för finjustering. Det är den praktiska omfattningen av en basutgåva som riktar sig till personer som avser att träna på den, inte till personer som avser att anropa den.

Det som inte levererades: en instruktionsmodell, en chattmall värd namnet, en API-listning, ett pris eller ett enda oberoende benchmark. Det finns ingen ERNIE-post i OrcaRouters 216-modellskatalog vid publiceringen, och ingen Artificial Analysis-sida. De enda resultat som finns är Baidus egna, körda på 30 benchmarktester under en enhetlig testrigg mot tre andra basmodeller: DeepSeek-V4-Flash-Base med 284B-A13B, Hy3-preview-Base med 295B-A21B och MiMo-V2.5-Base med 310B-A15B.

Vad Claude Haiku 5.5 säljer

Claude Haiku 5.5 lanserades i början av oktober 2026 som Anthropics lilla, snabba nivå, och dess kommersiella utformning är motsatsen till Baidus lansering: allt publiceras, prissätts och tillhandahålls. Rubriken var en prissänkning på ungefär 90 procent jämfört med Haiku 4.5 på nivån för kort kontext – 0,10 USD för input och 0,50 USD för output per miljon token för prompter upp till 100K token, vilket stiger till 0,50 och 2,50 USD över det. Cachade inläsningar av input kostar 0,01 USD, batch till halva standardpriset. Anthropics egen formulering är att en ny tokenizer räknar ungefär 30 procent fler token för samma text, så den effektiva besparingen per uppgift är mindre än prislappen antyder – runt 75 procent enligt Anthropics egen uppskattning.

Specifikationsbladet är ett produktblad. En kontext på en miljon tokens, maximal utdata på 128K, text- och bildinmatning med textutdata, en kunskapsgräns i juni 2026 och fem ansträngningsnivåer från låg till max. Anthropic positionerar den som sin snabbaste modell vid standardhastighet; Artificial Analysis mäter den till 258 utdata-tokens per sekund i den aktuella körningen. Den är tillgänglig via Anthropics eget API, Amazon Bedrock, Google Vertex AI och Microsoft Foundry.

Det är de två objekten. En bas-checkpoint med 280B parametrar under en skräddarsydd licens, och en hostad modell med 1M kontext för tio cent per miljon indatatoken. Att sätta dem i samma mening är bara försvarbart om du är tydlig med vilken fråga du besvarar.

Varför 93,3 MMLU inte är ett Haiku-nummer

Baidus modellkort rapporterar MMLU 93,3, MMLU-Pro 78,4, GPQA 60,2, BBH 77,1 i direktläge och 89,2 med tankekedja, HumanEval+ 82,3, MBPP+ 81,5, LiveCodeBench 40,1, HELMET-RAG 71,5, RepoQA 91,7 och LongBench-v2 48,7. Det är starka siffror för en basmodell. De är också strukturellt sett inte jämförbara med något som Anthropic publicerar för Haiku 5.5.

Tre skäl, och alla tre spelar roll. För det första utvärderas basmodeller med olika promptning – fåskottskomplettering snarare än instruktionsföljning – så en baspoäng mäter det förtränade utgångsläget, inte den assistent en utvecklare anropar. För det andra skiljer sig testramverken åt: Baidu körde sin egen pipeline med egna prompts och fåskottsantal, vilket är rätt sätt att jämföra dess modell med andra basmodeller och fel sätt att jämföra den med en leverantörs benchmarkar för instruktionsföljning. För det tredje ligger MMLU på 93 långt in i mättnaden; skillnaderna mellan toppmodeller på det benchmarket är nu mindre än formateringseffekterna mellan testramverken.

Så den ärliga tolkningen av ”ERNIE-5.5-Flash vs Claude Haiku 5.5 on benchmarks” är: det finns ingen sådan jämförelse ännu, och den som publicerar en sådan den här veckan antingen jämför en bascheckpoint med en instruct-modell utan att säga det, eller hittar på instruct-siffrorna.

{{1}}En detalj i Baidus egen tabell är värd att hålla kvar, eftersom den talar emot lanseringsnarrativet. Inlägget medger att konkurrenter vinner flera rader – ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank, InfiniteBench och FullStackBench går till en av de andra basmodellerna. En leverantör som publicerar sina förluster i samma tabell som sina vinster ger dig en användbar signal om hur stor vikt man bör fästa vid resten av tabellen.{{/1}}

Priset som ännu inte finns

”Flash” i Baidus namngivning är en nivåbeteckning, inte en specifikation. ERNIE-serien har en etablerad prisstege – ERNIE 5.1 ligger på omkring 0,59 USD för indata och 2,65 USD för utdata per miljon tokens i den internationella Qianfan-listningen, medan ERNIE 4.5 Turbo ligger långt under det – men ERNIE 5.5 Flash har ingen publicerad taxa, ingen Qianfan-endpoint och ingen tredjepartslistning. En sökning på dess prissättning ger bara basutgåvan och inget annat.

Det gapet är hela affärsfrågan. Haiku 5.5:s $0.10/$0.50 har omdefinierat vad en liten modell får kosta, och det är siffran som varje lansering på Flash-nivå nu mäts mot. Om Baidu prissätter ERNIE 5.5 Flash över den nivån måste modellen motivera det med kvalitet på kinesiska eller med datalokalisering. Om den prissätts lägre blir den ett seriöst alternativ för arbetsbelastningar i Fastlandskina. Tills en prisnivå framkommer går det inte att verifiera någon av grenarna.

Artificial Analysis, vars index byggdes om den 27 oktober 2026, placerar Claude Haiku 5.5 på 36 vid max effort – en siffra som tillhör det aktuella indexet och inte kan jämföras med siffror före ombaseringen som fortfarande cirkulerar för andra modeller. Poängen är inte det exakta värdet. Det är att Haiku har en plats på den skalan och ERNIE-5.5-Flash inte har det, eftersom det inte finns någon instruct-modell att testa.

Det är också här som routingen förändrar beslutet. OrcaRouter för vidare leverantörernas listpriser utan något påslag, så när en leverantör sänker ett pris är det nya priset live på plattformen samma dag, i stället för först efter att en återförsäljarmarginal har räknats om. ERNIE-5.5-Flash finns inte i den katalogen i dag – 216 modell-ID:n, inget av dem ERNIE – så det praktiska rådet till den som planerar en kostnadsmodell är att bygga den på de modeller som faktiskt är prissatta, och se över saken igen när Baidu publicerar en prislista.

Vem ska klona repot den här veckan

Inte apputvecklare. Bascheckpointen har inget instruktionsföljande beteende att tala om, och att få den att bete sig som en assistent innebär en efterträningspipeline som du själv skulle behöva utforma. Tre grupper har dock anledning att hämta vikterna nu.

• Team för domänanpassning som arbetar på kinesiska — 33,5T förträningstokens och en vokabulär på 200K, fortsatt förträning på en basmodell är en legitim utgångspunkt, och Megatron-Bridge-exemplet sänker kostnaden för att prova.

• RL- och efterträningsforskare som vill ha en modell med 14B aktiva parametrar och publicerade arkitekturdetaljer – routingen med 512 experter och top-10 samt uppdelningen 37/6 mellan HCA och MLA är dokumenterad tillräckligt väl för att kunna reproduceras.

• Utvärderingsteam som vill ha en ren baslinje innan instruct-modellen släpps – att köra basmodellen själv redan nu ger dig en referenspunkt som leverantörens marknadsföring inte kan rubba i efterhand.

Alla andra bör vänta. En modell som man inte kan anropa, prissätta eller benchmarka mot en instruct-modell är inte ett upphandlingsalternativ, och det totala parameterantalet på 280B innebär att självhosting är en fler-GPU-lösning även vid FP8.

Vad skulle ändra domen?

Fyra händelser, i den ordning de sannolikt kommer att spela roll.

• Den eftertränade ERNIE 5.5 Flash levereras. Baidu säger att den kommer att följa efter. Tills den gör det är varje kapacitetsjämförelse spekulativ, och gapet mellan en bascheckpoint och en färdig Flash-modell är exakt där större delen av den användarsynliga kvaliteten ligger.

• Ett pris visas på Qianfan. Det är ögonblicket då jämförelsen med Haiku blir ett verkligt beslut i stället för ett kategorifel.

• En oberoende utvärdering publiceras. Bevakning från Artificial Analysis eller LMArena skulle göra Baidus testramverk till något som går att verifiera oberoende. Observera att AA-indexet självt baserades om den 27 oktober 2026, så siffror från före ombaseringen som cirkulerar för Haiku 5.5 och andra bör inte jämföras med sådana från efter ombaseringen.

• En tredjepartsvärd tar upp den. Det är vanligtvis signalen om att serveringskostnaderna är förstådda, och det är punkten där en modell blir dirigerbar i stället för enbart nedladdningsbar.

Jämförelsen i rubriken kommer att vara värd att skriva när två av dessa fyra har inträffat. Det som finns i dag är en väldokumenterad basmodell, en licens som inte är Apache och ett namn på en produktnivå som inte har någon produkt bakom sig. Claude Haiku 5.5 är däremot en färdig modell med ett pris som andra leverantörer nu måste förhålla sig till. På den enda fråga en köpare ställer – vad kostar en token och vad gör den – har ena sidan ett svar och den andra ett löfte.

Det intressanta är inte att Baidu släppte det i tysthet. Det är att företaget valde att släppa basvikterna först, före den modell som någon kan använda, och inte satte något pris. Det är en utgivningstakt från ett forskningslabb, inte en produktlansering, och det bör läsas som en sådan.