ERNIE 5.5 Flash Preview e l'affermazione "#2 Open Model": la sua stessa riga in classifica la contraddice

Baidu ha citato con un tweet, il 12 novembre 2026, un'affermazione relativa a una classifica che recita, integralmente: "Ernie 5.5 Flash Preview di @Baidu_Inc si sta avvicinando a diventare il modello open n. 2 su Code Arena: WebDev, a 1668 punti." Baidu ha aggiunto i conteggi dei parametri — 280 miliardi in totale, 14 miliardi attivi per token — e ha ringraziato la community per averlo «messo alla prova». Poi ha lasciato il resto com'era. Il problema è che la riga che produce quel 1668 non è contrassegnata come open. Sulla stessa board Code Arena WebDev, nello stesso snapshot del 10 novembre, ERNIE 5.5 Flash Preview porta il tag Proprietary, un punteggio di 1668 ±16, l'etichetta AutoEval, e voti indicati come N/A. I modelli indicati come quelli che supera — DeepSeek-V4.1-Flash a 1664 e Kimi K3 a 1658 — sono righe in classifica con rispettivamente 13.952 e 22.405 voti umani, e la riga D​eepSeek porta un tag di licenza MIT. Quindi la frase fa tre cose contemporaneamente: riporta un punteggio reale, promette una licenza che non esiste ancora e descrive una classifica che la board non ha assegnato.

Niente di tutto ciò rende il numero sbagliato. Rende il numero un tipo di oggetto diverso da quello che la frase vende, e la differenza è del tutto leggibile nelle colonne stesse della classifica.

Ciò che Arena ha pubblicato, e la riga che Baidu ha omesso

Il post su Arena è uscito alle 01:08:21 UTC del 12 novembre 2026, un minuto prima della quotazione di Baidu. Vale la pena avere davanti il suo testo completo, perché l'affermazione e il suo qualificatore sono nello stesso paragrafo:

• "Ernie 5.5 Flash Preview di @Baidu_Inc è in corsa per diventare il modello open #2 nella Code Arena: WebDev, con 1668 punti."

• "I pesi saranno rilasciati in open source con licenza Apache 2.0 a breve."

• "Il suo punteggio lo colloca appena sopra: DeepSeek-V4.1-Flash (Max) a 1664, Kimi K3 (Max) a 1658."

Arena ha attenuato due volte il ranking — «in tendenza verso il diventare» — e ha collegato lo status di open-weights a un evento futuro con la parola «soon». Il quote-tweet di Baidu ha riprodotto il punteggio e i conteggi dei parametri, ha eliminato del tutto la frase su Apache 2.0 e ha mantenuto l'inquadratura «latest from @arena». Un lettore che avesse visto solo il post di Baidu non saprebbe che la metà relativa al modello aperto dell'affermazione è una dichiarazione previsionale, perché l'unico punto in cui era stata enunciata è la metà che è stata tagliata.

Non è una citazione errata. È una selezione, e sposta l'onere della prova sul lettore che vuole verificarla — ed è ciò che fa il resto di questo testo.

La riga, letta colonna per colonna

Code Arena WebDev valuta il lavoro di sviluppo web front-end: attività di coding agentico con più passaggi di ragionamento e uso di strumenti, non la qualità della chat e non il coding generale. Il suo snapshot del 10 novembre contiene 995.980 voti su 158 modelli. Ecco la riga di ERNIE 5.5 Flash Preview così come la visualizza la classifica, senza alcuna interpretazione aggiunta:

• Punteggio — 1668, pubblicato come 1668 +16/-16, quindi un intervallo di circa il 90 per cento all'incirca tra 1652 e 1684.

• Posizione — N/D. La riga viene visualizzata tra la posizione 16 e la posizione 17 senza un numero di posizione.

• Voti — N/D. Non c'è affatto un conteggio dei voti umani sulla riga.

• Etichetta — AutoEval, un tag collegato che rimanda alla guida esplicativa di Arena.

• Etichetta di licenza — Proprietaria.

• Prezzo — $0.28 in input, $1.13 in output per milione di token, che corrisponde al prezzo di listino Qianfan.

• Contesto — N/D, su un modello la cui pagina del fornitore dichiara una finestra di 1M token.

Tre di quelle sette colonne sono N/A, e una di queste è la colonna della licenza, cioè la colonna da cui dipende l'affermazione. Confronta la fascia sopra la quale sostiene di collocarsi e il quadro si fa più nitido anziché più sfumato:

• 1691 — Claude Opus 5 (Max), A​nthropic, Proprietario.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, etichettato "Kimi K3.1 Pro License", una licenza personalizzata che Arena non classifica né come open né come proprietaria.

• 1682 — Gemini 4 Argon (High), G​oogle, Proprietario.

• 1679 — GPT-6.1 Terra (Max), OpenAI, proprietario.

• 1676 — Qwen3.8-Max (0902), A​libaba, Proprietario, Preliminare.

• 1673 — GPT-6 Sol (Max), OpenAI, proprietario.

• 1670 — Qwen3.8-Max, A​libaba, Proprietario, Preliminare.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Proprietario, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13,952 voti.

• 1658 — Kimi K3 (Max), Moonshot, 22.405 voti.

Confronta quella lista con l'affermazione. Tutto ciò che sta sopra ERNIE nella lista è proprietario, tranne una riga con licenza personalizzata. Il primo modello con licenza realmente aperta che incontri è la riga DeepSeek sotto di essa. Quindi "#2 modello aperto" non descrive la posizione di ERNIE in questa tabella. Descrive la posizione che ERNIE occuperebbe se i pesi fossero pubblicati con licenza Apache 2.0 e se i punteggi di AutoEval fossero considerati equivalenti a quelli votati da esseri umani. Entrambe le condizioni sono future o contestate, e nessuna delle due è visibile nel tweet citato.

Che cos'è realmente AutoEval e perché ±16 è importante in questo contesto

Arena ha pubblicato la sua metodologia AutoEval il 30 luglio 2026 e l'ha revisionata da ultimo il 12 agosto. Il meccanismo è un modello di ricompensa addestrato sulle preferenze umane, usato per esprimere voti automaticamente: campionare coppie prompt-risposta live, rigenerare una risposta dal modello target, far valutare entrambe al modello di ricompensa, convertire la differenza di punteggio in un voto probabilistico soft, quindi combinare questi voti sintetici con i voti umani live sugli altri modelli. Arena afferma che i punteggi risultanti sono «etichettati chiaramente come “AutoEval”, poi aggiornati una volta che arrivano abbastanza voti umani per convalidarli» e riporta una correlazione di ranking superiore a 0,98 con la valutazione live.

È un modo difendibile per ottenere un segnale fin dal primo giorno, ed è per questo che un modello può comparire su una classifica il giorno stesso in cui viene rilasciato. È anche, per stessa descrizione di Arena, un segnaposto. Il numero è provvisorio per costruzione e ci si aspetta che cambi. L'etichetta sulla riga di ERNIE non è decorativa; è un'istruzione a trattare 1668 come una stima in attesa di validazione.

Ora applica la barra d'errore, che è la parte della riga che nessuno ha citato. L'intervallo di ERNIE va da circa 1652 a 1684. Il 1664 di DeepSeek-V4.1-Flash e il 1658 di Kimi K3 si collocano entrambi al suo interno. Lo stesso vale per Qwen3.8-Max a 1670 e per GPT-6 Sol a 1673. La frase «il suo punteggio lo colloca appena sopra DeepSeek-V4.1-Flash a 1664 e Kimi K3 a 1658» è aritmeticamente vera per le stime puntuali e statisticamente non supportata come confronto: sull'incertezza pubblicata della riga stessa, ERNIE non è distinguibile da alcun modello tra 1652 e 1684. Potrebbe essere sopra D​eepSeek. Potrebbe essere sotto. La classifica attualmente non dice quale delle due.

Non si tratta di un tecnicismo rivolto a un singolo fornitore. Un intervallo di ±16 su una classifica in cui l'intera top-25 copre all'incirca 200 punti significa che quasi ogni coppia di righe adiacenti è in parità a questo livello di confidenza, e la lettura onesta di qualsiasi singolo confronto tra righe adiacenti — per qualunque modello — è "parità". Ciò che è insolito qui è solo che un fornitore abbia amplificato il confronto tra righe adiacenti come risultato.

Da dove viene "#2" e da quale licenza dipende

Partendo a ritroso dai numeri, c’è esattamente un modo in cui l’affermazione diventa vera, cosa che vale la pena dichiarare perché è verificabile e perché Arena non lo ha esplicitato.

Prendi l'insieme aperto come "ogni riga che Arena non etichetta come Proprietary". Sopra 1668, rimane esattamente una riga: Kimi K3.1 Pro (Max) a 1688, con il tag "Kimi K3.1 Pro License". Tutto il resto sopra ERNIE è etichettato Proprietary. In questa lettura, Kimi K3.1 Pro è #1 e ERNIE 5.5 Flash Preview sarebbe #2 — non perché abbia battuto il campo, ma perché il campo davanti a lui è proprietario.

Quella ricostruzione è un'inferenza, non una citazione: il post di Arena non nomina il modello che considera #1, e la board non espone il suo classificatore aperto/proprietario al di là dei tag di licenza. Se quell'inferenza è corretta, allora il fatto portante dell'affermazione è una licenza personalizzata sul modello di qualcun altro — Arena considera Kimi K3.1 Pro aperto, e l'intera impostazione "#2 modello aperto" eredita quella decisione di classificazione. Se invece Arena conta le licenze personalizzate come chiuse, il 1668 di ERNIE è la riga non proprietaria più in alto e l'affermazione avrebbe dovuto dire "#1", che sarebbe stata una frase più strana da pubblicare riguardo a un'anteprima.

In ogni caso, la frase fa più lavoro di quanto non facciano i dati che le stanno dietro. Il numero è reale. Il rango è condizionato a una licenza che nessuno ha visto.

La distanza che l'inquadratura nasconde

Un altro dato merita di figurare in qualsiasi versione onesta di questo post, e la sua assenza è la cosa più informativa al riguardo. In cima a Code Arena WebDev, nello stesso snapshot, c’è Claude Fable 5.2 a 1836. ERNIE 5.5 Flash Preview a 1668 è 168 punti indietro — e sarebbe 17° su 158 se la riga AutoEval fosse classificata, collocandosi tra Qwen3.8-Max a 1670 e DeepSeek-V4.1-Flash a 1664.

Diciassettesimo su una classifica di 158 modelli, un giorno dopo il rilascio, con 14 miliardi di parametri attivi su 280 miliardi totali, è un risultato davvero buono. È il tipo di risultato che giustifica un post della settimana di lancio. Non è il tipo di risultato che va presentato come un piazzamento sul podio, e presentarlo così attira proprio lo scrutinio che fa perdere a un fornitore più credibilità di quanta ne perderebbe con una frase onesta.

Che cosa dice e che cosa non dice la pagina del fornitore

La pagina di rilascio di Baidu per ERNIE 5.5 Flash Preview è datata 11 novembre 2026, afferma «280B parametri totali con 14B attivi e un contesto di 1M token» e descrive il modello come il primo checkpoint post-addestrato su ERNIE 5.5 Flash Base, i cui pesi di base sono stati pubblicati il 5 novembre. Non contiene alcuna dichiarazione di licenza, alcuna dichiarazione sui pesi e alcun numero di benchmark — i riferimenti ai benchmark della pagina sono titoli riguardanti versioni precedenti di ERNIE, non punteggi per questo modello.

Quel divario è rilevante per l'affermazione in esame. «I pesi saranno resi open source con licenza Apache 2.0 a breve» compare nel post di Arena. Non compare nella pagina di rilascio del fornitore, e non compare nell'amplificazione che il fornitore stesso fa di quel post. Se l'impegno ad Apache 2.0 è reale e attuale, la pagina di rilascio è il luogo naturale in cui trovarlo, e lì non c'è. Se è reale ma non ancora documentato, allora l'unica fonte pubblica per un impegno di licenza su questo modello è un annuncio su una classifica — un luogo fragile in cui far risiedere una licenza, quando un fornitore sta costruendo una classifica su di esso.

Come usarlo prima che i numeri si stabilizzino

La domanda pratica per chiunque scelga un modello questa settimana non è se 1668 sia un buon punteggio. È se una stima provvisoria di WebDev su un checkpoint di anteprima, con un prezzo di $0,28 in ingresso e $1,13 in uscita e con il ragionamento obbligatorio fatturato come output, debba sostituire qualcosa già in produzione. Alla luce delle prove disponibili, la risposta è no — ma il modo per verificarlo è economico e non richiede credere né al post né a questo articolo.

Esegui il confronto sui modelli instradati invece che sulla classifica. DeepSeek-V4.1-Flash e Kimi K3 sono entrambi disponibili tramite OrcaRouter dietro un'unica chiave compatibile con OpenAI, al prezzo di listino del provider senza ricarichi, quindi il gruppo di controllo costa la tariffa del provider stesso anziché un secondo contratto e un secondo SDK. Crea venti attività front-end che rappresentino il tuo lavoro reale — rifattorizzazioni di componenti, un bug di layout che si manifesta solo a un breakpoint, un lavoro di cablaggio di una macchina a stati — esegui ogni modello due volte e conta i token di output oltre alla correttezza. Questa è la misurazione che nessuna riga di classifica ti darà, perché è l'unico numero che deve essere tuo: il costo per attività, non il prezzo per token.

Considera ERNIE 5.5 Flash Preview stesso come l'oggetto sottoposto a test anziché quello da adottare. È su Qianfan, non nel nostro catalogo, e una preview che il suo stesso fornitore definisce un checkpoint intermedio di post-training è esattamente il profilo che si instrada dietro un primario anziché davanti. Se decidi comunque di metterlo su un percorso, mettilo su un percorso con failover, così il giorno in cui Arena sostituirà 1668 con un numero votato dagli umani — o il giorno in cui i pesi Apache 2.0 compariranno, o non compariranno — i tuoi utenti lo scopriranno da una riga di log e non da un'interruzione del servizio.

Cosa lo risolverebbe

Tre cose, nell'ordine in cui è probabile che arrivino, ciascuna delle quali cambierebbe il verdetto di questo articolo anziché limitarsi ad abbellirlo.

• I voti umani che sostituiscono l'etichetta AutoEval su quella riga. Arena afferma che i punteggi vengono aggiornati una volta arrivati voti sufficienti. Quando i voti smettono di riportare N/A, il 1668 diventa comparabile al 1664 e al 1658 con cui era stato confrontato, e la questione del ±16 si risolve da sola. Osserva l'intervallo restringersi tanto quanto si sposta la stima puntuale.

Pesi pubblicati con una licenza esplicitamente indicata. Un repository reale con un file Apache 2.0 risolve definitivamente la questione del modello aperto e rende retroattivamente equo l'inquadramento "#2 open model". Un annuncio di licenza senza pesi non risolve nulla.

• Una misurazione WebDev indipendente. AutoEval di Arena è uno strumento di Arena, e ogni dato di benchmark che Baidu ha pubblicato per questo modello è un'esecuzione di Baidu sul proprio harness. Nessuno dei due è un risultato di terze parti. La prima valutazione front-end veramente indipendente di ERNIE 5.5 Flash Preview varrà più di entrambi.

Fino ad allora, la frase accurata è quella noiosa: un checkpoint di anteprima che Baidu ha rilasciato l'11 novembre si è piazzato a 1668 su Code Arena WebDev, una stima AutoEval all'interno di un intervallo che si sovrappone ai quattro modelli successivi più in basso, su una riga che la classifica etichetta ancora come Proprietary, e il suo fornitore l'ha amplificata come un #2 a breve termine tra i modelli open. Ogni clausola di ciò è verificabile oggi. La versione che è stata twittata non è tanto sbagliata quanto incompiuta — ed è stata pubblicata come se fosse finita.