Una scheda hero generata che recita 'Base contro base', con due riquadri di checkpoint: 'Hy4 flash-Base' che elenca '220B totali / 12B attivi / contesto 1M / rilasciato il 17 nov 2026', e 'ERNIE 5.5 Flash Base' che elenca '280B totali / 14B attivi / 128K addestrati / rilasciato il 5 nov 2026', più un piè di pagina che recita 'Entrambe le tabelle di benchmark sono dichiarate dal fornitore. Nessuna delle due ha un punteggio indipendente.'
Guides & Insights

Hy4 flash-Base vs ERNIE 5.5 Flash Base: l'unico confronto equo pubblicato da uno dei due fornitori

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Due laboratori cinesi hanno pubblicato checkpoint pre-addestrati a dodici giorni di distanza e, per una volta, la tabella di confronto si scrive da sola: Hy4 flash-Base contro ERNIE 5.5 Flash Base, lo stesso tipo di artefatto proveniente dalla stessa fase della pipeline, valutato allo stesso modo. Tencent ha pubblicato Hy4 flash-Base il 17 novembre 2026 insieme al modello instruction. Baidu ha pubblicato ERNIE 5.5 Flash Base il 5 novembre 2026 e, al momento in cui scriviamo, è ancora l'unico artefatto ERNIE 5.5 esistente — il modello chat post-addestrato non è ancora stato rilasciato.

Quella differenza in ciò che circonda il checkpoint è gran parte di ciò che rende questo confronto degno di una pagina. Confrontare le due basi ti dice com'è andato il pre-training. Confrontare i due rilasci ti dice qualcosa di meno lusinghiero su entrambi: un'azienda ha distribuito la materia prima e il prodotto finito lo stesso giorno, l'altra ha distribuito la materia prima e una promessa.

Perché i checkpoint base sono il confronto onesto

Quasi ogni confronto tra modelli che leggi è silenziosamente ingiusto, perché mette a confronto il modello finito e ottimizzato per le istruzioni di un fornitore con il modello finito e ottimizzato per le istruzioni di un altro fornitore, ciascuno valutato sul proprio harness con le proprie baseline. I checkpoint di base rimuovono una di queste variabili. Nessuno dei due modelli è stato post-addestrato, nessuno dei due ha un template di chat che plasmi il formato dell'output, ed entrambi i fornitori pubblicano tabelle few-shot su benchmark accademici standard anziché suite agentiche personalizzate.

Ciò che resta — l'harness, il numero di shot, i sottoinsiemi — è ancora specifico del fornitore, quindi nulla qui è un esperimento controllato. Ma una tabella base contro base è un confronto tra run di pre-addestramento, e il pre-addestramento è la parte costosa. È la cosa più vicina a un numero confrontabile a parità di condizioni che queste due aziende abbiano pubblicato l'una sull'altra.

I due checkpoint, fianco a fianco

• Parametri — Hy4 flash-Base 220,3B totali, 12B attivi per token; ERNIE 5.5 Flash Base 280B totali, 14B attivi per token.

{{1}}Dove si trovano i parametri — Hy4 flash-Base porta 155,5B nel backbone a 42 strati, 63,5B nelle tabelle di embedding n-gram Engram, 0,43B in un encoder visivo e 0,85B in un drafter DFly2; i 280B di ERNIE sono una distribuzione MoE più convenzionale, più un modulo ECHO da 0,36B escluso dal conteggio principale.{{/1}}

• Profondità e routing — 42 strati (uno denso, 41 MoE) con 512 esperti instradati più uno condiviso, 16 attivi, dimensione nascosta 3.072, per Hy4 flash-Base; 43 strati (uno denso, 42 Multi-Router Latent MoE) con 512 esperti instradati più uno condiviso, top-10, dimensione nascosta 4.096, per ERNIE.

Contesto — 1.048.576 token configurati su entrambi. Tencent ha addestrato Hy4 flash direttamente a quella lunghezza; Baidu ha addestrato ERNIE a 128.000 e ha impostato la configurazione rilasciata a 1.048.576 per fine-tuning e inferenza, il che è una capacità della configurazione più che un comportamento misurato.

• Modalità — testo e immagini in ingresso, testo in uscita, su entrambi. Hy4 flash-Base include un encoder visivo derivato da SigLIP2; la scheda di ERNIE 5.5 Flash Base descrive solo input testuale nella tabella dei link al modello.

• Licenza — Tencent Hy License v1.0, una derivata di Apache 2.0 con una clausola MaaS a 50 milioni di dollari di ricavi o 100 milioni di MAU; ERNIE 5.5 Flash Base Model License v1.0, che esclude interamente dai territori l'Unione europea, il Regno Unito e la Corea del Sud.

La riga della licenza non è una nota a piè di pagina. Un team europeo non può affatto usare il checkpoint ERNIE nell'ambito della propria sovvenzione, e nessun vantaggio nei benchmark cambia questo fatto. Un team di qualsiasi dimensione può usare Hy4 flash-Base, mentre un team con oltre 50 milioni di dollari di ricavi MaaS deve inviare un'email prima di farlo.

Cosa dice la tabella di Baidu, e quanto costa crederci

Il set di confronto di Baidu è quello giusto per un rilascio base: ERNIE 5.5 Flash Base contro DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base, su un'unica pipeline che la scheda descrive come condivisa da tutti e quattro. Ogni cifra riportata di seguito è dichiarata da Baidu e non riprodotta.

• MMLU — 93,3 ERNIE, 89,4 DeepSeek-V4-Flash-Base, 87,5 Hy3-preview-Base, 87,6 MiMo-V2.5-Base.

• MMLU-Pro — 78,4 contro 69,2, 66,9 e 65,7. Il divario più ampio del gruppo.

• GPQA — 60,2 contro 55,9, 50,2 e 51,4.

HumanEval+ — 82,3 rispetto a 69,5, 78,0 e 74,4.

• LiveCodeBench — 40,1 rispetto a 31,9, 33,5 e 32,4.

• LongBench-v2 — 48,7 rispetto a 44,5, 39,8 e 44,6.

• BBH con chain-of-thought — 89,2 contro Hy3-preview-Base 90,0 e MiMo-V2.5-Base 89,8. Un pareggio a tre nel margine di rumore, qualunque cosa la formattazione in grassetto lasci intendere.

• ChineseSimpleQA — 73,0 contro il 75,3 di DeepSeek. Una sconfitta, sul benchmark più vicino al mercato domestico di Baidu.

La tabella perde righe, ed è per questo che si legge come una tabella costruita da qualcuno anziché scelta da qualcuno. Si noti ciò che manca: Hy4 flash-Base. Il checkpoint di Tencent non esisteva il 5 novembre, quindi nessuno ha mai pubblicato una riga diretta tra i due modelli in questo confronto.

Cosa dice la tabella di Tencent, inclusa la dichiarazione di non responsabilità

La tabella base di Tencent è a cinque varianti — Hy4 flash-Base, Hy4 Base, Hy3 preview Base, DeepSeek-V4-flash-Base e DeepSeek-V4-Pro-Base — e anch'essa perde righe. Riportato dal fornitore, non riprodotto:

• MMLU-Pro — 71,1 per Hy4 flash-Base contro 73,9 per Hy4 Base, 65,8 per Hy3 preview Base, 68,6 per DeepSeek-V4-flash-Base e 73,4 per DeepSeek-V4-Pro-Base.

SimpleQA — 37,5 contro 57,2, 26,4, 31,3 e 52,1. La perdita più grande sulla scheda.

• C-Eval — 92,0 contro 95,0, 90,1, 91,9 e 93,4.

• CMMLU — 91,6 contro 93,1, 89,6, 89,8 e 90,7.

• AGIEval Chinese — 90,6 contro 91,2, 87,8, 88,5 e 89,8.

• Belebele — 93,8 rispetto a 95,0, 94,2, 94,4 e 95,2.

• INCLUDE — 82,8 rispetto a 88,1, 84,3, 84,0 e 84,3.

• MMMU-Pro — 52,0 contro 59,6 per Hy4 Base. Le righe multimodali esistono solo per i due modelli Hy.

Considerato nel complesso: Hy4 flash-Base è un modello più piccolo ed economico rispetto ai suoi fratelli e perde contro di loro sulla maggior parte delle righe, che è esattamente ciò che un modello con 12B attivi dovrebbe fare contro uno con 49B attivi. Le righe interessanti sono quelle multilingue, dove si mantiene entro uno o due punti da modelli molto più grandi, e SimpleQA, dove resta venti punti indietro rispetto a Hy4 Base — un divario nel recupero di fatti che dice qualcosa su quanto di quella capacità risieda nel numero di parametri piuttosto che nei dati di addestramento.

Tencent segnala inoltre spontaneamente un'avvertenza che la scheda di Baidu non riporta: poiché il modello di base è stato esposto a una grande quantità di dati di istruzione sintetici durante il mid-training, "a volte non riesce a seguire il formato di risposta atteso nelle valutazioni few-shot, il che può distorcere i punteggi". Che un fornitore ti dica che il proprio harness di valutazione potrebbe in realtà misurare la conformità al formato è abbastanza raro da meritare la frase.

A generated reference card headed 'Two tables, one shared row', with eight benchmark rows for ERNIE 5.5 Flash Base beside eight for Hy4 flash-Base and only the MMLU-Pro pair joined by a connector labelled '78.4 vs 71.1 — the only common row'.

I due tavoli non possono essere sovrapposti l'uno all'altro.

Ecco la trappola in questo confronto, e vale la pena dirla chiaramente perché la maggior parte di Internet non lo farà. Entrambi i fornitori pubblicano MMLU-Pro. Baidu riporta 78,4 per ERNIE 5.5 Flash Base. Tencent riporta 71,1 per Hy4 flash-Base. È allettante sottrarre e riportare una vittoria di 7,3 punti per Baidu. Quella sottrazione non è difendibile.

Diversi conteggi di shot, diversi formati di prompt e, nel caso di Hy4 flash-Base, un problema riconosciuto di aderenza al formato che può abbassare un punteggio medio macro. L'unico numero presente in entrambe le tabelle che ha una definizione condivisa — Belebele su un sottoinsieme di cinque lingue — riporta 93,8 per Hy4 flash-Base ed è semplicemente assente dalla tabella di Baidu. Non c'è una sovrapposizione abbastanza rigorosa da poter sottrarre.

Quello che puoi dire è più ristretto e comunque utile: il checkpoint di ciascun fornitore supera le baseline DeepSeek di terze parti che ciascuno di loro ha scelto, sulla maggior parte delle righe, con margini prodotti dai loro stessi harness. Due affermazioni quasi indipendenti nella stessa direzione costituiscono una prova più forte di ciascuna presa da sola e più debole di un benchmark condiviso. Questo è il limite onesto di ciò che queste due schede supportano.

Screenshot of the Hugging Face model card for tencent/Hy4-flash-Base, showing the release line, the model-links table and the benchmark table with its synthetic-data format-compliance disclaimer.

Una release è completata; l'altra è una promessa.

Questa è l'asimmetria che conta più di qualsiasi riga qui sopra, e non riguarda la qualità dei benchmark.

Tencent ha pubblicato tre artefatti il 17 novembre: il modello instruct, la sua build FP8 e il checkpoint base. Un team che oggi vuole un modello di chat può scaricarne uno, caricarlo in vLLM con l'immagine bloccata vllm/vllm-openai:hy4-flash, e servirlo. Il checkpoint base è disponibile per chi vuole fare fine-tuning, e la scheda rimanda a una guida al fine-tuning.

Baidu ha pubblicato un solo artefatto il 5 novembre. ERNIE 5.5 Flash Base è un insieme di pesi pre-addestrati. Non c'è alcun ERNIE 5.5 Flash ottimizzato per le istruzioni da scaricare, nessun endpoint API documentato con quel nome nel materiale di rilascio, e la scheda descrive il modello post-addestrato solo come qualcosa che «dovrebbe seguire». Un team che oggi scarica ERNIE 5.5 Flash Base si impegna a fare il post-training da sé, su 280 miliardi di pesi, prima di disporre di un modello in grado di rispondere a una domanda in un formato utilizzabile.

Per un gruppo di ricerca è precisamente l’artefatto interessante. Per un team di prodotto non è un modello, è un punto di partenza con una quantità illimitata di lavoro annessa, e il confronto corretto non è con Hy4 flash-Base ma con Hy4 flash — che costa denaro per token e funziona ora.

Screenshot of Baidu's ERNIE 5.5 Flash Base model card, showing the base-checkpoint benchmark table against DeepSeek-V4-Flash-Base, Hy3-preview-Base and MiMo-V2.5-Base.

Dove si inserisce un router in una decisione su un base-checkpoint

I checkpoint base non sono ciò che un router fornisce, e sarebbe disonesto suggerire il contrario. OrcaRouter non include né Hy4 flash-Base né ERNIE 5.5 Flash Base, e nessuno dei modelli instruct dei due fornitori è oggi nel catalogo. Ciò che il catalogo include è tencent/hy4-preview — il modello 770B/49B da cui è stato distillato Hy4 flash — a $0.834 per milione di token di input e $2.501 per milione di output, con una lettura cache a $0.042.

Questo conta per una decisione specifica. Se stai valutando se fare fine-tuning di un checkpoint base da 220B, la prima domanda è se il comportamento della famiglia si adatta affatto al tuo task, e il modello di anteprima risponde in un pomeriggio al prezzo dei token che spendi per i test. Farlo prima di predisporre otto GPU per un deployment FP8 tensor-parallel è il passo più economico dell'intero progetto. Il prezzo di listino del provider viene applicato con 0% di ricarico, così una variazione di prezzo di Tencent raggiunge il catalogo il giorno stesso in cui avviene anziché alla successiva ricostruzione, e il failover automatico fa sì che un job di valutazione non muoia perché un upstream ha avuto un'ora storta.

Se il fine-tuning funziona, i pesi sono tuoi e il router smette di far parte di quel percorso. Se non funziona, hai speso un pomeriggio invece di un trimestre per scoprirlo.

Come leggere questo confronto

Se cerchi un modello in grado di fare il lavoro, questa è la pagina sbagliata: Hy4 flash è il modello finito e ERNIE 5.5 Flash non ne ha ancora uno. Se cerchi una base pre-addestrata su cui costruire, i due candidati sono più vicini di quanto suggerisca il marketing e più distanti di quanto indicherebbe una semplice sottrazione di benchmark.

ERNIE 5.5 Flash Base è più grande, addestrato più a lungo — 33,5 trilioni di token con l'ottimizzatore Muon — e riporta punteggi più elevati sul proprio harness, inclusa una cifra MMLU-Pro che nessun modello Tencent sulla scheda di confronto eguaglia. Hy4 flash-Base è più piccolo, più economico da servire con 12B attivi, nativamente multimodale, viene fornito con un encoder visivo e un drafter per la decodifica speculativa, e include una licenza che non esclude tre giurisdizioni.

Il fattore decisivo sarà probabilmente né la capacità né la licenza, ma i dodici giorni che li separano. Il checkpoint di Baidu ha avuto quasi due settimane perché la comunità del fine-tuning producesse qualcosa; Hy4 flash-Base ne ha avuta una. Osservate se compare un ERNIE 5.5 Flash ottimizzato per le istruzioni, e osservate se qualcuno pubblica un LoRA per Hy4 flash-Base. Il primo caso renderebbe questo un vero confronto, con ogni probabilità seguito da un benchmark condiviso; il secondo vi direbbe quale base i professionisti hanno effettivamente preferito.

Confrontati in questo articolo1

Rilevato da questo articolo