Wygenerowana karta hero z napisem „Baza przeciw bazie”, z dwoma kafelkami checkpointów: „Hy4 flash-Base” zawierający „220B łącznie / 12B aktywnych / kontekst 1M / wydano 17 lis 2026” oraz „ERNIE 5.5 Flash Base” zawierający „280B łącznie / 14B aktywnych / 128K trenowanego kontekstu / wydano 5 lis 2026”, a także stopkę o treści „Obie tabele benchmarków pochodzą od dostawcy. Żadna nie ma niezależnego wyniku.”
Guides & Insights

Hy4 flash-Base vs ERNIE 5.5 Flash Base: jedyne uczciwe porównanie, jakie opublikował którykolwiek z dostawców

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Dwa chińskie laboratoria opublikowały wstępnie wytrenowane checkpointy w odstępie dwunastu dni i tym razem tabela porównawcza pisze się sama: Hy4 flash-Base kontra ERNIE 5.5 Flash Base, ten sam rodzaj artefaktu z tego samego etapu pipeline'u, oceniany w ten sam sposób. Tencent opublikował Hy4 flash-Base 17 listopada 2026 r. wraz z modelem instrukcyjnym. Baidu opublikował ERNIE 5.5 Flash Base 5 listopada 2026 r. i w chwili pisania jest to wciąż jedyny istniejący artefakt ERNIE 5.5 — model czatu po treningu końcowym nie został jeszcze udostępniony.

Ta różnica w tym, co otacza checkpoint, w dużej mierze sprawia, że to porównanie jest warte osobnej strony. Porównanie obu baz mówi, jak przebiegł pre-training. Porównanie obu wydań mówi coś mniej pochlebnego o obu: jedna firma dostarczyła surowiec i gotowy produkt tego samego dnia, druga dostarczyła surowiec i obietnicę.

Dlaczego bazowe checkpointy są uczciwym porównaniem

Niemal każde porównanie modeli, które czytasz, jest po cichu nieuczciwe, ponieważ zestawia gotowy model jednego dostawcy dostrojony do instrukcji z gotowym modelem innego dostawcy dostrojonym do instrukcji, przy czym każdy jest oceniany we własnym środowisku testowym i z własnymi punktami odniesienia. Bazowe checkpointy eliminują jedną z tych zmiennych. Żaden z modeli nie przeszedł treningu po etapie wstępnego treningu, żaden nie ma szablonu czatu, który kształtuje format wyjściowy, a obaj dostawcy publikują tabele few-shot na standardowych akademickich benchmarkach, a nie na własnych zestawach testowych dla agentów.

To, co pozostaje — harness, liczby shotów, podzbiory — nadal jest specyficzne dla dostawcy, więc nic tutaj nie jest kontrolowanym eksperymentem. Jednak tabela „base kontra base” to porównanie przebiegów wstępnego trenowania, a wstępne trenowanie jest tą kosztowną częścią. To najbardziej zbliżona do porównania „jabłko do jabłka” liczba, jaką te dwie firmy opublikowały o sobie nawzajem.

Dwa punkty kontrolne, obok siebie

• Parametry — Hy4 flash-Base 220,3 mld łącznie, 12 mld aktywnych na token; ERNIE 5.5 Flash Base 280 mld łącznie, 14 mld aktywnych na token.

• Gdzie rozmieszczone są parametry — Hy4 flash-Base zawiera 155,5 mld w 42-warstwowym szkielecie, 63,5 mld w tabelach osadzania n-gramów Engram, 0,43 mld w enkoderze wizyjnym i 0,85 mld w drafterze DFly2; 280 mld ERNIE to bardziej konwencjonalny rozkład MoE, plus moduł ECHO o 0,36 mld wyłączony z głównego zestawienia.

• Głębokość i routing — 42 warstwy (jedna gęsta, 41 MoE) z 512 ekspertami routowanymi plus jednym współdzielonym, 16 aktywnych, rozmiar ukryty 3,072, dla Hy4 flash-Base; 43 warstwy (jedna gęsta, 42 Multi-Router Latent MoE) z 512 ekspertami routowanymi plus jednym współdzielonym, top-10, rozmiar ukryty 4,096, dla ERNIE.

• Kontekst — 1,048,576 tokenów skonfigurowanych po obu stronach. Tencent trenował Hy4 flash bezpośrednio przy tej długości; Baidu trenował ERNIE przy 128 000 i ustawił udostępnianą konfigurację na 1,048,576 na potrzeby dostrajania i wnioskowania, co jest możliwością samej konfiguracji, a nie zmierzonym zachowaniem.

• Modalność — wejście tekstowe i obrazowe, wyjście tekstowe, w obu przypadkach. Hy4 flash-Base jest wyposażony w enkoder wizyjny wywodzący się z SigLIP2; karta ERNIE 5.5 Flash Base opisuje wyłącznie wejście tekstowe w tabeli linków do modelu.

• Licencja — Tencent Hy License v1.0, pochodna licencji Apache 2.0 z klauzulą MaaS przy przychodach 50 mln USD lub 100 mln MAU; ERNIE 5.5 Flash Base Model License v1.0, która całkowicie wyłącza Unię Europejską, Zjednoczone Królestwo i Koreę Południową jako terytoria.

Wiersz dotyczący licencji nie jest przypisem. Europejski zespół w ogóle nie może używać checkpointu ERNIE w ramach swojego grantu i żadna przewaga w benchmarkach tego nie zmieni. Zespół dowolnej wielkości może używać Hy4 flash-Base, a zespół, którego przychody z MaaS przekraczają 50 mln USD, musi najpierw wysłać e-mail.

Co mówi tabela Baidu i ile kosztuje uwierzenie w nią

Zestaw porównawczy Baidu jest właściwym wyborem dla wydania bazowego: ERNIE 5.5 Flash Base kontra DeepSeek-V4-Flash-Base, Hy3-preview-Base i MiMo-V2.5-Base, w ramach jednego potoku, który karta opisuje jako wspólny dla wszystkich czterech. Każda liczba poniżej pochodzi z raportu Baidu i nie została odtworzona.

• MMLU — 93,3 ERNIE, 89,4 DeepSeek-V4-Flash-Base, 87,5 Hy3-preview-Base, 87,6 MiMo-V2.5-Base.

• MMLU-Pro — 78,4 wobec 69,2, 66,9 i 65,7. Największa różnica w zestawie.

• GPQA — 60,2 wobec 55,9, 50,2 i 51,4.

• HumanEval+ — 82,3 wobec 69,5, 78,0 i 74,4.

• LiveCodeBench — 40,1 w porównaniu z 31,9, 33,5 i 32,4.

• LongBench-v2 — 48,7 wobec 44,5, 39,8 i 44,6.

• BBH z łańcuchem myśli — 89,2 wobec 90,0 dla Hy3-preview-Base i 89,8 dla MiMo-V2.5-Base. Trójstronny remis w granicach szumu, cokolwiek miałoby sugerować to pogrubione formatowanie.

ChineseSimpleQA — 73,0 w porównaniu z 75,3 DeepSeek. Przegrana w benchmarku najbliższym rodzimemu rynkowi Baidu.

W tabeli brakuje wierszy, dlatego sprawia ona wrażenie tabeli, którą ktoś zbudował, a nie takiej, którą ktoś wybrał. Zwróć uwagę, czego w niej nie ma: Hy4 flash-Base. Checkpoint Tencenta nie istniał 5 listopada, więc nikt nigdy nie opublikował bezpośredniego wiersza między tymi dwoma modelami w tym porównaniu.

Co mówi tabela Tencenta, w tym zastrzeżenie

Tabela bazowa Tencenta obejmuje pięć wariantów — Hy4 flash-Base, Hy4 Base, Hy3 preview Base, DeepSeek-V4-flash-Base i DeepSeek-V4-Pro-Base — i również gubi wiersze. Zgłoszone przez dostawcę, nieodtworzone:

• MMLU-Pro — 71,1 dla Hy4 flash-Base wobec 73,9 dla Hy4 Base, 65,8 dla Hy3 preview Base, 68,6 dla DeepSeek-V4-flash-Base i 73,4 dla DeepSeek-V4-Pro-Base.

• SimpleQA — 37,5 wobec 57,2, 26,4, 31,3 i 52,1. Największa strata na karcie.

• C-Eval — 92,0 w porównaniu z 95,0, 90,1, 91,9 i 93,4.

• CMMLU — 91,6 wobec 93,1, 89,6, 89,8 i 90,7.

• AGIEval Chinese — 90,6 wobec 91,2, 87,8, 88,5 i 89,8.

• Belebele — 93,8 wobec 95,0, 94,2, 94,4 i 95,2.

• INCLUDE — 82,8 w porównaniu z 88,1, 84,3, 84,0 i 84,3.

• MMMU-Pro — 52,0 wobec 59,6 dla Hy4 Base. Wiersze multimodalne występują tylko dla dwóch modeli Hy.

Patrząc całościowo: Hy4 flash-Base to mniejszy i tańszy model niż jego modele siostrzane i przegrywa z nimi w większości wierszy, co jest dokładnie tym, co powinien robić model z 12B aktywnych parametrów w starciu z modelem z 49B aktywnych. Interesujące wiersze to te wielojęzyczne, w których utrzymuje się w granicach jednego–dwóch punktów od znacznie większych modeli, oraz SimpleQA, gdzie plasuje się o dwadzieścia punktów za Hy4 Base — luka w pozyskiwaniu faktów, która mówi coś o tym, jak duża część tej zdolności tkwi w liczbie parametrów, a nie w danych treningowych.

Tencent również dobrowolnie podaje zastrzeżenie, którego karta Baidu nie zawiera: ponieważ model bazowy miał w trakcie treningu pośredniego kontakt z dużą ilością syntetycznych danych instrukcyjnych, „od czasu do czasu nie przestrzega oczekiwanego formatu odpowiedzi w ocenach few-shot, co może zniekształcać wyniki”. To, że dostawca mówi, iż jego własny zestaw ewaluacyjny może mierzyć zgodność z formatem, jest wystarczająco rzadkie, by warto było poświęcić temu zdanie.

A generated reference card headed 'Two tables, one shared row', with eight benchmark rows for ERNIE 5.5 Flash Base beside eight for Hy4 flash-Base and only the MMLU-Pro pair joined by a connector labelled '78.4 vs 71.1 — the only common row'.

Nie można nałożyć tych dwóch tabel na siebie.

Oto pułapka w tym porównaniu i warto powiedzieć to wprost, bo większość internetu tego nie zrobi. Obaj dostawcy publikują MMLU-Pro. Baidu podaje 78,4 dla ERNIE 5.5 Flash Base. Tencent podaje 71,1 dla Hy4 flash-Base. Kuszące jest odjęcie i ogłoszenie 7,3-punktowego zwycięstwa Baidu. Takiego odejmowania nie da się obronić.

Różne liczby shotów, różne formaty promptów, a w przypadku Hy4 flash-Base uznany problem z przestrzeganiem formatu, który może obniżać wynik uśredniony makro. Jedyna liczba w obu tabelach, która ma wspólną definicję — Belebele na podzbiorze pięciu języków — wynosi 93,8 dla Hy4 flash-Base i po prostu nie występuje w tabeli Baidu. Nie ma wystarczająco rygorystycznego pokrycia, by ją odjąć.

To, co można powiedzieć, jest węższe, ale wciąż użyteczne: checkpoint każdego dostawcy przewyższa wybrane przez niego zewnętrzne baseline’y DeepSeek w większości wierszy, o marże wygenerowane przez jego własny harness. Dwa w pewnym sensie niezależne twierdzenia wskazujące ten sam kierunek to silniejszy dowód niż każde z nich osobno, ale słabszy niż wspólny benchmark. To uczciwy górny limit tego, co mogą potwierdzać te dwie karty.

Screenshot of the Hugging Face model card for tencent/Hy4-flash-Base, showing the release line, the model-links table and the benchmark table with its synthetic-data format-compliance disclaimer.

Jedno wydanie jest gotowe, a drugie to obietnica

To asymetria, która ma większe znaczenie niż jakikolwiek wiersz powyżej, i nie chodzi w niej o jakość benchmarku.

Tencent opublikował 17 listopada trzy artefakty: model instruct, jego wersję FP8 oraz bazowy checkpoint. Zespół, który chce dziś modelu konwersacyjnego, może go pobrać, załadować w vLLM przy użyciu przypiętego vllm/vllm-openai:hy4-flash obrazu i udostępnić go. Bazowy checkpoint jest dla osób, które chcą dostroić model, a karta wskazuje przewodnik po dostrajaniu.

Baidu opublikowało jeden artefakt 5 listopada. ERNIE 5.5 Flash Base to wstępnie wytrenowane wagi. Nie ma żadnego dostrojonego do instrukcji ERNIE 5.5 Flash do pobrania, nie ma też udokumentowanego pod tą nazwą punktu końcowego API w materiałach wydania, a karta opisuje model po treningu wtórnym jedynie jako coś, co „ma się pojawić”. Zespół, który pobierze dziś ERNIE 5.5 Flash Base, zobowiązuje się do samodzielnego przeprowadzenia treningu wtórnego na 280 mld wag, zanim będzie mieć model, który potrafi odpowiedzieć na pytanie w użytecznym formacie.

Dla grupy badawczej jest to właśnie ten interesujący artefakt. Dla zespołu produktowego to nie jest model, tylko punkt wyjścia, z którym wiąże się nieograniczona ilość pracy, a właściwym porównaniem nie jest porównanie z Hy4 flash-Base, lecz z Hy4 flash — który kosztuje pieniądze za token i działa już teraz.

Screenshot of Baidu's ERNIE 5.5 Flash Base model card, showing the base-checkpoint benchmark table against DeepSeek-V4-Flash-Base, Hy3-preview-Base and MiMo-V2.5-Base.

Gdzie router wpisuje się w decyzję dotyczącą bazowego punktu kontrolnego

Bazowe checkpointy to nie to, co udostępnia router, i nieuczciwe byłoby sugerować inaczej. OrcaRouter nie ma w ofercie ani Hy4 flash-Base, ani ERNIE 5.5 Flash Base, a model instruct żadnego z tych dostawców nie znajduje się dziś w katalogu. W katalogu jest natomiast tencent/hy4-preview — model 770B/49B, z którego destylowano Hy4 flash — w cenie $0.834 za milion tokenów wejściowych i $2.501 za milion tokenów wyjściowych, z odczytem z cache za $0.042.

To ma znaczenie dla konkretnej decyzji. Jeśli rozważasz, czy dostrajać bazowy checkpoint 220B, pierwszym pytaniem jest, czy zachowanie tej rodziny modeli w ogóle pasuje do Twojego zadania, a model w wersji preview odpowiada na to w jedno popołudnie za cenę tokenów, które wydasz na testy. Zrobienie tego, zanim przygotujesz osiem GPU do wdrożenia tensor-parallel FP8, to najtańszy krok w całym projekcie. Cena katalogowa dostawcy jest przenoszona z 0% marży, więc zmiana ceny Tencent trafia do katalogu w dniu, w którym nastąpi, a nie przy następnej przebudowie, a automatyczne przełączanie awaryjne oznacza, że zadanie ewaluacyjne nie umiera, ponieważ jednemu dostawcy przydarzyła się zła godzina.

Jeśli dostrajanie zadziała, wagi są Twoje, a router przestaje być częścią tej ścieżki. Jeśli nie, przekonanie się o tym zajęło popołudnie, a nie kwartał.

Jak odczytać to starcie

Jeśli szukasz modelu, który potrafi wykonywać pracę, ta strona nie jest właściwa: Hy4 flash to gotowy model, a ERNIE 5.5 Flash jeszcze go nie ma. Jeśli szukasz wstępnie wytrenowanej bazy do budowania na niej, ci dwaj kandydaci są bliżej siebie, niż sugeruje marketing, i dalej od siebie, niż wskazywałoby proste odejmowanie wyników benchmarków.

ERNIE 5.5 Flash Base jest większy, trenowany dłużej — 33,5 biliona tokenów z optymalizatorem Muon — i osiąga lepsze wyniki we własnym środowisku testowym, w tym wynik MMLU-Pro, którego nie dorównuje żaden model Tencent z karty porównawczej. Hy4 flash-Base jest mniejszy, tańszy w obsłudze przy 12B aktywnych parametrach, natywnie multimodalny, dostarczany z enkoderem wizyjnym i drafterem dekodowania spekulacyjnego oraz z licencją, która nie wyklucza trzech jurysdykcji.

Decydującym czynnikiem prawdopodobnie nie będą ani możliwości, ani licencja, lecz dwanaście dni między nimi. Punkt kontrolny Baidu istnieje od prawie dwóch tygodni, więc społeczność zajmująca się dostrajaniem miała czas coś stworzyć; Hy4 flash-Base — od jednego. Obserwuj, czy pojawi się dostrojony do instrukcji ERNIE 5.5 Flash, i czy ktokolwiek opublikuje LoRA dla Hy4 flash-Base. To pierwsze uczyniłoby z tego prawdziwe porównanie, po którym najprawdopodobniej pojawiłby się wspólny benchmark; to drugie powiedziałoby ci, który model bazowy praktycy faktycznie woleli.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu