ERNIE 5.5 Flash Preview a twierdzenie „#2 Open Model”, któremu przeczy jego własny wiersz w tabeli liderów

Baidu zacytowało 12 listopada 2026 r. wpis z rankingu, który w całości brzmi: „Ernie 5.5 Flash Preview od @Baidu_Inc zmierza ku temu, by stać się #2 otwartym modelem w Code Arena: WebDev, z 1668 pkt”. Baidu dodało liczby parametrów — 280 miliardów łącznie, 14 miliardów aktywnych na token — i podziękowało społeczności za „poddanie go testom”. Resztę pozostawiło bez komentarza. Problem polega na tym, że wiersz dający te 1668 nie jest oznaczony jako otwarty. Na tej samej tablicy Code Arena WebDev, w tym samym zrzucie z 10 listopada, ERNIE 5.5 Flash Preview ma znacznik Proprietary, wynik 1668 ±16, etykietę AutoEval, a głosy wymienione jako N/A. Modele wskazane jako te, które wyprzedza — DeepSeek-V4.1-Flash z 1664 i Kimi K3 z 1658 — to wiersze rankingowe odpowiednio z 13 952 i 22 405 głosami ludzi, a wiersz DeepSeek ma znacznik licencji MIT. Zdanie to robi więc trzy rzeczy naraz: podaje prawdziwy wynik, obiecuje licencję, która jeszcze nie istnieje, i opisuje ranking, którego tablica nie przypisała.

Nic z tego nie sprawia, że liczba jest błędna. Sprawia, że staje się innym rodzajem obiektu niż ten, którego sprzedaje zdanie, a różnicę można w pełni odczytać z samych kolumn tabeli liderów.

Co opublikowała Arena, a także ta jedna linijka, którą Baidu pominął

Post na Arenie ukazał się o 01:08:21 UTC 12 listopada 2026 r., minutę przed cytatem Baidu. Warto mieć przed sobą jego pełny tekst, ponieważ twierdzenie i jego zastrzeżenie znajdują się w tym samym akapicie:

• „Ernie 5.5 Flash Preview od @Baidu_Inc zmierza do zostania modelem open nr 2 w Code Arena: WebDev, z 1668 pkt.”

• „Wagi wkrótce zostaną udostępnione jako open source na licencji Apache 2.0.”

• „Jego wynik plasuje go tuż powyżej: DeepSeek-V4.1-Flash (Max) z 1664, Kimi K3 (Max) z 1658.”

Arena dwukrotnie złagodziła ranking — „zmierza ku temu, by stać się” — i powiązała status otwartych wag z przyszłym wydarzeniem, używając słowa „wkrótce”. Cytujący tweet Baidu odtworzył wynik i liczby parametrów, całkowicie pominął zdanie o Apache 2.0 i zachował ramę „najnowsze od @arena”. Czytelnik, który widziałby tylko post Baidu, nie wiedziałby, że otwartomodelowa połowa twierdzenia jest stwierdzeniem wybiegającym w przyszłość, ponieważ jedyne miejsce, w którym je wyrażono, to ta połowa, którą wycięto.

To nie jest błędny cytat. To selekcja, która przenosi ciężar dowodu na czytelnika chcącego to sprawdzić — czym zajmuje się reszta tego tekstu.

Wiersz, czytany kolumna po kolumnie

Code Arena WebDev ocenia prace z zakresu front-endowego tworzenia stron internetowych: zadania kodowania agentowego z wieloma krokami rozumowania i korzystaniem z narzędzi, a nie jakość czatu ani ogólne kodowanie. Jej snapshot z 10 listopada zawiera 995 980 głosów oddanych na 158 modeli. Oto wiersz ERNIE 5.5 Flash Preview w postaci, w jakiej drukuje go tablica, bez dodanej interpretacji:

• Wynik — 1668, opublikowany jako 1668 +16/-16, więc w przybliżeniu 90-procentowy przedział od mniej więcej 1652 do 1684.

• Pozycja — N/A. Wiersz jest wyświetlany między pozycją 16 a pozycją 17 bez numeru pozycji.

• Głosy — N/A. W tym wierszu w ogóle nie ma liczby głosów oddanych przez ludzi.

• Etykieta — AutoEval, powiązany tag prowadzący do własnego objaśnienia Arena.

• Etykieta licencji — Zastrzeżona.

• Cena — 0,28 USD za wejście i 1,13 USD za wyjście za milion tokenów, co odpowiada cennikowi Qianfan.

• Kontekst — nie dotyczy, w przypadku modelu, którego strona dostawcy podaje okno 1 mln tokenów.

Trzy z tych siedmiu kolumn to N/A, a jedną z nich jest kolumna licencji — kolumna, od której zależy twierdzenie. Porównaj pasmo, nad którym rzekomo się znajduje, a obraz się wyostrza, a nie łagodzi:

• 1691 — Claude Opus 5 (Max), Anthropic, Zastrzeżony.

• 1688 — Kimi K3.1 Pro (Max), Moonshot, oznaczony jako „Kimi K3.1 Pro License”, licencja niestandardowa, której Arena nie uznaje ani za otwartą, ani za zastrzeżoną.

• 1682 — Gemini 4 Argon (High), G​oogle, Zastrzeżony.

• 1679 — GPT-6.1 Terra (Max), OpenAI, Zastrzeżony.

• 1676 — Qwen3.8-Max (0902), A​libaba, Zastrzeżony, Wstępny.

• 1673 — GPT-6 Sol (Max), O​penAI, zastrzeżony.

• 1670 — Qwen3.8-Max, A​libaba, Zastrzeżone, Wstępne.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Zastrzeżony, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13 952 głosów.

• 1658 — Kimi K3 (Max), Moonshot, 22 405 głosów.

Zestaw tę listę z tym twierdzeniem. Wszystko powyżej ERNIE na niej jest zastrzeżone, z wyjątkiem jednego wiersza z niestandardową licencją. Pierwszym naprawdę objętym otwartą licencją modelem, na który natrafisz, jest wiersz D​eepSeek poniżej niego. Zatem „#2 model otwarty” nie opisuje, gdzie ERNIE znajduje się w tej tabeli. To opis tego, gdzie ERNIE znalazłby się, gdyby wagi opublikowano na licencji Apache 2.0 i gdyby wyniki AutoEval traktowano jako równoważne wynikom głosowania ludzi. Oba warunki są przyszłe lub sporne, a żaden nie jest widoczny w tweecie z cytatem.

Czym właściwie jest AutoEval i dlaczego ±16 ma tutaj znaczenie

Arena opublikowała swoją metodologię AutoEval 30 lipca 2026 r. i ostatnio zaktualizowała ją 12 sierpnia. Mechanizm opiera się na modelu nagrody wytrenowanym na ludzkich preferencjach, używanym do automatycznego oddawania głosów: próbkuje się bieżące pary polecenie-odpowiedź, ponownie generuje odpowiedź z modelu docelowego, model nagrody ocenia obie, różnicę ocen przekształca się w miękki głos probabilistyczny, a następnie łączy się te syntetyczne głosy z bieżącymi głosami ludzkimi dotyczącymi innych modeli. Arena podaje, że uzyskane wyniki są „wyraźnie oznaczone jako »AutoEval«, a następnie aktualizowane, gdy napłynie wystarczająca liczba głosów ludzkich, aby je zweryfikować”, i raportuje korelację rankingową powyżej 0,98 z oceną na żywo.

To możliwy do obrony sposób uzyskania sygnału od pierwszego dnia i dlatego model może pojawić się na tablicy wyników w dniu premiery. Jest to również, według samego opisu Arena, wartość zastępcza. Liczba ta jest z założenia tymczasowa i oczekuje się, że się zmieni. Etykieta w wierszu ERNIE nie jest ozdobą; to instrukcja, aby traktować 1668 jako szacunek oczekujący na walidację.

Teraz zastosuj przedział błędu, czyli część wiersza, której nikt nie zacytował. Przedział ERNIE rozciąga się od około 1652 do 1684. Zarówno 1664 DeepSeek-V4.1-Flash, jak i 1658 Kimi K3 mieszczą się w nim. Podobnie Qwen3.8-Max z wynikiem 1670 oraz GPT-6 Sol z wynikiem 1673. Zdanie „jego wynik plasuje go tuż powyżej DeepSeek-V4.1-Flash z 1664 i Kimi K3 z 1658” jest arytmetycznie prawdziwe w odniesieniu do ocen punktowych i statystycznie nieuzasadnione jako porównanie: przy opublikowanej niepewności dla tego wiersza ERNIE nie da się odróżnić od żadnego modelu między 1652 a 1684. Może być powyżej D​eepSeek. Może być poniżej. Tabela obecnie nie mówi, który to przypadek.

To nie jest kruczek wymierzony w jednego dostawcę. Przedział ±16 na rankingu, na którym cała pierwsza dwudziestka piątka obejmuje około 200 punktów, oznacza, że przy tym poziomie ufności niemal każda sąsiednia para wierszy to remis, a uczciwy odczyt jakiegokolwiek pojedynczego porównania sąsiednich pozycji — dla dowolnego modelu — brzmi: „remis”. Niezwykłe jest tu tylko to, że dostawca w rezultacie wyolbrzymił porównanie sąsiednich pozycji.

Skąd pochodzi „#2” i od jakiej licencji zależy

Cofając się od liczb, istnieje dokładnie jeden sposób, w jaki to twierdzenie staje się prawdziwe, co warto zaznaczyć, ponieważ można to sprawdzić i ponieważ Arena tego nie sprecyzowała.

Przyjmij, że przez zbiór otwarty rozumiemy „każdy wiersz, którego Arena nie oznacza jako Proprietary”. Powyżej 1668 zostaje dokładnie jeden wiersz: Kimi K3.1 Pro (Max) na 1688, z etykietą „Kimi K3.1 Pro License”. Wszystko inne powyżej ERNIE jest oznaczone jako Proprietary. Przy takim odczytaniu Kimi K3.1 Pro jest nr 1, a ERNIE 5.5 Flash Preview byłby nr 2 — nie dlatego, że pokonał resztę stawki, lecz dlatego, że stawka przed nim jest oznaczona jako Proprietary.

Ta rekonstrukcja to wnioskowanie, a nie cytat: wpis Areny nie wymienia modelu, który uważa za #1, a ranking nie ujawnia swojego klasyfikatora otwarte–zastrzeżone poza znacznikami licencji. Jeśli to wnioskowanie jest trafne, kluczowym faktem stojącym za tezą jest niestandardowa licencja na cudzym modelu — Arena uznaje Kimi K3.1 Pro za otwarty, a całe ujęcie „#2 open model” dziedziczy tę decyzję klasyfikacyjną. Jeśli zamiast tego Arena zalicza niestandardowe licencje do zamkniętych, wiersz ERNIE 1668 jest najwyżej sklasyfikowanym wierszem nieproprietarnym, a teza powinna brzmieć „#1”, co byłoby dziwniejszym zdaniem do opublikowania o wersji zapoznawczej.

Tak czy owak, to zdanie robi więcej niż dane, które za nim stoją. Liczba jest prawdziwa. Pozycja w rankingu jest uwarunkowana licencją, której nikt nie widział.

Odległość, którą ukrywa kadr

W każdej uczciwej wersji tego wpisu powinna znaleźć się jeszcze jedna liczba, a jej brak jest najbardziej informacyjną rzeczą w całym tekście. Szczyt Code Arena WebDev w tym samym zrzucie to Claude Fable 5.2 z wynikiem 1836. ERNIE 5.5 Flash Preview z wynikiem 1668 jest o 168 punktów za nim — i zajmuje 17. miejsce na 158, gdyby wiersz AutoEval był klasyfikowany, lokując się między Qwen3.8-Max z 1670 a DeepSeek-V4.1-Flash z 1664.

Siedemnaste miejsce w rankingu 158 modeli, dzień po premierze, przy 14 miliardach parametrów aktywnych z 280 miliardów ogółem, to naprawdę dobry wynik. To wynik, który uzasadnia post w tygodniu premiery. To nie jest wynik, który trzeba przedstawiać jako miejsce na podium, a przedstawianie go w ten sposób ściąga dokładnie taką krytyczną uwagę, która kosztuje dostawcę więcej wiarygodności, niż kosztowałoby uczciwe zdanie.

Co strona dostawcy mówi, a czego nie mówi

Własna strona wydania Baidu poświęcona ERNIE 5.5 Flash Preview jest datowana na 11 listopada 2026 r., podaje „280B parametrów łącznie, z czego 14B aktywnych, oraz kontekst 1M tokenów” i opisuje model jako pierwszy checkpoint po treningu na ERNIE 5.5 Flash Base, którego bazowe wagi opublikowano 5 listopada. Nie zawiera żadnej informacji o licencji, żadnej informacji o wagach ani żadnych liczb benchmarkowych — odniesienia do benchmarków na tej stronie to nagłówki dotyczące wcześniejszych wydań ERNIE, a nie wyniki dla tego modelu.

Ta luka ma znaczenie dla badanego twierdzenia. „Wagi wkrótce zostaną udostępnione jako open source na licencji Apache 2.0” pojawia się w poście Arena. Nie pojawia się na stronie wydania dostawcy ani we własnym promowaniu tego posta przez dostawcę. Jeśli zobowiązanie do Apache 2.0 jest prawdziwe i aktualne, naturalnym miejscem na nie jest strona wydania — a go tam nie ma. Jeśli jest prawdziwe, ale jeszcze nieudokumentowane, to jedynym publicznym źródłem zobowiązania licencyjnego dotyczącego tego modelu jest ogłoszenie na tabeli liderów — a to wątłe miejsce dla licencji, gdy dostawca buduje na nim ranking.

Jak tego użyć, zanim liczby się ustabilizują

Praktyczne pytanie dla każdego, kto w tym tygodniu wybiera model, nie brzmi, czy 1668 to dobry wynik. Brzmi ono, czy wstępny szacunek WebDev na checkpointcie podglądowym, wyceniany na 0,28 USD za wejście i 1,13 USD za wyjście, z obowiązkowym rozumowaniem rozliczanym jako dane wyjściowe, powinien zastąpić coś, co już działa na produkcji. Na podstawie dostępnych dowodów odpowiedź brzmi: nie — ale sposób, by to sprawdzić, jest tani i nie wymaga wiary ani we wpis, ani w ten artykuł.

Przeprowadź porównanie na modelach routowanych, a nie na tabeli liderów. DeepSeek-V4.1-Flash i Kimi K3 są dostępne przez OrcaRouter pod jednym kluczem zgodnym z OpenAI, w cenie katalogowej dostawcy, bez narzutu, więc grupa kontrolna kosztuje według stawki samego dostawcy, a nie wymaga drugiej umowy i drugiego SDK. Zbuduj dwadzieścia zadań front-endowych, które odzwierciedlają Twoją rzeczywistą pracę — refaktory komponentów, błąd układu ujawniający się tylko przy jednym breakpoincie, zadanie polegające na podłączeniu maszyny stanów — uruchom każdy model dwukrotnie i licz tokeny wyjściowe oraz poprawność. To pomiar, którego nie da Ci żaden wiersz tabeli liderów, ponieważ to jedyna liczba, która musi być Twoja: koszt na zadanie, a nie cena za token.

Traktuj ERNIE 5.5 Flash Preview jako rzecz testowaną, a nie rzecz wdrażaną. Znajduje się na Qianfan, a nie w naszym katalogu, a wersja zapoznawcza, którą sam jej dostawca nazywa pośrednim punktem kontrolnym po treningu, to dokładnie ten profil, który kieruje się za modelem podstawowym, a nie przed nim. Jeśli jednak umieścisz go na ścieżce, umieść go na ścieżce z przełączaniem awaryjnym, aby w dniu, w którym Arena zastąpi 1668 liczbą wybraną przez ludzi — albo w dniu, w którym pojawią się wagi Apache 2.0 lub nie — Twoi użytkownicy dowiedzieli się z linii logu, a nie z awarii.

Co by to rozstrzygnęło?

Trzy rzeczy, w kolejności, w jakiej prawdopodobnie nadejdą, z których każda zmieniłaby werdykt tego artykułu, a nie tylko go upiększyła.

• Głosy ludzi zastępujące etykietę AutoEval w tym wierszu. Arena twierdzi, że wyniki są aktualizowane, gdy pojawi się wystarczająca liczba głosów. Gdy głosy przestaną wskazywać N/A, 1668 staje się porównywalne z 1664 i 1658, względem których je ustawiono, a kwestia ±16 rozwiązuje się sama. Obserwuj, jak przedział zawęża się w takim samym stopniu, w jakim przesuwa się oszacowanie punktowe.

• Wagi opublikowane na podstawie nazwanej licencji. Rzeczywiste repozytorium z plikiem Apache 2.0 raz na zawsze rozstrzyga kwestię otwartego modelu i sprawia, że ujęcie „#2 open model” staje się retrospektywnie uczciwe. Zapowiedź licencji bez wag nie rozstrzyga niczego.

• Niezależny pomiar WebDev. AutoEval Areny jest narzędziem samej Areny, a każda liczba benchmarkowa, którą Baidu opublikował dla tego modelu, pochodzi z własnego przebiegu Baidu na własnym stanowisku badawczym Baidu. Żaden z nich nie jest wynikiem strony trzeciej. Pierwsza naprawdę niezależna ocena front-endu modelu ERNIE 5.5 Flash Preview będzie warta więcej niż oba te wyniki razem.

Do tego czasu trafnym zdaniem pozostaje to nudne: checkpoint zapowiedziowy, który Baidu udostępnił 11 listopada, osiągnął 1668 w Code Arena WebDev — szacunek AutoEval mieszczący się w przedziale, który pokrywa się z czterema kolejnymi modelami niżej — w wierszu, który ranking nadal oznacza jako Proprietary, a jego dostawca nagłośnił to jako krótkoterminowe #2 wśród modeli otwartych. Każdy człon tego zdania można dziś sprawdzić. Wersja, która trafiła na Twittera, nie jest tyle błędna, co niedokończona — a opublikowano ją tak, jakby była gotowa.