ERNIE 5.5 Flash Preview chce Twojego najtrudniejszego zadania: co tak naprawdę udowadnia jedenastogodzinny build

ERNIE 5.5 Flash Preview stał się dostępny jako płatny endpoint na platformie Qianfan firmy Baidu 10 listopada 2026 r., a oficjalny wpis premierowy ukazał się 11 listopada z jednym przekazem w nagłówku: dawaj mu najtrudniejsze zadania. To twierdzenie opiera się bardziej niż na czymkolwiek innym na jednym artefakcie — grze trzecioosobowej na Unreal Engine 5.8 zbudowanej w ramach czegoś, co Baidu opisuje jako pojedyncze jedenastogodzinne zadanie kodowania — oraz na dwudziestu wierszach benchmarków, które Baidu uruchomiło na własnych środowiskach testowych z wybranymi przez siebie sędziami. Ani jedenastu godzin, ani dwudziestu liczb nie odtworzono poza firmą. Ciekawe pytanie nie brzmi, czy demo jest imponujące. Brzmi ono, czy jedenastogodzinne uruchomienie agentowe jest w ogóle właściwą rzeczą do mierzenia, i co karta specyfikacji mówi o rachunku, jaki zapłaciłbyś za jedno takie uruchomienie. Katalog zawiera 228 modeli od 17 dostawców, a w katalogu 228 modeli od 17 dostawców nie ma wpisu ERNIE więc grupa porównawcza jest o jedno naciśnięcie klawisza dalej, choć sam temat już nie.

To twierdzenie dotyczy czasu trwania, a nie trudności.

Każdy wpis o premierze modelu mówi, że model jest dobry w trudnych rzeczach. Ten definiuje trudność inaczej: jako długotrwałość. Budowa gry, sceny 3D, przestrzenie robocze z wieloma tysiącami plików i 116-sekundowy animowany krótki metraż to wszystko ćwiczenia w utrzymywaniu planu w całości przez godziny edycji i wywołań narzędzi, a nie w odpowiadaniu na pytanie, na które mniejszy model odpowiedziałby błędnie.

To rozróżnienie ma znaczenie, ponieważ te dwie właściwości się rozchodzą. Model może być świetny w rozumowaniu w pojedynczej turze i załamać się w czwartej godzinie refaktoryzacji, gdy kontekst jest pełen jego własnych wcześniejszych błędów, a plan wymaga raczej korekty niż realizacji. Model może też być przeciętny w jednorazowej łamigłówce i nadal być właściwym wyborem na całonocne budowanie. Baidu zakłada, że zależy ci na tej drugiej rzeczy.

Najbardziej użytecznym zdaniem w całym poście nie jest wynik benchmarku. Znajduje się w sekcji poświęconej tworzeniu gier i opisuje, jak model działał, nie mogąc niczego zobaczyć: ponieważ operuje wyłącznie na tekście i nie może patrzeć na ekran, przekształcił błędy wychwycone podczas testów rozgrywki — postać unoszącą się nad ziemią, niespójny kierunek biegu, źle umieszczoną kamerę — w mierzalne testy w kodzie. To szczery opis obejścia problemu i mówi coś, czego nie mówi karta specyfikacji. Kompetencje modelu w pracy wizualnej są delegowane do narzędzi, które sam tworzy, co oznacza, że jakość wyniku zależy od tego, czy potrafi wymyślić weryfikowalny test dla rzeczy, której nie widzi.

Co ten reel tak naprawdę zawiera

Warto wymienić te cztery studia przypadków, ponieważ są bardziej konkretne, niż to zwykle bywa w materiałach promocyjnych na premierę, a właśnie konkretność sprawia, że co do zasady można je zweryfikować.

• Tworzenie gier — trzecioosobowa gra na Unreal Engine 5.8 zbudowana w ramach jednego jedenastogodzinnego zadania, łącząca zasoby z kilku generacji silnika w jeden projekt i napisana w C++; osobno prawie sto mobilnych mini-gier wygenerowanych z dokumentów projektowych w Cocos, Unity, LayaAir, PixiJS i Canvas 2D, z których większość strukturyzuje swoje zasady jako deterministyczną symulację, tak aby rozgrywki botów i przeszukiwanie przestrzeni stanów mogły dowieść, że każdy poziom da się ukończyć.

• Modelowanie 3D — Boeing 747 i port lotniczy Pekin-Daxing zbudowane przez dwa agenty za pośrednictwem Blender Python API, jeden pracował nad lotniskiem, a drugi nad samolotem, następnie dopasowane pod względem skali, oświetlone, renderowane klatka po klatce w Cycles i OptiX oraz zmontowane za pomocą FFmpeg; kompleks świątyni Hōryū-ji zbadany i złożony krok po kroku; sekwencja previs obejmująca około 2100 obiektów i 1,82 mln trójkątów w czterech scenach Blendera; silnik W16, dwie wieże w Shenzhen i łazik księżycowy wymodelowane w FreeCAD za pomocą skryptów Pythona.

• Praca oparta na wiedzy — 20-stronicowy raport badawczy o kosztach energii elektrycznej centrów danych, 24-stronicowa analiza jazdy autonomicznej oparta na 4169 federalnych raportach o wypadkach, interaktywny skoroszyt do planowania majątku z 1000 ścieżek Monte Carlo oraz utwór orkiestrowy o długości 6 minut i 34 sekund dostarczony jako plik WAV.

• Wideo — ponad 150 000 środowisk tworzenia i około 5300 minut gotowego materiału wideo, z których na czoło wysuwa się 116-sekundowy animowany film krótkometrażowy 2D napisany w ponad 10 000 linii kodu w Pythonie, który przeprowadza jednego sparametryzowanego pelikana przez 20 stylów artystycznych.

Liczba treningowa stojąca za sekcją dotyczącą pracy opartej na wiedzy jest największą liczbą w poście: 300 000 przestrzeni roboczych przechowujących 10 milionów plików referencyjnych w ponad 40 typach plików. To stwierdzenie o tym, do przetrwania czego model został wytrenowany, i to jest ta część argumentu, której tabela benchmarkowa nie potrafi przedstawić w ogóle.

Dwadzieścia wierszy odczytanych pod kątem tego, co mówią o długich seriach

Załącznik to pojedynczy obraz, co oznacza, że liczb nie można skopiować, posortować ani sprawdzić względem arkusza kalkulacyjnego. Odczytana z tego obrazu kolumna ERNIE przedstawia się następująco — wszystkie dane zgłoszone przez dostawcę i nieodtworzone:

• Kodowanie agentowe — Terminal-Bench 4.0: 46,5, DeepSWE v1.1: 71,2, ProgramBench (prawie rozwiązane): 29,5, NL2Repo-Bench: 64,8, Terminal-Bench-Science 0.1: 21,0.

• Korzystanie z komputera i automatyzacja — CookieBench na poziomie 88.2, AutomationBench na poziomie 61.9, APEX-Agents 1.1 na poziomie 64.2, DRACO na poziomie 84.9.

• Praca oparta na wiedzy — SpreadsheetBench V2: 36,4; OfficeQA Pro V2: 67,9; Agents' Last Exam (CLI): 29,0; SkillsBench 1.1 w wersji tekstowej: 73,5.

• Ogólni agenci i użycie narzędzi — Toolathlon-Verified na poziomie 79,0, MCP-Atlas na poziomie 84,6, BrowseComp na poziomie 87,4.

• Rozumowanie — HLE bez narzędzi na poziomie 46,4, AA-Omniscience-Public na poziomie 25,2, AA-LCR v1.1 na poziomie 79,0.

• 3D — BlenderWorld tylko tekst w 79.0.

Tabelę znacznie użyteczniej czyta się jako mapę tego, co wciąż zawodzi, niż jako tablicę wyników. Cztery wiersze znajdują się poniżej 40: ProgramBench z 29,5, Agents' Last Exam w wierszu poleceń z 29,0, AA-Omniscience-Public z 25,2 i Terminal-Bench-Science z 21,0. To nie są łagodne benchmarki. Agents' Last Exam zaprojektowano tak, by lokował się blisko granicy tego, co agent potrafi ukończyć autonomicznie; omniscience karze pewne siebie błędne odpowiedzi; Terminal-Bench-Science testuje zadania na poziomie laboratoryjnym, w których procedura wyglądająca wiarygodnie jest bezwartościowa. Model, który chce zmierzyć się z twoim najtrudniejszym zadaniem i zdobywa 21,0 w wariancie naukowym najtrudniejszego benchmarku agentowego, mówi ci, gdzie obecnie znajduje się sufit. SpreadsheetBench V2 z 36,4 mówi coś podobnego konkretnie o pracy z arkuszami kalkulacyjnymi, co niezręcznie wypada obok 1,000-ścieżkowego skoroszytu Monte Carlo z postu premierowego.

Wiersze powyżej 80 są równie pouczające z innego powodu. BrowseComp z wynikiem 87,4, MCP-Atlas z 84,6, CookieBench z 88,2 i DRACO z 84,9 to zadania, w których model jest oceniany na podstawie ukończonego, weryfikowalnego stanu końcowego, a nie odpowiedzi. Ten wzorzec — mocny w weryfikowalnym ukończeniu, słaby w otwartym osądzie naukowym — jest dokładnie tym, czego można by oczekiwać od modelu wytrenowanego na 300 000 przestrzeni roboczych pełnych plików, które albo się budują, albo nie.

Uczciwość zapewniają przypisy. Każdy benchmark uruchomiono na nazwanym harnessie, przy czym pojawiają się Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1 oraz coś oznaczanego skrótem DSH, a modelami sędziowskimi są Qwen3.8-Max, DeepSeek-V4.1-Flash-1017 i Gemini 3.1 Flash-Lite. Jeden przypis przyznaje, że GLM-5.3 i ten model nie mają natywnych możliwości multimodalnych, a rozumienie obrazów zapewniano przez narzędzie oparte na Claude Opus 5.5. Przynajmniej niektóre wiersze zależne od widzenia mierzą więc harness, w którym ERNIE 5.5 Flash Preview wywołuje model konkurenta, by ten patrzył na rzeczy. To uzasadniony wybór inżynierski i dziwna rzecz do znalezienia w tabeli wyników.

Dwa wiersze z prefiksem AA wymagają własnego zastrzeżenia. AA-Omniscience-Public i AA-LCR v1.1 to benchmarki opublikowane przez Artificial Analysis, niezależny tracker, ale są to przebiegi przeprowadzone przez Baidu. Na dzień 11 listopada w rankingu Artificial Analysis nie ma wiersza ERNIE 5.5, więc nie ma niezależnej liczby, którą można by zestawić z którąkolwiek z tych komórek.

Ile kosztowałby jedenastogodzinny bieg — i czego Baidu nie powiedział

Dokumentacja endpointu to ta część wydania, która zamienia demo w decyzję inżynierską. Qianfan podaje ERNIE 5.5 Flash Preview w cenie 0,28 USD za milion tokenów wejściowych i 1,13 USD za milion tokenów wyjściowych, z odczytami z pamięci podręcznej po 0,028 USD, oknem kontekstu wynoszącym 1 024 000 tokenów, limitem wyjścia 921 600 tokenów oraz rozumowaniem zawsze włączonym na jednym, wysokim poziomie wysiłku, bez możliwości jego wyłączenia.

Ten pułap na liczbę tokenów wyjściowych jest mechaniczny powód, dla którego długie pojedyncze uruchomienie jest w ogóle możliwe: model może wygenerować niemal tyle tokenów, ile mieści się w całym jego oknie kontekstu. To także powód, dla którego rachunek nie jest oczywisty. Tokeny wejściowe (prompt) są wyceniane na jedną czwartą stawki za tokeny wyjściowe, ale wszystko, o czym model „myśli”, jest rozliczane według stawki za tokeny wyjściowe, a model, który nie potrafi przestać myśleć, to model, w którym kosztem na zadanie dominują tokeny, których nikt nie czyta.

Policzmy arytmetykę dla maksymalnego pojedynczego wywołania, czyli najbardziej korzystnego dostępnego przypadku. Wypełnienie okna 1 024 000 tokenów kosztuje około 0,29 USD przy stawce za dane wejściowe. Wygenerowanie pełnego limitu wyjścia 921 600 tokenów kosztuje około 1,04 USD. To około 1,33 USD za jedno wywołanie, które wyczerpuje oba limity. Jedenastogodzinny build Unreala bardzo prawdopodobnie tego nie zrobił, a wpis premierowy nie mówi, ile tokenów zużył, na ile osobnych wywołań się to złożyło ani ile to kosztowało. Dopóki ktoś nie zmierzy tokenów wyjściowych na ukończone zadanie we własnym obciążeniu, każde twierdzenie, że ten model jest tani lub drogi w trudnej pracy, jest porównaniem cenników, a nie porównaniem wyników.

Dwie rzeczy, które wydanie wciąż jest ci winne

Wpis kończy się nazwaniem ERNIE 5.5 Flash Preview „pośrednim checkpointem z etapu po treningu”, przyznając, że trening nie został ukończony i że niektóre możliwości mogą jeszcze nie dorównywać oczekiwaniom. Zapowiada też, że wagi wkrótce zostaną udostępnione jako open source na licencji Apache 2.0, bez podania daty, a na dzień 11 listopada na Hugging Face nie ma repozytorium podglądowego — jedynymi artefaktami ERNIE 5.5 opublikowanymi tam są bazowy checkpoint i jego wariant BF16. W materiałach wydania nie ma nigdzie karty modelu, informacji o dacie granicznej wiedzy ani wartości opóźnienia.

Uczciwe podsumowanie „daj mu swoje najtrudniejsze zadanie” jest więc węższe niż slogan. ERNIE 5.5 Flash Preview to model wyłącznie tekstowy z bardzo dużym kontekstem, nietypowo dużym limitem danych wyjściowych, mocnym dorobkiem w zadaniach kończących się artefaktem budowania, słabym dorobkiem w zadaniach kończących się osądem naukowym oraz zerową niezależną weryfikacją. To realny i konkretny profil. Jest to również profil, który prawdopodobnie nadpisze drugi checkpoint.

Jak przetestować ten profil bez obstawiania ścieżki na nim

Baidu udostępnia ten model za pośrednictwem własnego interfejsu API Qianfan oraz za pośrednictwem platform zewnętrznych, które go odsprzedają. OrcaRouter nie kieruje ruchu do ERNIE 5.5 Flash Preview — w katalogu 228 modeli od 17 dostawców nie ma żadnego wpisu ERNIE ani żadnego punktu końcowego Baidu, który by za nim stał — dlatego niczego tutaj nie należy odczytywać jako oferty jego udostępniania.

Do czego katalog przydaje się w tej sytuacji, to druga połowa eksperymentu. Modele, z którymi ten jest porównywany, są osiągalne przez jeden klucz po cenie katalogowej dostawcy, bez narzutu, co oznacza, że możesz przepuścić przez nie te same trudne zadania i porównać wskaźniki ukończenia, a nie publikowane wyniki. Automatyczne przełączanie awaryjne realizuje drugie zadanie: wersja zapoznawcza bez historii dostępności nigdy nie musi być jedyną rzeczą podtrzymującą ścieżkę żądania, ponieważ trasowane rozwiązanie zapasowe może przejąć wywołanie, gdy utknie ono w trzeciej godzinie.

Ewaluacja, którą warto przeprowadzić w tym tygodniu, jest niewielka. Weź dziesięć własnych zadań agentowych o długim horyzoncie — takich, których normalnie nie powierzyłbyś pojedynczemu uruchomieniu bez nadzoru — i przepuść każde przez ERNIE 5.5 Flash Preview oraz przez dwa modele, którym już ufasz. Zanotuj, czy zostało ukończone, ile tokenów wyjściowych zużyło i ile kosztowało. To daje dwie liczby, które Baidu pominęło: tokeny na zadanie i koszt na ukończone zadanie. Wszystko inne w poście premierowym, w tym 46,5 i jedenaście godzin, to cudze środowisko testowe na cudzej maszynie.

Sprawy nie rozstrzygnie kolejny pokazowy materiał demo. Rozstrzygnie ją data wydania na licencji Apache 2.0, karta modelu z datą odcięcia wiedzy, wiersz w Artificial Analysis wygenerowany przez Artificial Analysis oraz drugi checkpoint, którego wyniki można zestawić z tymi. Baidu opublikowało narrację, którą powinno było opublikować wraz z endpointem. Kolejną rzeczą, którą jest winne ludziom właśnie zaproszonym do powierzenia mu swoich najtrudniejszych zadań, jest artefakt, który pozwoli im przestać wierzyć mu na słowo co do tego, jak wypadły najtrudniejsze z nich.