Ling-3.1-flash-1019 jest już open source: 574 GB, MIT i 256K pod lupą

27 października o 05:46 UTC zespół Ling w Ant Group utworzył repozytorium na Hugging Face o nazwie Ling-3.1-flash-1019 i wypełnił je 54 shardami safetensors o łącznym rozmiarze 573,8 GB na licencji MIT. Obok niego znajduje się Ling-3.1-flash-base, checkpoint BF16 o rozmiarze 1,14 TB przeznaczony do dalszego trenowania, a za oboma stoi Ling-3.1-flash, model, którego ta kompilacja jest wersją po treningu. Pięć dni wcześniej Ant opublikował tylko wynik: 44 w Artificial Analysis Intelligence Index v4.3.2, czyli wzrost z 41, wraz z obiecanymi wagami i API. Dziś obietnica ma listę plików, co sprawia, że to pierwszy dzień, w którym ktokolwiek spoza potoku ewaluacyjnego Ant może sprawdzić tę liczbę, zamiast ją czytać.

Ta luka jest sednem historii i działa w obie strony. Laboratorium, które ogłasza benchmark, zanim udostępni artefakt, prosi, by wierzyć mu na słowo; laboratorium, które następnie udostępnia artefakt pięć dni później, ważący 574 GB i na permisywnej licencji, przynajmniej przekazało środki, by się nie zgodzić. Ciekawe pytania nie dotyczą już wyniku. Dotyczą tego, co jest w środku pobranego pliku, ile kosztuje jego serwowanie i czy kontekst 1 mln tokenów z karty modelu to kontekst, który faktycznie otrzymujesz.

Co tak naprawdę znajduje się w repozytorium

Repozytorium 1019 nie jest cienkim adapterem ani deltą. To pełny checkpoint: 54 pliki wag o rozmiarze około 10,7 GB każdy, tokenizer, szablon czatu oraz niestandardowy kod modelowania (BailingMoeV3ForCausalLM), który wymaga trust_remote_code. Dostarczana konfiguracja deklaruje schemat kwantyzacji FP8 (E4M3, skalowanie blokowe 128×128) na szczycie hybrydowej liniowej architektury MoE, której rodzina Ling używa od wersji 3.1:

• Parametry łączne i aktywne — 560B łącznie, 25B aktywnych na token, te same wartości co w Ling-3.1-flash.

• Warstwy — łącznie 72: 63 warstwy liniowej atencji KDA i 9 warstw bramkowanej atencji MLA w proporcji 7:1, plus 4 warstwy gęste.

• Eksperci — 512 routowanych, 8 aktywowanych na token, 1 współdzielony.

• Słownictwo — 157 184 tokeny; rozmiar ukryty 4096.

• Rozmiar — 573,8 GB plików safetensors w 54 shardach, według naszych obliczeń na podstawie listy plików w repozytorium z 27 października.

Model bazowy to inny rodzaj artefaktu. Ling-3.1-flash-base powstał 25 października i zawiera 121 plików oraz 1,14 TB wag BF16 — około dwukrotnie więcej niż checkpoint po wyrównaniu, ponieważ nie został skwantyzowany do FP8. Jego karta opisuje go jako bazowy checkpoint Ling-3.1-flash, przeznaczony do kontynuowanego wstępnego trenowania, adaptacji dziedzinowej i badań nad trenowaniem po wstępnym treningu, i wprost stwierdza, że nie jest przeznaczony do bezpośredniego czatu ani do zastosowań krytycznych dla bezpieczeństwa bez wyrównania. Oba repozytoria mają tag MIT.

44, oraz część, której Ant nie zmierzył

Artificial Analysis umieszcza Ling-3.1-flash-1019 na 44. miejscu swojego Intelligence Index, co daje mu czwarte miejsce spośród 122 modeli na stronie, którą dziś czytaliśmy, a jego strona modelu podaje, że oceny zostały zmierzone niezależnie przez Artificial Analysis. To najsilniejsza forma, jaką ta liczba przybrała dotychczas, i warto oddzielić ją od reszty tabeli premiery.

Różnice dla poszczególnych benchmarków pochodzą z własnej karty modelu Ant, a nie z niezależnego ponownego przebiegu: AA-Briefcase wzrasta z około 1400 do 1524 Elo, AutomationBench-AA z 62% do 68%, CritPt z 18% do 26%, a SciCode z 54% do 57%. Dwa z tych benchmarków — AA-Briefcase i AutomationBench-AA — są składnikami indeksu Artificial Analysis, więc liczba indeksu i tabela dostawcy nie stanowią niezależnych od siebie dowodów. To to samo twierdzenie w dwóch rozdzielczościach. Traktuj 44 jako zmierzone przez AA, a pary przed/po jako zgłoszone przez dostawcę, dopóki ktoś nie opublikuje harnessu i ziarna.

Istnieje druga asymetria. W momencie pomiaru Artificial Analysis odnotowało brak publicznie dostępnego API dla kompilacji 1019, a jego pole prędkości wyjściowej dla tego modelu wciąż pozostaje puste. Zatem benchmark można dziś powtórzyć tylko poprzez pobranie 574 GB i uruchomienie go samodzielnie. To nie jest skarga na wydanie; to opis tego, co zmienia „open”. Przed dzisiejszym dniem nikt nie mógł odtworzyć wyniku. Po dzisiejszym dniu może to zrobić każdy, kto ma odpowiedni sprzęt.

Trzy punkty kupuje się za tokeny.

Indeks jest miarą jakości, a nie efektywności, a strona efektywnościowa tego wydania jest jego najmniej pochlebną częścią. Artificial Analysis zmierzyło 350 mln tokenów wyjściowych w przebiegu 1019 wobec 220 mln dla Ling-3.1-flash — około 59% więcej wygenerowanych tokenów do ukończenia tego samego zestawu — i klasyfikuje nową wersję na 48. miejscu spośród 48 pod względem rozwlekłości, przy medianie dla modeli wynoszącej 140 mln. Koszt uruchomienia indeksu wynosi 1,49 USD na zadanie wobec 1,01 USD dla poprzednika.

Część z tego to arytmetyka, którą można przeprowadzić na podstawie samego cennika Ant. Przy 0,90 USD za milion tokenów wyjściowych 350 mln tokenów to 315 USD za wyjście w porównaniu z 198 USD za 220 mln — różnica 117 USD, zanim policzy się choćby jeden token wejściowy lub odczyt z pamięci podręcznej. Dla zespołu, który budżetuje według zadania, a nie według tokenu, „darmowa” aktualizacja checkpointu jest bliżej 47-procentowego wzrostu rachunku w zamian za trzypunktowy wzrost wskaźnika. To, czy taki układ się opłaca, zależy wyłącznie od tego, ile kosztuje cię nieudane zadanie — a na to pytanie nie odpowiada żaden ranking.

Okno kontekstu ma 256K w konfiguracji.

Karta modelu mówi o kontekście 1M tokenów. Dostarczona konfiguracja mówi coś innego. We wszystkich trzech repozytoriach — 1019, Ling-3.1-flash i bazowym — config.json ustawia max_position_embeddings na 262,144, a rope_scaling na null, z RoPE theta równą 6 000 000. Standardowe załadowanie tych wag w SGLang lub vLLM obsługuje zatem 256K pozycji, a nie milion, chyba że operator dostarczy konfigurację skalowania, której nie ma w repozytorium.

To nasza interpretacja opublikowanych plików konfiguracyjnych, a nie oświadczenie ze strony Ant. Możliwe, że hostowane API Ling stosuje po stronie serwera schemat skalowania i faktycznie obsługuje 1M; otwarte wagi nie zawierają takiego rozwiązania. Nie jest to też nowa rozbieżność — wydanie Ling-3.1-flash z 15 października zawierało to samo twierdzenie o 1M przy tym samym ustawieniu 262,144. Każdy, kto dobiera sprzęt pod obciążenie rzędu miliona tokenów, powinien przetestować limit na własnym stosie przed podjęciem decyzji, ponieważ liczy się ta liczba, którą akceptuje serwer, a nie ta z wprowadzenia.

Serwowanie tego: osiem H200, cztery GB300 i jedna pułapka kopiuj-wklej

Ant poleca SGLang i publikuje obraz day-0, lmsysorg/sglang:dev-ling-3.1-flash, ze spekulatywnym dekodowaniem MTP i optymalizacjami dekodowania dla Hoppera. Udokumentowana konfiguracja referencyjna to osiem GPU H200 w TP8 plus EP8; w przypadku czterech GB300 karta zaleca użycie --tp 4 --ep 4. Dołączono także przepis vLLM z równoległością tensorową wynoszącą 8, równoległością ekspertów, buforowaniem prefiksów i trzema tokenami spekulatywnymi. Dwie flagi środowiskowe — SGLANG_ENABLE_FP8_BLOCK_GEMV i SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT — mają zapewniać około 10% szybsze dekodowanie przy batchu 1 na Hopperze.

Ślad pamięciowy wyjaśnia listę sprzętu. Przy 573,8 GB wag FP8 punkt kontrolny pozostawia około 550 GB zapasu na ośmiu H200 (1 128 GB HBM) i około 578 GB na czterech GB300 (1 152 GB). To wystarcza na wagi i działający cache KV, ale nie wystarcza, by lekceważyć długie konteksty.

W dokumencie Quickstart jest też pułapka, którą warto wskazać, ponieważ może komuś zająć cały dzień. Własne polecenie SGLang z karty modelu 1019 przekazuje --model-path inclusionAI/Ling-3.1-flash, a jego przykład klienta wysyła "model": "Ling-3.1-flash". Wykonany dosłownie przepis ładuje poprzednika z wynikiem 41 punktów, a nie wersję z wynikiem 44 punktów. Jawnie ustaw ścieżkę na inclusionAI/Ling-3.1-flash-1019 i przypnij nazwę serwowanego modelu, w przeciwnym razie pierwszy benchmark „1019” będzie benchmarkiem starego checkpointu.

Do czego służy Ling-3.1-flash-base — a do czego nie.

Wydanie bazowe ma większe znaczenie z dwojga dla każdego, kto trenuje modele, a nie tylko je wywołuje. Checkpoint 1.14 TB w BF16 na licencji MIT, o tej samej architekturze 560B/25B, daje laboratorium legalny punkt wyjścia do kontynuowanego treningu wstępnego, adaptacji do domeny, nadzorowanego dostrajania, optymalizacji preferencji, eksperymentów z destylacją i badań nad MoE z długim kontekstem — bez rozpoczynania od modelu dostrojonego do czatu, którego zachowanie odmowne trzeba by było odwracać.

To, czego ci nie daje, to przepis na 44. Karta opisuje bazę jako bazowy checkpoint Ling-3.1-flash, a nie migawkę z kompilacji 1019 sprzed etapu post-trainingu, i wraz z żadnym z repozytoriów nie są dostarczane dane po treningu, zestaw preferencji ani konfiguracja RL. Jeśli chcesz zmierzony model, pobierz zmierzony model. Jeśli chcesz zbudować własny, baza oszczędza ci rachunek za wstępny trening, ale nie pracę nad alignmentem — a luka między dobrze dostrojoną bazą a najlepszym checkpointem dostawcy po treningu dostrajającym jest zwykle szersza, niż sugeruje trzypunktowa delta indeksu.

Czy powinieneś wybrać 574 GB?

• Pobierz go, jeśli już eksploatujesz osiem H200 lub cztery GB300, Twoje obciążenie ma charakter agentowy lub wieloetapowy, a licencja MIT usuwa przeszkodę prawną, która rzeczywiście Cię dotyczy.

• Pobierz go, jeśli musisz samodzielnie odtworzyć 44 — jest to teraz możliwe, a 22 października nie było.

• Pomiń to, jeśli liczyłeś na 1M kontekstu od razu po wyjęciu z pudełka; najpierw przetestuj konfigurację 256K.

• Pomiń to, jeśli Twoje rozliczenia są za zadanie i zależy Ci na niskich opóźnieniach. Wzrost liczby tokenów o 59% to realny koszt przepustowości, a niezależna wartość szybkości generowania dla 1019 jeszcze nie istnieje.

• Zaczynaj od modelu bazowego tylko wtedy, gdy masz potok uczenia po treningu. To fundament, a nie skrót.

Szczere ujęcie roli OrcaRouter w tej sytuacji: nie udostępniamy Ling-3.1-flash-1019. Sprzedajemy drugą stronę decyzji — jeden klucz do ponad 200 hostowanych modeli w cenie katalogowej dostawcy z 0% marży, dzięki czemu na pytanie „czy 1019 bije to, co już uruchamiam” można odpowiedzieć bez podpisywania osobnej umowy dla każdego modelu odniesienia. Automatyczne przełączanie awaryjne i DSL routingu mają znaczenie, gdy już wybierzesz zwycięzcę; nie pomagają go wybrać.

Co obejrzeć dalej

O tym, czy to wydanie dobrze się zestarzeje, zdecydują trzy rzeczy. Pierwsza to niezależna przepustowość: Artificial Analysis nie podaje wartości szybkości wyjściowej dla 1019, a pierwszy dostawca zewnętrzny, który opublikuje liczbę tokenów na sekundę, powie ci więcej o przydatności produkcyjnej niż kolejny punkt indeksu. Druga to, czy w repozytorium lub w cookbooku SGLang pojawi się konfiguracja skalowania kontekstu do 1M; dopóki tak się nie stanie, liczba z nagłówka karty jest twierdzeniem, pod którym kryje się implementacja 256K. Trzecia to, co społeczność zrobi z bazą — fine-tuning, który przebije 44 w wąskiej dziedzinie, byłby najsilniejszym dowodem, że otwarcie tych wag było warte więcej niż wynik, z którym je wydano.