Step 5 Preview można hostować samodzielnie już od dnia zero: vLLM i SGLang również zyskują ścieżki serwowania dla 600B MoE firmy StepFun

Step 5 Preview nie był nowością rankiem 15 października 2026 r. Flagowy model StepFun o 600 miliardach parametrów jest dostępny przez własne API dostawcy od 20 września 2026 r., a niezależny ewaluator Artificial Analysis ocenia go od 18 września. Nowością tego ranka było coś węższego i znacznie bardziej użytecznego: dwa popularne stosy inferencyjne opublikowały własne ścieżki uruchamiania go na sprzęcie, który posiadasz lub wynajmujesz. vLLM otworzył szkicowy pull request dodający Step 5 Preview — 129 plików, +16 996 linii — wraz z towarzyszącym przepisem i dedykowanym obrazem vllm/vllm-openai:step-5-preview, który trafił do Docker Hub o 00:51 UTC. SGLang scalił stronę cookbooka z przepisami wdrożeniowymi dla Blackwell i Hopper; stojący za tym pull request dodający obsługę modelu otwarto o tej samej godzinie. Do tego ranka jedynym sposobem, by dostać Step 5 Preview na własne GPU, było ponowne przesłanie przez społeczność checkpointu, do którego redystrybucji nikt ci nie udzielił licencji.

Zatem uczciwy nagłówek nie brzmi: „StepFun wypuścił model”. Ten konkretny wypuścił we wrześniu, a data samego modelu należy do pierwszego zdania każdego tekstu na jego temat. Nagłówek jest taki, że od 15 października 2026 r. odpowiedź na pytanie o serwowanie zawiera polecenia.

Co właściwie zmieniło się 15 października?

Cztery artefakty, wszystkie opatrzone tą samą datą, i warto je rozdzielić, ponieważ niosą ze sobą różne poziomy zobowiązania.

• Obsługa modelu vLLM — pull request #61727, zatytułowany „Dodaj obsługę Step-5 Preview”, otwarty przez jeejeelee o 01:18 UTC i noszący roboczą flagę. To pojedynczy spłaszczony commit obejmujący 129 plików, który nie został scalony. PR w wersji roboczej to prośba autora o przegląd, a nie obietnica opiekuna.

• Przepis vLLM — pull request #1122 w vllm-project/recipes, otwarty dwie minuty wcześniej o 01:16 UTC i również otwarty, dodaje models/stepfun-ai/Step-5-Preview.yaml z domyślnym wariantem FP8 i wariantem NVFP4. To jest dokument zawierający te liczby i to na nim opiera się większość tego artykułu.

• Obraz kontenera — vllm/vllm-openai:step-5-preview, wypchnięty 2026-10-15 o 00:51 UTC jako manifest dwuarchitekturowy: linux/amd64 o rozmiarze 8,56 GB po kompresji i linux/arm64 o rozmiarze 9,58 GB, wraz z step-5-preview-x86_64-cu130 i step-5-preview-arm64-cu130 obok nich. Opublikowany obraz to silniejszy sygnał niż otwarty PR: oznacza, że ktoś to zbudował i wypchnął, niezależnie od tego, kiedy zakończy się przegląd.

• SGLang cookbook — pull request #44357, „Add Step 5 Preview cookbook”, został scalony do main o 01:21 UTC po review; dodaje stronę wdrożeniową, którą dokumentacja SGLang udostępnia teraz pod docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview i oznacza tagiem NEW. Towarzyszący mu PR wspierający, #44356, jest wciąż otwarty. Strona cookbooka mówi wprost, że „wsparcie dla Step 5 Preview nie trafiło jeszcze do żadnego wydania SGLang, więc zwykła instalacja przez pip install sglang nie może go obsłużyć” — to najważniejsze zdanie na tej stronie.

Przeczytaj te cztery razem, a otrzymasz spójny obraz: StepFun uruchamia otwarte serwowanie dla modelu, którego API działa od prawie miesiąca. Nie ma tu zapowiedzi premiery ani benchmarku. To infrastruktura decyduje o tym, jaki model możesz uruchomić.

Czym jest Step 5 Preview, w kategoriach, o które inżynier ds. serwowania pyta w pierwszej kolejności

Własna angielska dokumentacja StepFun jest uboga, jeśli chodzi o architekturę — publikuje identyfikator modelu, okno kontekstowe o rozmiarze 1 mln tokenów, wejście tekstowe/obrazowe/wideo, wyjście wyłącznie tekstowe, maksymalne wyjście 64 tys. tokenów, obsługę JSON Schema, buforowanie promptów oraz kontrolę reasoning_effort z ustawieniami low, medium i high. Nie publikuje liczby parametrów. Poniższe dane architektoniczne pochodzą z dwóch opublikowanych dzisiaj dokumentów serwowania first-party, które musiały odczytać checkpoint, aby napisać loader, i są ze sobą zgodne.

• Rozmiar — 600 mld parametrów łącznie, z 27 mld aktywnych na token, rzadka architektura mieszaniny ekspertów. Przepis vLLM niezależnie podaje 604 mld, „liczone na podstawie kształtów tensorów checkpointu”, a obie liczby to ta sama liczba zaokrąglona inaczej.

• Głębokość i routing — 92 warstwy. Każda warstwa MoE kieruje token do 8 z 352 ekspertów oraz jednego wspólnego eksperta. Ta liczba ekspertów jest powodem, dla którego PR vLLM zawiera zmianę jądra router-GEMM: dodaje (4096, 352) jako obsługiwaną parę (hidden_dim, num_experts), obok istniejących (3072, 256) i (6144, 128).

• Uwaga — powtarzający się wzorzec czterowarstwowy: trzy warstwy z przesuwanym oknem obsługujące ostatnie 512 tokenów, a następnie jedna warstwa rzadkiej uwagi. Warstwy rzadkie dzielą historię KV na regiony po 8 tokenów, oceniają podsumowanie każdego regionu za pomocą lekkiego indeksera i wybierają maksymalnie 512 historycznych regionów, na których skupiają uwagę na poziomie tokenów. SGLang nazywa to region-sparse attention; praktyczną konsekwencją jest to, że kontekst 1M tokenów pozostaje przystępny pod względem pamięci.

• Dekodowanie spekulatywne — trzy warstwy MTP. „Trójwarstwowe MTP” w SGLang i --spec-method mtp --spec-tokens 3 z przepisu vLLM to to samo twierdzenie widziane z dwóch stron.

• Precyzja — wagi ekspertów routowanych są w FP8 (E4M3, skale blokowe 128×128), z wyjątkiem ostatnich trzech warstw MoE, które pozostają w BF16. Osobny checkpoint NVFP4, stepfun-ai/Step-5-Preview-NVFP4, jest wskazywany przez przepis vLLM jako wariant. Oba stosy pozostawiają podział warstw na mieszaną precyzję bez zmian, zamiast konwertować go na wyższą precyzję.

• Zachowanie podczas rozumowania — model zawsze myśli przed udzieleniem odpowiedzi. reasoning_effort ustawia głębokość i domyślnie przyjmuje wartość high, gdy nie jest ustawiony, co jest ustawieniem, które najprawdopodobniej zaskoczy cię w budżecie opóźnień. Zalecane próbkowanie StepFun to temperature=1.0, top_p=0.95, top_k=0, a cookbook SGLang oznacza je jako informacyjne, a nie coś, co należy zakodować na sztywno.

Minimalne wymagania sprzętowe to element, który decyduje, czy ma to dla ciebie znaczenie.

Właśnie tutaj recepta vLLM dowodzi swojej wartości, bo nikt inny nie opublikował twardych minimów.

• Dolny próg FP8 — 773 GB pamięci VRAM, przy minimum 4 GPU i domyślnym docelowym sprzęcie B300. Zweryfikowane konfiguracje są wymienione dla H200, B300 i GB300. Na czterech B300 przepis oferuje układy TP4, TEP4 lub DEP4; wagi FP8 nie mieszczą się na czterech H200, więc ścieżka Hopper obejmuje osiem GPU.

• Minimalne zapotrzebowanie NVFP4 — 473 GB VRAM dla skwantyzowanego checkpointu, o 300 GB mniej niż FP8. Kompromisem jest kontekst: wariant NVFP4 działa z --max-model-len 320000, więc rezygnujesz z około 724 000 tokenów z reklamowanych 1 048 576, aby zmieścić się w mniejszym zużyciu pamięci.

• Równoległość ekspertów — na Blackwell układy TEP i DEP przechodzą przez MegaMoE z --moe-backend deep_gemm_mega_moe; układ czysto tensorowo-równoległy celowo tego nie robi, ponieważ MegaMoE wymaga równoległości ekspertów, żeby mieć cokolwiek do podziału. Na H200 przepis przełącza się awaryjnie na Triton MoE dla każdej warstwy eksperckiej, w tym trzech warstw BF16, ponieważ jądra MoE z TRT-LLM są dostępne tylko na Blackwell.

• Koszt uruchomienia — cookbook SGLang określa pierwsze uruchomienie na około 15 minut kompilacji FlashInfer na B300, co spada do około 6 minut przy kolejnych startach, i zaleca utrwalenie FLASHINFER_WORKSPACE_BASE oraz ~/.cache/sglang między restartami. Jeśli skalujesz automatycznie od zera, to jest dolny limit zimnego startu, a nie błąd zaokrąglenia.

• Co nie jest jeszcze obsługiwane — przepis vLLM oznacza zarówno Simple, jak i LMCache KV offload jako nieobsługiwane dla tego modelu. Ścieżka HiCache w SGLang jest udokumentowana jako dostępna w cookbooku, co stanowi rzeczywistą różnicę w możliwościach między oboma stosami w ich obecnym kształcie.

Praktyczna interpretacja: Step 5 Preview to wdrożenie z czterema–ośmiona akceleratorami, a nie projekt hobbystyczny na pojedynczym węźle. Jeśli to zdanie wyczerpuje twoje zainteresowanie, poniższa sekcja API to reszta artykułu.

Wywoływanie tego i ile kosztuje każdy token

Własna strona cennika StepFun podaje step-5-preview w cenie 1,00 USD za milion tokenów wejściowych przy chybieniu pamięci podręcznej, 0,10 USD przy trafieniu w pamięć podręczną i 2,70 USD za milion tokenów wyjściowych — dane od dostawcy, nie od odsprzedawcy. Dwa szczegóły zmieniają tę arytmetykę. Po pierwsze, cena tokenów wejściowych przy chybieniu pamięci podręcznej obejmuje zapis nowej treści do pamięci podręcznej, więc pierwsze przejście przez długi dokument jest wyceniane jednorazowo, a drugie przejście jest tanie. Po drugie, tokeny wyjściowe obejmują zarówno rozumowanie modelu, jak i jego odpowiedź, co ma tutaj większe znaczenie niż w przypadku modelu, który odpowiada bezpośrednio.

Artificial Analysis, jedyny neutralny ewaluator z opublikowanym przebiegiem, ocenia Step 5 Preview z wynikiem Intelligence Index 43,7 — wyświetlanym jako 44 — z medianą prędkości wyjściowej 88,5 tokena na sekundę i czasem do pierwszego tokenu odpowiedzi wynoszącym 24,7 sekundy, wobec około 2000 tokenów rozumowania na odpowiedź. Wartość prędkości jest przyzwoita, ale opóźnienie tokenu odpowiedzi już nie: model, który zawsze najpierw myśli, słabo nadaje się do interaktywnego autouzupełniania, a dobrze do pracy wsadowej i agentowej, co dokładnie odpowiada sposobowi, w jaki StepFun go pozycjonuje. To niezależne liczby z zewnętrznego środowiska testowego i są to jedyne dostępne liczby — StepFun w ogóle nie publikuje tabeli benchmarków dla tego modelu.

Tam, gdzie opowieść jest jeszcze miękka, a nie jest cała miękka w ten sam sposób.

Trzy rzeczy warto raczej zasygnalizować niż wygładzać, ponieważ każda z nich ma inny termin przydatności.

Pierwsza kwestia dotyczy tego, czy checkpoint dostawcy jest faktycznie do pobrania. Oba dokumenty serwowania samego dostawcy odwołują się do stepfun-ai/Step-5-Preview i stepfun-ai/Step-5-Preview-NVFP4 jako kanonicznych checkpointów, a cookbook SGLang zawiera link do LICENSE.txt w ramach StepFun Model License 1.0. Ta strona nie może na podstawie Hugging Face potwierdzić, że te repozytoria są dzisiaj publicznie czytelne: API Hugging Face zwraca identyczny błąd 401 Invalid username or password dla stepfun-ai/Step-5-Preview, jak dla identyfikatora repozytorium, który nigdy nie istniał, więc odpowiedź nie pozwala odróżnić modelu o ograniczonym dostępie od nieistniejącego. Wskazówka zawarta w samym przepisie — „użyj hf auth login, jeśli checkpoint wymaga uwierzytelnienia” — to jedyne stwierdzenie dotyczące dostępu i jest ona warunkowa. Traktuj pobranie jako przywołane przez twórców loaderów i sam potwierdź dostęp, zanim zaplanujesz na tym uruchomienie.

Drugi element to data wydania, którą trzy źródła podają na trzy różne sposoby: materiały ogłoszeniowe StepFun wskazują premierę na 20 września 2026 r.; Artificial Analysis w swoich metadanych datuje model na 18 września 2026 r. i wyświetla „Wydano we wrześniu 2026 r.”; a agregatory metadanych modeli, z których odczytuje większość narzędzi, podają 16 września 2026 r. Żadne z tych trzech źródeł nie wyjaśnia tej rozbieżności. W tym artykule, tam gdzie potrzebna jest data, używamy daty dostawcy: 20 września, i warto wiedzieć, jaką liczbę otrzymało narzędzie, za pomocą którego to czytasz.

Trzeci czynnik to dojrzałość i pod tym względem te dwa stosy nie są równoważne. Cookbook SGLang został scalony i włączony do gałęzi main, ale sam SGLang w swoim tekście mówi, że wsparcie nie trafiło jeszcze do wydania, więc ścieżka Python to wyłącznie podglądowy obraz Docker i nic więcej. Przepis vLLM jest otwarty, jego PR dla modelu to niezescalony szkic, o którym GitHub obecnie informuje, że ma konflikty scalania i wymaga rebase'a, a jego własni recenzenci zgłosili już trzy otwarte punkty wobec przepisu — bramkę sprzętową FP8, domyślny profil B300, który generuje polecenia dla ośmiu GPU, mimo że przewodnik dotyczy czterech GPU, oraz limit kontekstu NVFP4, który nie jest zawarty w argumentach wariantu. Nic z tego nie dyskwalifikuje. Wszystko to przemawia za tym, aby pierwsze w tym tygodniu wdrożenie na własnym hostingu potraktować jako ewaluację, a nie migrację.

Co zrobić z tym, w tym tygodniu

Jeśli masz już cztery B300 lub osiem H200 i obciążenie przypominające analizę długich dokumentów, wieloturowe wywoływanie narzędzi lub nocne uruchomienia agentów, przepis vLLM jest bliski runbookowi: pobierz vllm/vllm-openai:step-5-preview, skopiuj polecenie TP4 lub TEP4 i sprawdź, czy --max-model-len 1048576 przetrwa zetknięcie z twoim rzeczywistym budżetem KV, zanim komukolwiek obiecasz milion tokenów. Jeśli masz Hoppera, a nie Blackwella, zacznij od checkpointu NVFP4 i zaakceptuj kontekst 320k, albo zaplanuj budżet na osiem H200. Tak czy inaczej, ustaw reasoning_effort jawnie przy każdym żądaniu, zamiast dziedziczyć wysoką wartość domyślną, i zmierz 24,7-sekundowy czas do tokenu odpowiedzi na własnym ruchu, zanim wyciągniesz jakiekolwiek wnioski z wartości 88,5 tokena na sekundę.

Jeśli nie masz tego sprzętu, API nie jest nagrodą pocieszenia — to te same wagi, rozliczane za token, po $1.00 na wejściu i $2.70 na wyjściu, z 90% zniżką na pamięć podręczną przy powtarzanym kontekście. I oto część tej strony, w której należy umieścić uczciwą odpowiedź na nasz temat: Step 5 Preview nie znajduje się dziś na liście aktywnych modeli OrcaRouter. Nasz katalog obejmuje 207 modeli od 13 dostawców i obecnie nie zawiera żadnego modelu StepFun, więc dla tego konkretnego modelu własne API dostawcy jest jedyną dostępną ścieżką wywołań, a nic na tej stronie nie powinno być odczytywane jako twierdzenie, że go obsługujemy. To, co obsługujemy w zakresie routingu, to otaczająca decyzja: kiedy wybierasz, który model klasy frontier ma realizować obciążenie produkcyjne, argument za sięganiem po niego przez jeden punkt końcowy jest taki, że cena katalogowa dostawcy jest przekazywana z 0% marży, więc zmiana ceny dostawcy jest twoją ceną tego samego dnia, i że automatyczne przełączanie awaryjne między dostawcami oznacza, że słabsze popołudnie jednego modelu nie jest twoją awarią. To stwierdzenie dotyczy modeli, które rzeczywiście mamy w ofercie, i celowo nie jest stwierdzeniem o tym konkretnym modelu.

To, na co warto patrzeć dalej, jest wąskie i sprawdzalne. Czy stepfun-ai/Step-5-Preview prowadzi do czytelnego repozytorium z plikiem licencji, na który można wskazać zespołowi prawnemu; czy #61727 w vLLM wychodzi z draftu i rozwiązuje swój konflikt scalania; czy wspierający PR #44356 w SGLang trafi do wydania oznaczonego tagiem, co jest momentem, w którym przepis przestaje być obrazem podglądowym i staje się czymś, co twoje CI może przypiąć. Każdy z tych trzech sprawia, że „prawdopodobnie możesz to uruchomić” z tego tygodnia staje się zwykłym „tak”, a do tego czasu jedynym twierdzeniem, które warto postawić, jest to, które popierają dowody: 15 października 2026 r. dwa stosy serwowania opublikowały własne ścieżki do modelu, który można wywoływać od 20 września 2026 r.

Decyzja o uruchomieniu modelu o 600 miliardach parametrów na własnym sprzęcie to również decyzja, w której liczą się dotychczasowe wyniki: udokumentowane incydenty AI i awarie agentów związane z modelami tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i oznaczenie sporne.