Step 5 Preview, Day Zero부터 자체 호스팅 가능: vLLM과 SGLang 모두 StepFun의 600B MoE를 위한 서빙 경로 확보

Step 5 Preview는 2026년 10월 15일 아침에 새로 나온 것이 아니었습니다. StepFun의 6,000억 매개변수 플래그십은 2026년 9월 20일부터 벤더 자체 API를 통해 호출할 수 있었고, 독립 평가 기관인 Artificial Analysis는 9월 18일부터 이를 평가해 왔습니다. 그날 아침 새로웠던 점은 더 좁고 훨씬 더 유용한 것이었습니다. 두 주류 추론 스택이 자신이 소유하거나 임대한 하드웨어에서 이를 실행하기 위한 자체 경로를 공개한 것입니다. vLLM은 Step 5 Preview를 추가하는 초안 풀 리퀘스트 — 129개 파일, +16,996줄 — 를 열었고, 함께 제공되는 레시피와 00:51 UTC에 Docker Hub에 올라온 전용 vllm/vllm-openai:step-5-preview 이미지도 공개했습니다. SGLang은 Blackwell 및 Hopper 배포 레시피가 담긴 쿡북 페이지를 병합했으며, 그 뒤의 모델 지원 풀 리퀘스트도 같은 시간에 열렸습니다. 그날 아침까지 Step 5 Preview를 자신의 GPU에 올릴 수 있는 유일한 방법은, 재배포 라이선스를 아무도 부여하지 않은 체크포인트를 커뮤니티가 다시 업로드한 것이었습니다.

그러니까 솔직한 헤드라인은 “StepFun이 모델을 출시했다”가 아니다. StepFun은 이 모델을 9월에 출시했고, 모델 자체의 날짜는 이에 관한 어떤 글에서든 첫 문장에 들어가야 한다. 헤드라인은 2026년 10월 15일 현재, 서빙 관련 질문의 답에 명령어가 들어 있다는 것이다.

10월 15일에 실제로 무엇이 바뀌었나

네 개의 아티팩트가 있으며 모두 같은 날짜가 찍혀 있는데, 각기 다른 수준의 확약을 담고 있으므로 이들을 구분해 볼 가치가 있다.

• vLLM 모델 지원 — 풀 리퀘스트 #61727, 제목 "Step-5 Preview 지원 추가", jeejeelee가 01:18 UTC에 열었으며 초안 플래그를 달고 있습니다. 이는 129개 파일을 건드리는 단일 스쿼시 커밋이며, 병합되지 않았습니다. 초안 PR은 작성자가 리뷰를 요청하는 것이지, 메인테이너의 약속이 아닙니다.

• vLLM 레시피 — vllm-project/recipes의 풀 리퀘스트 #1122는 2분 전 01:16 UTC에 열렸으며 역시 열려 있는 상태로, FP8 기본 변형과 NVFP4 변형이 있는 models/stepfun-ai/Step-5-Preview.yaml을 추가합니다. 이것은 숫자가 담긴 문서이며, 이 글의 대부분이 참고하는 바로 그 문서입니다.

• 컨테이너 이미지 — vllm/vllm-openai:step-5-preview는 2026-10-15 00:51 UTC에 두 아키텍처 매니페스트로 푸시되었습니다: linux/amd64는 압축 시 8.56GB, linux/arm64는 9.58GB이며, 그와 함께 step-5-preview-x86_64-cu130 및 step-5-preview-arm64-cu130도 있습니다. 게시된 이미지는 열린 PR보다 더 강한 신호입니다: 이는 리뷰가 언제 끝나든 누군가 이것을 빌드하고 푸시했다는 것을 의미합니다.

• SGLang 쿡북 — 풀 리퀘스트 #44357, "Add Step 5 Preview cookbook"이 리뷰 후 01:21 UTC에 main에 병합되어, SGLang 문서가 이제 docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview에서 제공하고 NEW로 태그하는 배포 페이지를 추가했습니다. 그와 짝을 이루는 지원 PR #44356은 아직 열려 있습니다. 쿡북 페이지에는 "Step 5 Preview 지원은 아직 SGLang 릴리스에 포함되지 않았으므로, 일반 pip install sglang으로는 이를 서빙할 수 없다"고 명확히 나와 있는데, 이는 이 페이지에서 단연 가장 중요한 문장입니다.

네 가지를 함께 읽으면 일관된 그림이 나온다: StepFun은 API가 거의 한 달째 서비스 중인 모델을 위해 오픈 서빙을 구축하고 있다. 여기에는 출시 발표도, 벤치마크도 없다. 이것은 그 모델을 실제로 실행할 수 있는지를 좌우하는 기반 인프라다.

Step 5 Preview란 무엇인지, 서비스 엔지니어가 가장 먼저 묻는 관점에서

StepFun의 자체 영어 문서는 아키텍처에 관한 내용이 빈약하다 — 모델 ID, 1M 토큰 컨텍스트 윈도우, 텍스트/이미지/비디오 입력, 텍스트 전용 출력, 64k 토큰 최대 출력, JSON Schema 지원, 프롬프트 캐싱, 그리고 low, medium, high 설정이 있는 reasoning_effort 제어를 공개한다. 파라미터 수는 공개하지 않는다. 아래 아키텍처 수치는 오늘 공개된 두 개의 자사 서빙 문서에서 가져온 것으로, 두 문서는 로더를 작성하기 위해 체크포인트를 읽어야 했으며 서로 일치한다.

• 크기 — 총 600B 파라미터에 토큰당 27B 활성, 희소 전문가 혼합(MoE) 설계. vLLM 레시피는 "체크포인트 텐서 형상에서 계산한 값"이라며 독립적으로 604B라고 밝히는데, 두 숫자는 같은 수를 다르게 반올림한 것입니다.

• 깊이와 라우팅 — 92개 레이어. 각 MoE 레이어는 토큰을 352개 전문가 중 8개와 공유 전문가 1개로 라우팅합니다. 그 전문가 수는 vLLM PR이 router-GEMM 커널 변경을 포함하는 이유입니다. 즉, 기존 (3072, 256) 및 (6144, 128)과 함께 (4096, 352)를 지원되는 (hidden_dim, num_experts) 쌍으로 추가합니다.

• 어텐션 — 4개 계층이 반복되는 패턴: 최근 512개 토큰에 어텐션하는 슬라이딩 윈도 계층 3개, 그다음 희소 어텐션 계층 1개. 희소 계층은 KV 이력을 8토큰 영역으로 분할하고, 경량 인덱서로 각 영역의 요약을 점수화하며, 토큰 수준에서 어텐션할 최대 512개의 과거 영역을 선택합니다. SGLang은 이를 영역 희소 어텐션이라고 부릅니다. 실질적인 결과는 100만 토큰 컨텍스트가 메모리 측면에서 감당 가능한 수준으로 유지된다는 것입니다.

• 추측적 디코딩 — 3개의 MTP 계층. SGLang의 "3계층 MTP"와 vLLM 레시피의 --spec-method mtp --spec-tokens 3은 두 방향에서 나온 동일한 주장이다.

• 정밀도 — 라우팅된 전문가 가중치는 FP8(E4M3, 128×128 블록 스케일)이며, 마지막 세 개의 MoE 레이어에서는 BF16으로 유지됩니다. 별도의 NVFP4 체크포인트인 stepfun-ai/Step-5-Preview-NVFP4는 vLLM 레시피에서 변형으로 참조됩니다. 두 스택 모두 혼합 정밀도 레이어 분할을 업캐스팅하는 대신 그대로 유지합니다.

• 추론 동작 — 모델은 항상 답변하기 전에 생각합니다. reasoning_effort는 깊이를 설정하며 기본값은 high입니다 설정하지 않은 경우, 이는 지연 시간 예산에서 여러분을 가장 놀라게 할 가능성이 높은 설정입니다. StepFun의 권장 샘플링은 temperature=1.0, top_p=0.95, top_k=0이며, SGLang의 쿡북은 이를 하드코딩할 대상이라기보다 참고 정보로 표시합니다.

하드웨어 최소 기준은 이것이 여러분에게 중요한지를 결정하는 부분입니다.

바로 이 지점에서 vLLM 레시피가 진가를 발휘합니다. 다른 누구도 확고한 최소 요구 사항을 공개하지 않았기 때문이죠.

• FP8 최소 기준 — 773 GB의 VRAM, 최소 4개의 GPU, 기본 하드웨어 타깃은 B300. 검증된 구성은 H200, B300, GB300용으로 나열되어 있습니다. B300 4개에서는 이 레시피가 TP4, TEP4 또는 DEP4 레이아웃을 제공합니다. FP8 가중치는 H200 4개에 들어가지 않으므로 Hopper 경로는 8개의 GPU입니다.

• NVFP4 최소 요구량 — 양자화된 체크포인트에 473 GB의 VRAM이 필요하며, FP8보다 300 GB 적습니다. 그 대가는 컨텍스트입니다. NVFP4 변형은 --max-model-len 320000으로 실행되므로, 더 작은 메모리 점유량에 맞추기 위해 광고된 1,048,576개 토큰 중 약 724,000개를 포기해야 합니다.

• 전문가 병렬화 — Blackwell에서는 TEP 및 DEP 레이아웃이 --moe-backend deep_gemm_mega_moe를 사용하여 MegaMoE를 통해 라우팅됩니다. 순수 텐서 병렬 레이아웃은 의도적으로 그렇게 하지 않는데, MegaMoE가 분할할 대상이 있으려면 전문가 병렬화가 필요하기 때문입니다. H200에서는 이 레시피가 BF16 레이어 세 개를 포함한 모든 전문가 레이어에 대해 Triton MoE로 폴백합니다. TRT-LLM MoE 커널이 Blackwell 전용이기 때문입니다.

• 시작 비용 — SGLang cookbook은 B300에서 첫 실행을 FlashInfer 컴파일 약 15분으로 잡으며, 이후 시작에서는 약 6분으로 줄어든다고 하고, 재시작 전반에 걸쳐 FLASHINFER_WORKSPACE_BASE와 ~/.cache/sglang을 유지하라고 알려줍니다. 0에서 오토스케일링하는 경우, 이는 반올림 오차가 아니라 콜드 스타트 하한입니다.

• 아직 지원되지 않는 점 — vLLM 레시피는 이 모델에 대해 Simple 및 LMCache KV 오프로드를 모두 지원되지 않음으로 표시합니다. SGLang의 HiCache 경로는 쿡북에 사용 가능한 것으로 문서화되어 있으며, 이는 오늘날 두 스택의 현 상태에서 실질적인 기능 차이입니다.

실용적인 해석: Step 5 Preview는 4~8개 가속기 배포이지, 단일 노드 취미 프로젝트가 아니다. 그 문장에서 흥미가 끝난다면, 아래 API 섹션이 이 글의 나머지다.

그것을 호출하는 것, 그리고 각 토큰에 드는 비용

StepFun의 자체 가격 페이지에는 step-5-preview가 캐시 미스 시 백만 입력 토큰당 $1.00, 캐시 히트 시 $0.10, 백만 출력 토큰당 $2.70으로 기재되어 있습니다 — 재판매업체가 아닌 공급업체에서 나온 수치입니다. 두 가지 세부 사항이 계산을 바꿉니다. 첫째, 캐시 미스 입력 가격에는 캐시에 새 콘텐츠를 쓰는 비용이 포함되므로, 긴 문서에 대한 첫 번째 패스는 한 번만 가격이 책정되고 두 번째 패스에서는 저렴합니다. 둘째, 출력 토큰에는 모델의 답변뿐만 아니라 추론도 포함되는데, 이는 직접 답변하는 모델보다 여기서 더 중요합니다.

공개된 실행 결과를 보유한 유일한 중립 평가자인 Artificial Analysis는 Step 5 Preview에 Intelligence Index 43.7 — 표시상 44 — 을 부여했으며, 중앙값 출력 속도는 초당 88.5토큰이고 첫 응답 토큰까지의 시간은 24.7초이며, 응답당 약 2,000개의 추론 토큰이 사용됩니다. 속도 수치는 괜찮은 편이지만 응답 토큰 지연은 그렇지 않습니다. 항상 먼저 생각하는 모델은 대화형 자동 완성에는 잘 맞지 않고 배치 및 에이전트 작업에는 잘 맞는데, 이는 바로 StepFun이 이 모델을 포지셔닝하는 방식입니다. 이는 제3자 하네스에서 나온 독립적인 수치이며, 이용 가능한 유일한 수치입니다. StepFun은 이 모델에 대한 벤치마크 표를 전혀 공개하지 않습니다.

이야기가 아직 부드러운 곳, 그리고 그 부드러움이 모두 같은 방식인 것은 아니다

세 가지는 매끄럽게 넘기기보다 짚고 넘어갈 가치가 있습니다. 각각의 유효 기간이 다르기 때문입니다.

첫 번째는 벤더 체크포인트가 실제로 다운로드 가능한지 여부입니다. 두 개의 자사 서빙 문서 모두 stepfun-ai/Step-5-Preview와 stepfun-ai/Step-5-Preview-NVFP4를 정식 체크포인트로 참조하며, SGLang의 쿡북은 StepFun Model License 1.0에 따른 LICENSE.txt를 링크합니다. 이 페이지가 할 수 없는 일은 Hugging Face에서 해당 저장소들이 오늘 공개적으로 읽을 수 있는지 확인하는 것입니다: Hugging Face API는 stepfun-ai/Step-5-Preview에 대해 한 번도 존재한 적 없는 저장소 ID와 동일한 401 Invalid username or password를 반환하므로, 응답만으로는 게이트 모델과 존재하지 않는 모델을 구분할 수 없습니다. 레시피 자체의 안내 — "체크포인트에 인증이 필요하면 hf auth login을 사용하세요" — 는 접근에 관한 유일한 설명이며, 조건부입니다. 다운로드는 로더를 작성한 사람들이 참조한 것으로 간주하고, 이를 토대로 출시를 계획하기 전에 직접 접근 권한을 확인하세요.

두 번째는 출시일인데, 세 출처가 이를 세 가지로 제시한다. StepFun의 발표 자료는 출시를 2026년 9월 20일로 잡고, Artificial Analysis는 자체 메타데이터에서 해당 모델의 날짜를 2026년 9월 18일로 기록하며 "2026년 9월 출시"라고 표시하고, 대부분의 툴링이 읽는 모델 메타데이터 집계기들은 2026년 9월 16일로 적고 있다. 세 곳 중 어느 곳도 이 차이를 설명하지 않는다. 이 글에서는 날짜가 필요한 곳에 벤더의 9월 20일을 사용하며, 독자가 읽고 있는 도구가 어느 숫자를 가져왔는지 알아두는 것은 가치가 있다.

세 번째는 성숙도인데, 여기서 두 스택은 동등하지 않다. SGLang의 쿡북은 병합되어 main에 병합되었지만, SGLang 자체 문서에 따르면 지원이 릴리스로 출시되지 않았으므로 Python 경로는 프리뷰 Docker 이미지일 뿐 그 외에는 아무것도 아니다. vLLM의 레시피는 공개되어 있지만, 모델 PR은 병합되지 않은 초안이며 GitHub는 현재 병합 충돌이 있고 리베이스가 필요하다고 보고한다. 또한 vLLM 자체 리뷰어들은 이미 레시피에 대해 세 가지 미해결 항목을 제기했다 — FP8 하드웨어 게이트, 4-GPU 가이드에 대해 8-GPU 명령을 내보내는 기본 B300 프로필, 그리고 변형 인수에 인코딩되지 않은 NVFP4 컨텍스트 상한. 그중 어느 것도 실격 사유는 아니다. 이 모든 것은 이번 주 첫 자체 호스팅 배포를 마이그레이션이 아니라 평가로 취급해야 함을 시사한다.

이걸로 이번 주에 뭘 해야 할까

이미 B300 4대 또는 H200 8대를 갖추고 있고, 장문 문서 분석, 다중 턴 도구 호출, 야간 에이전트 실행 같은 워크로드를 돌린다면, vLLM 레시피는 사실상 런북에 가깝습니다: vllm/vllm-openai:step-5-preview를 가져와 TP4 또는 TEP4 명령을 복사한 뒤, 누군가에게 100만 토큰을 약속하기 전에 --max-model-len 1048576이 실제 KV 예산과 부딪혀도 버티는지 확인하세요. Hopper가 있고 Blackwell이 없다면 NVFP4 체크포인트로 시작해 320k 컨텍스트를 감수하거나, H200 8대를 예산에 넣으세요. 어느 쪽이든, 높은 기본값을 그대로 따르지 말고 모든 요청에서 reasoning_effort를 명시적으로 설정하며, 초당 88.5토큰 수치로 어떤 결론을 내리기 전에 자체 트래픽에서 24.7초의 time-to-answer-token을 측정하세요.

그 하드웨어가 없다면, API는 위로의 상품이 아닙니다 — 동일한 가중치를 토큰당 과금으로 제공하는 것이며, 입력 $1.00, 출력 $2.70에 반복 컨텍스트에 대해서는 90% 캐시 할인이 적용됩니다. 그리고 이 페이지에서 우리 자신에 대한 솔직한 답변이 들어가야 할 부분은 바로 여기입니다: Step 5 Preview는 오늘 기준으로 OrcaRouter의 라이브 모델 목록에 없습니다. 우리 카탈로그는 13개 제공사에 걸친 207개 모델이며 현재 StepFun 모델은 전혀 포함하고 있지 않으므로, 이 특정 모델의 경우 벤더 자체의 API가 유일하게 호출 가능한 경로이며, 이 페이지의 어떤 내용도 우리가 그것을 서비스한다는 주장으로 읽혀서는 안 됩니다. 우리가 라우팅하는 것은 그 주변의 의사결정입니다: 프로덕션 워크로드를 어떤 최전선 모델이 담당할지 고를 때, 하나의 엔드포인트를 통해 그 모델에 도달하는 것을 주장하는 근거는 제공사 정가가 0% 마크업으로 그대로 전달된다는 점— 즉 벤더의 가격 변경이 같은 날 당신의 가격이 된다는 점 — 그리고 제공사 간 자동 장애 조치 덕분에 단일 모델의 나쁜 하루가 당신의 서비스 중단이 되지는 않는다는 점입니다. 이는 우리가 실제로 취급하는 모델들에 대한 진술이며, 의도적으로 이 모델에 대한 진술은 아닙니다.

다음에 지켜볼 것은 범위가 좁고 확인 가능하다. stepfun-ai/Step-5-Preview가 법무 팀에 제시할 수 있는 라이선스 파일이 있는 열람 가능한 저장소로 확인되는지, vLLM의 #61727이 드래프트 상태와 병합 충돌을 해소하는지, SGLang의 지원 PR #44356이 태그된 릴리스에 포함되는지, 즉 레시피가 더 이상 프리뷰 이미지가 아니게 되고 CI가 고정할 수 있는 무언가가 되는 시점이다. 이 세 가지 중 어느 하나만으로도 이번 주의 "아마 실행할 수 있을 것"이 확실한 '예'가 되며, 그 전까지 할 가치가 있는 주장은 증거가 뒷받침하는 단 하나뿐이다: 2026년 10월 15일, 두 개의 서빙 스택이 2026년 9월 20일부터 호출 가능했던 모델로 가는 각자의 경로를 공개했다.

6,000억 개 파라미터 모델을 자체 하드웨어에서 실행하기로 선택하는 것 역시 실적 기록이 중요하게 작용하는 결정입니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive 에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 제공됩니다.