B300 4대에서의 Beam 1.0: 서빙 계산, 그리고 아무도 발표하지 않은 처리량 주장

잠시 멈춰 볼 만한 숫자는 Reflection의 Beam 1.0 릴리스에서 5010억이 아니다. 그것은 4다. 총 매개변수가 5013억 개이고 토큰당 234억 개가 활성화되는 모델이 이제 NVLink로 연결된 NVIDIA B300 GPU 4개가 있는 단일 서버에 들어간다. 그리고 그 두 수치 사이의 간격, 즉 임의의 토큰에서 모델의 약 4.7퍼센트가 활성화된다는 점이 이 크기의 체크포인트를 클러스터를 보유하지 않은 누구나 다운로드할 수 있는 전적인 이유다. Reflection은 2026년 10월 16일 Apache 2.0에 따라 가중치를 공개했으며, 출시 자료는 이를 서빙하는 데 필요한 사항을 이례적으로 구체적으로 설명한다. NVFP4 빌드의 경우 NVLink로 연결된 B300 GPU 4개, FP8의 경우 H200 8개, BF16의 경우 B200 또는 B300 8개다. 그 하드웨어 표는 벤치마크 표보다 더 흥미로운데, 독자가 자신의 조달 명세서와 실제로 대조해 볼 수 있는 부분이기 때문이다.

그것은 또한 Beam 1.0을 비교 대상이 되는 모델들과 구분 짓는 부분이기도 하다. Kimi K3와 GLM-5.2는 API 뒤에서 제공되며, 그 가중치는 공개되지 않았거나 다른 조건 집합과 함께 제공된다; Qwen3.8-Max는 플래그십 등급에서 독점 모델이다. Beam이 내세우는 것은 그 트레이드오프의 어려운 절반 — 다운로드할 수 있는 최전선에 근접한 모델 — 이 출시되었다는 것, 그리고 서빙 비용이 데이터 센터가 아니라 랙이라는 것이다.

10월 16일에 실제로 무엇이 도착했을까

Reflection의 “Beam, 이제 사용 가능” 게시물은 2026년 10월 16일자로, 모델이 10월 5일에 발표된 지 11일 후다. 네 개의 아티팩트가 배포되었으며, 헤드라인보다 정밀도 수치가 더 중요하다:

• BF16 — 501.3B 파라미터, 디스크상 933.81 GiB, 188개의 safetensors 샤드. 참조 정밀도이며, 벤치마크 표의 첫 번째 열입니다.

• FP8 — E4M3에서 동일한 파라미터 수, 468.72 GiB. N​VIDIA ModelOpt로 양자화. Hopper 및 이전 하드웨어에 권장됩니다.

• NVFP4 — 273 GiB의 패킹된 4비트 빌드입니다. Reflection 자체 서빙 가이드에서 다운로드하라고 안내하는 바로 그것이며, 디퀀타이제이션 페널티 없이 Blackwell에서 네이티브로 실행되는 유일한 빌드입니다.

• DFlash2 — 1.93B 파라미터의 추측 디코딩 드래프터로, 자체 저장소로 공개되었고 샘플 명령어에 별도의 가중치 세트로 연결되었습니다.

해당 체크포인트들의 기반 아키텍처는 희소 전문가 혼합(MoE)입니다: 52개 레이어로, 그중 3개는 덴스이고 49개는 MoE이며, MoE 레이어당 전문가 256개, 게이트된 그룹 쿼리 어텐션과 슬라이딩 윈도 어텐션을 혼합한 구조, 어휘 크기는 152,000토큰입니다. 텍스트 입력, 텍스트 출력이며, 모델 카드 기준 1M 토큰 컨텍스트, API 기준 최대 출력 131,072토큰입니다. 지식 컷오프는 2026년 6월 30일입니다.

문서에 없는 처리량 수치

이번 릴리스와 함께 첫날부터 하나의 숫자가 돌고 있습니다: Blackwell Ultra에서 GPU당 초당 70,000개 이상의 출력 토큰입니다. 매력적인 수치이며, 이 수치가 어디에 나타나고 어디에 나타나지 않는지 분명히 하는 것이 좋습니다. 이는 Reflection의 출시 게시물에도, 모델 카드에도, Hugging Face 릴리스 노트에도, 개발자 문서에도 없습니다. 우리는 어떤 1차 출처에서도 이를 찾을 수 없었습니다.

벤더 자료가 실제로 문서화하는 것은 절대적 수치가 아니라 상대적 수치다. 모델 카드의 유일한 효율성 주장은 Beam이 "약 3배 더 적은 추론 시점 추론 토큰으로 선도적인 오픈 모델에 필적하는 솔루션 품질에 도달한다"는 것이며, 출시 게시물은 같은 아이디어를 "토큰당 더 많은 지능"이라고 표현한다. 이번 릴리스가 공개하는 유일한 처리량 형태의 숫자는 속도가 아니라 측정된 속도 향상이다: DFlash2 드래프터는 Beam 단독 대비 디코드 속도를 1.7×에서 3.0×까지 높이며, 이는 네 대의 B300에서 NVFP4 체크포인트로 측정되었고, 최대 8개 중 4.11~5.88 토큰의 수용 길이를 보였다. 이는 Beam 자체의 기준선에 대한 비율이므로 GPU당 초당 절대 토큰 수에 대해서는 아무것도 말해주지 않는다 — 70,000이라는 수치를 어느 쪽으로도 결정하지 못할 것이다.

효율성 주장이 순전한 마케팅이 아니라는 독립적인 신호가 하나 있다. Artificial Analysis는 Intelligence Index 전반에서 Beam 1.0의 출력 토큰을 79M로 측정했는데, 이는 비교 대상 모델들의 중앙값 130M과 대비되며, 그 지표에서 46개 중 10위에 올랐다. 이는 제3자가 생성된 토큰을 세어 Beam이 대부분의 경쟁 모델보다 더 알뜰하다는 것을 확인한 것으로, GPU당 처리량 수치보다는 약한 주장이지만 훨씬 더 근거가 탄탄한 주장이다.

메모리 면에서 B300 네 대가 실제로 가져다주는 것

서빙 문서는 Reflection이 공개한 것 중 가장 유용한 자료입니다. 왜냐하면 벤치마크 표가 결코 묻지 않는 질문들에 답하기 때문입니다. 세 개의 숫자가 눈에 띕니다.

• KV 캐시 사용량 — vLLM 및 NVIDIA Dynamo 레시피는 둘 다 64토큰 페이지 크기의 FP8 E4M3 캐시를 기본으로 사용하며, vLLM 레시피에 따르면 이는 FP8 체크포인트를 실행하는 H200 8대에서 캐시 가능한 컨텍스트가 약 1,400만~2,800만 토큰으로 두 배가 된다고 합니다. 배포 규모를 산정할 때 기준으로 삼아야 할 숫자가 바로 이것입니다. 3-GPU 계획은 캐시가 한계에 이르기 훨씬 전에 실패합니다.

• NVFP4 체크포인트는 라우팅된 전문가만 양자화합니다. 어텐션, 덴스 MLP, 라우터, 임베딩, LM 헤드는 BF16으로 유지되며, 이것이 전체 4비트 패스를 적용했을 때 얻을 수 있는 250여 GiB가 아니라 파일이 273 GiB인 이유입니다. Blackwell에서는 W4A4로 실행되고, Hopper에서는 vLLM이 FP4 전문가를 Marlin을 통해 BF16 활성값으로 서빙합니다.

• 네 대의 B300에서 실행되는 NVFP4 체크포인트가 참조 구성이며, SGLang 레시피는 텐서 병렬 처리를 4로 설정하고, 블록 크기 8에서 DFlash2 드래프터를 활성화하며, FP8 KV 캐시와 함께 추측 디코딩을 구성한 고정 Docker 이미지로 제공됩니다.

검증 도구도 있습니다. 오픈소스 beam-verifier CLI는 모든 라이브 Beam 엔드포인트에 대해 적합성 테스트 스위트를 실행합니다 — 요청 계약, 응답 계약, 도구 프로토콜 — 그런 다음 주요 벤치마크에서 평가하므로, 자체 배포나 공급자의 배포를 Reflection의 참조 점수와 비교할 수 있습니다. 벤치마크 표가 전적으로 공급업체 보고인 모델의 경우, 구매자가 이를 재현할 수 있게 하는 하네스를 제공하는 것은 그 표의 어떤 단일 숫자보다 더 의미 있는 약속입니다.

출시 당일 프레임워크 지원은 배포 이야기의 나머지 절반이며, 대부분의 오픈 릴리스가 해내는 범위보다 더 넓습니다: Transformers, vLLM, SGLang, Unsloth, Axolotl, TokenSpeed, NVIDIA Dynamo가 지원되고, SGLang, vLLM, TokenSpeed를 위한 단계별 레시피와 Kubernetes용 Helm 차트가 제공됩니다. 훈련 측면에서 Reflection은 워크플로를 구축한 스택을 밝힙니다 — NVIDIA의 NeMo RL, AutoModel, Megatron Bridge, RadixArk의 Miles, Hugging Face의 TRL, Anyscale의 SkyRL, Axolotl — 그리고 이들에 대한 하드웨어 수치 대신 자사의 RL 런북 수치를 공개합니다: 4주 동안 10.5K GB300 GPU, 1억 회 이상의 롤아웃, 훈련 중 최대 256K 토큰 컨텍스트, 그리고 약 13억 개의 샌드박스.

API는 존재하지만, 여전히 가격이 없다

가중치와 함께 api.reflection.ai에는 OpenAI 호환 인터페이스를 갖춘 자사 엔드포인트가 있으며 모델 ID는 Beam-1.0-501B-A23B입니다. 여기에는 문서화된 계약이 따릅니다. max, xhigh, high, medium, low의 추론 강도를 갖춘 필수 추론(기본값은 max), 구조화된 출력 및 도구 호출, 분당 및 UTC 일별 요청과 토큰으로 측정되는 조직 전체 속도 제한(모든 프로젝트와 키에 걸쳐 공유되므로 키를 추가해도 한도가 올라가지 않음), 그리고 일일 허용량이 소진되면 x-should-retry를 false로 설정하는 429 응답 — 이 세부 사항이 순진한 재시도 루프가 자정까지 계속 돌지 않게 막아 줍니다.

문서에는 백만 토큰당 가격이 없고, 발표에도 없다. 구매자에게 효율성 논증을 완결할 수 없게 만드는 것은 바로 그 단 하나의 누락이다: 항상 추론하고, 최대 노력으로 기본 설정되며, 추론 토큰이 3배 더 적다고 주장하는 모델은 백만 출력 토큰당 1달러일 때와 10달러일 때 서로 다른 상업적 제안이며, 현재 Reflection 외부의 누구도 그것이 어느 쪽인지 말할 수 없다. 자체 호스팅은 그 질문을 완전히 제거하고 자본 금액으로 대체하는데, 이는 적어도 계산할 수 있는 숫자이다.

이것이 그것을 시도하려는 팀을 어떤 상황에 놓는가

Beam 1.0은 저희 라우트 중 하나가 아니므로 저희가 그것을 제공해 드릴 수 없으며, 여기에 있는 어떤 내용도 저희의 가용성 보장으로 해석되어서는 안 됩니다. 저희가 할 수 있는 일은 평가 비용을 낮추는 것입니다. 앞에 놓인 결정이 2주짜리 Beam 파일럿에 엔지니어링 시간의 4분의 1을 투자할지 여부라면, 유용한 선택은 파일럿이 진행되는 동안 프로덕션은 공개된 요금표와 서비스 이력을 갖춘 모델에 그대로 두고, 폴백을 이미 연결해 두는 것입니다. OrcaRouter는 200개 이상의 모델 전반에서 하나의 OpenAI 호환 키를 운영하며, 공급자의 정가를 그대로 적용하고 아무것도 추가하지 않습니다, 따라서 공급업체의 가격 인하가 같은 날 청구서에 반영되고, 자동 장애 조치 덕분에 다음 달에 사용할 수 없게 되는 파일럿은 마이그레이션이 아니라 라우팅 변경입니다.

Beam이 목표로 하는 워크로드에서 Beam에 가장 가까운 모델들은 모두 그런 방식으로 접근할 수 있습니다. 우리 자체 카탈로그에서 파일럿 가격을 비교해 볼 가치가 있는 세 가지는 다음과 같습니다:

• GLM-5.2 — 1,000,000 토큰 컨텍스트, 백만 입력 토큰당 $1.40, 백만 출력 토큰당 $4.40. Reflection이 자체 효율성 주장을 측정하는 기준이 되는 모델.

• Kimi K3 — 1,048,576 토큰 컨텍스트, 입력 토큰 백만 개당 $3.00, 캐시된 경우 $0.30, 출력 $15.00. Reflection의 출시 게시물은 K3가 순수 성능 면에서 여전히 앞서 있음을 인정한다.

• Qwen3.8-Max — 1,000,000토큰 컨텍스트, 입력 100만 토큰당 $2.00, 출력 100만 토큰당 $6.00, Beam이 가장 큰 효율성 우위를 주장하는 2조 매개변수급.

주목해야 할 세 가지

첫 번째는 가격이다. Reflection이 요금표를 공개할 때까지, 효율성 논제는 비용에 관한 사실이라기보다 컴퓨팅에 관한 가설이며, GLM-5.2나 Kimi K3와의 비교는 방법론에 관한 논쟁으로 남는다.

두 번째는 독립적인 처리량 측정입니다. Artificial Analysis는 현재 Beam을 Intelligence Index 30으로, 속도와 가격은 없이 기재하는데, 이는 해당 모델에 대해 "공개적으로 사용 가능한 API 없음"이라고 기록하기 때문입니다. 이것이 바뀌면 GPU당 질문은 벤더에서 비롯되지 않은 답을 얻게 됩니다.

세 번째는 검증기가 실제로 사용되는지 여부다. 아무도 실행하지 않는 적합성 스위트는 문서에 불과하고, 열두 개의 배포가 결과를 공개하는 적합성 스위트는 벤치마크다. Beam 1.0은 첫날부터 이 도구를 내놓았다. 그것이 수치까지 내놓을지는 아직 열려 있는 부분이다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.