AMD에서의 Muse Spark Open: 첫날 지원, 플레이스홀더 임계값, 그리고 아무도 실행해 본 적 없는 게이트

Meta는 Muse Spark Open을 2026년 10월 15일에 공개했고, 그날 저녁 SGLang에 초안 풀 리퀘스트가 올라왔는데, 그 제목은 기능이라기보다 인정에 가깝게 읽힌다: [AMD] Muse Spark Open MI35x 나이틀리 GSM8K + MMMU 정확도 게이트 추가. 이 게이트가 존재하는 이유는 PR 본문에 명시되어 있다. HIP에서는 모델의 코드가 별도의 ROCm 구현 — sglang.srt.rocm_muse_spark — 로 디스패치되며, 프로젝트의 어떤 지속적 통합 작업도 이를 커버하지 않는다. 작성자 본인의 설명에 따르면, 새 게이트는 하드웨어에서 실행된 적이 없고, 두 개의 통과/실패 임곗값 중 하나는 사용할 AMD 측정값이 없어서 만들어낸 자리 표시자이며, 그 CI 작업은 현재로서는 첫 단계에서 어차피 실패할 것이다. 이것은 출시 이야기가 아니다. 이는 8,160억 매개변수 오픈 웨이트 모델을 AMD 하드웨어에 배포하는 일이 서빙 프레임워크 내부에서 실제로 어떤 모습인지를 보여주는, 유출된 듯한 흔적이다.

풀 리퀘스트가 실제로 추가하는 것

이 게이트는 프로젝트의 MI355X "Low Latency" 쿡북 레시피에 있는 두 FP4 체크포인트를 모두 포괄하는 하나의 야간 작업입니다. 프로젝트 나름의 표현으로 말하자면:

• Suite — nightly-amd-4-gpu-mi35x-muse-spark-open, nightly-4-gpu-mi35x-muse-spark-open 작업이 linux-mi35x-gpu-8 러너에서 TP4로 실행되며, 파일당 21,600초 제한이 있습니다.

• 두 개의 서버, 두 개의 클래스 — 체크포인트당 하나씩입니다. NVFP4 셀이 MXFP4 셀과 다른 로드 경로를 사용하기 때문입니다. MXFP4는 다음을 로드합니다: amd/Muse-Spark-Open-816B-A42B-Quark-MXFP4. NVFP4는 Meta 리포지토리의 -NVFP4 체크포인트를 --quantization quark_mxfp4 옵션과 함께 로드하며, 로드 시 MXFP4로 재양자화됩니다.

• 레시피 플래그 — TP4/EP4, 페이지 크기 16에서의 AITER 어텐션, MUSE_MOE_BACKEND=flydsl, Triton 드래프트 어텐션 백엔드를 사용하는 DFlash2.

• 측정 대상 — thinking을 켠 상태에서 sgl-eval을 통한 전체 분할 GSM8K, reasoning_effort=xhigh, 최대 32,768 토큰, temperature 1.0, top_p 0.95, 그리고 멀티모달 경로를 위한 MMMU 샘플 100개.

• 실제 경과 시간 — 단일 8-GPU 러너가 두 체크포인트를 차례로 처리하며, 대략 4시간이 걸립니다.

MMMU 포함은 이 PR을 읽을 가치가 있게 만드는 세부 사항이다. 저자가 말한 것처럼, HIP에서는 모델이 ROCm 구현으로 디스패치되고, 그 구현을 통과하는 이미지 경로는 그 외에는 테스트되지 않는다 — 그래서 비전 타워는 이 글이 작성된 시점에 AMD 실리콘에서 Muse Spark Open의 가장 적게 검증된 부분이다.

PR에 있는 두 숫자, 그리고 그것들이 어디서 왔는지

여기에는 AMD 하드웨어에서의 Muse Spark Open 측정 결과가 전혀 없으며, PR에서도 그렇게 밝히고 있습니다.

• GSM8K 0.93 — Day-0 PR의 B300 Muse Spark 테스트에서 통째로 가져온 것입니다. B300은 NVIDIA Blackwell Ultra입니다. 임계값, 샘플링 설정, 채점 구성은 모두 Hopper급에서 Blackwell으로의 작업에서 완전히 다른 가속기 스택으로 그대로 옮겨졌습니다.

• MMMU 0.50 — PR에서 "AMD 측정값이 전혀 뒷받침되지 않는 자리표시자"라고 설명했습니다. CI 파일치고는 이례적으로 솔직한 표현이며, 이것이 겉보기보다 더 중요한 이유를 이해할 가치가 있습니다. 임의로 만들어낸 하한선이 있는 게이트는 정확성 검사가 아니라 경고용 트립와이어입니다. 그것은 치명적인 회귀는 잡아내고, 경미한 회귀는 조용히 통과시킵니다. 실제 MI355X MMMU 점수가 0.68로 밝혀진다면, 이 게이트는 발동되기 전까지 6포인트 하락을 허용합니다.

• DFlash2 accept 길이 — 작업의 스텝 요약에 보고되며, 의도적으로 게이트되지 않습니다. 따라서 추측 디코딩 경로는 관측 가능하지만 보호되지는 않습니다. 조용히 예측을 잘 못하기 시작한 드래프트 모델은 아무도 알림을 걸어두지 않은 요약에 나타나게 됩니다.

그 마지막 요점은 이번 PR 하나를 넘어 일반화된다. 야간 정확도 게이트는 프레임워크가 출시하는 모델 코드를 측정하는 것이지, 프로바이더가 여러분에게 서빙하는 모델을 측정하는 것이 아니다. 양자화 레시피가 다르고, 페이지 크기가 다르고, 어텐션 백엔드가 다르고, 드래프트 모델이 다르면, 여러분은 그 게이트가 전제한 범위 밖에 있는 것이다.

게이트가 막혀 있고, 그 이유는 시시하다

PR은 Day-0 지원 PR이 병합될 때까지 초안으로 유지되며, 이는 일반적인 종속성입니다. 더 흥미로운 블로커는 AMD AITER 패치 세트입니다. 해당 패치들은 AITER의 한 리비전(4ad9983)에 대해 검증되었습니다, 하지만 main의 ROCm Dockerfile은 다른 리비전을 고정합니다 (2bb5491). 고정된 리비전에 대해, 04-aiter-muse-moe-flydsl.patch는 깨끗하게 적용됩니다; 03-plan-b-aiter-unified-attention-3d.patch의 AITER 절반은 적용되지 않습니다, 왜냐하면 aiter/ops/triton/attention/unified_attention.py가 패치가 만들어진 후 리팩터링되었습니다. 작성자는 composable_kernel 서브모듈을 대상으로 하는 세 번째 패치를 확인하지 않았습니다. 두 번째 패치가 적용될 때까지, 작업은 아무것도 평가하기 전에 실패합니다.

그것을 비난이 아니라 성숙도의 신호로 읽으십시오. 초대형 전문가 혼합(mixture-of-experts) 모델을 위한 AMD 서빙 경로는 업스트림에서 지속적으로 재구축되고 있으며, 벤더 lockfile이야말로 애초에 그 모델을 실행되게 만든 패치 세트를 깨뜨리는 바로 그 원인입니다.

AMD에서의 첫날은 사실 첫날이 아니었다

게이트가 실행되지 않은 것은 AMD 경로가 새롭다는 것과 같지 않다. 주변 타임라인은 출시 게시물이나 PR이 말하는 것보다 더 완전한 이야기를 들려준다.

• AMD 양자화 아티팩트는 출시보다 약 4주 앞서 나왔다 — 해당 Quark-MXFP4와 Quark-PTPC-FP8 체크포인트는 Muse Spark Open을 위한 것으로, 2026-09-18에 Hugging Face에 공개되었으며, 이는 Meta가 가중치를 발표하기 약 한 달 전이었다.

• 출시 당일 프레임워크 지원 개시 — SGLang의 [Day0] Muse Spark Open 지원 PR과 vLLM의 [Model] Muse Spark Open 지원 추가 PR이 2026-10-15에 서로 12분 이내에 열렸는데, 이것이 바로 진정한 데이 제로 협업의 모습이다.

• Meta 자체 빌드 가이드에는 AMD 레시피가 포함되어 있습니다 — vLLM을 통해 제공되는 Instinct MI355X용 FP8(Quark), 그리고 MI350X 및 MI355X용 MXFP4(Quark), 160GB 카드 4장 규모로 설계된 Intel MXFP4 경로, 오프라인 사용을 위한 INT4 Xeon 6 경로도 함께 제공됩니다.

• Meta가 AMD에 대해 구체적으로 공개한 처리량 — DFlash V2 드래프트 모델은 MI355X에서 단일 요청 시 3.7배, 16개 동시 요청 시 2.9배의 처리량을 제공하며, 단계당 6.4개의 드래프트 토큰이 수락됩니다. SGLang의 커스텀 Helion 커널은 NVIDIA와 AMD 전반에서 1.03–3.95배의 커널 수준 속도 향상과 MI350에서 3%의 엔드투엔드 성능 향상을 이룬 것으로 평가됩니다.

그러니까 이 이야기는 'AMD 지원이 늦게 도착한다'는 것이 아니다. 그것은 AMD 지원이 예행연습은 되어 있었지만 동시에 측정되지는 않은 채로 도착했다는 것이다: 아티팩트와 레시피, 그리고 속도 향상은 모두 준비되어 있었지만 정확도 수치는 그렇지 않았고, 이는 바로 야간 게이트가 메우기 위해 존재하는 격차다.

한편 독립적인 수치들이 말하는 것

AMD 정확도는 아직 결론이 나지 않았지만, 전체적인 그림은 그렇지 않다. Artificial Analysis는 Muse Spark Open을 Intelligence Index 39로 기재하는데, 이는 비교 세트의 118개 모델 중 9위이며, 비교 가능한 모델들의 중앙값은 19다 — 강력한 결과다. 주의가 필요한 부분은 가격이다: 입력 토큰 백만 개당 $1.25, 출력 토큰 백만 개당 $4.25이며, 88% 캐시 할인, $0.78의 혼합 요율, Intelligence Index 작업당 $0.84의 지출로, 해당 효율성 지표에서 40개 중 32위다. 출력 속도는 제공되지 않음으로 기재되어 있으며, 이 목록은 텍스트 및 이미지 입력을 기록하지만 벤더 자체는 텍스트, 이미지, 비디오, 오디오를 주장한다 — 판정하기보다는 문제로 제기할 가치가 있는 미해결 불일치다. 그 수치들은 독립적이며 특정 벤더에 치우치지 않는다; 위의 AMP 수치는 Meta의 것이다.

오늘 결정을 내리시는 분들을 위한 짧은 버전

당신의 연산 기반이 AMD이고 MI355X에서 Muse Spark Open을 자체 호스팅할 계획이라면, 솔직한 입장은 당신이 곧 측정이라는 것입니다. 완전한 데이 제로 서빙 경로가 있고, 가속기별 양자화 레시피가 있으며, 공개된 추측 디코딩 속도 향상도 있습니다. 그리고 이 글을 쓰는 시점 기준으로, AMD 실리콘에서 두 FP4 셀 중 어느 것에 대해서도 공개된 정확도 점수는 없습니다. 그럼에도 이 PR은 유용한 무언가를 제공합니다. 그 평가 구성은 이 모델에 대한 진지한 정확도 점검이 어떤 모습이어야 하는지를 추론 노력도와 top_p에 이르기까지 완전하고 그대로 가져다 쓸 수 있는 정의로 제시합니다. 고객을 그 앞에 세우기 전에 자신의 체크포인트에 대해 실행하고, 작성자가 약속한 실행, 리베이스된 AITER 패치, 그리고 MMMU 임계값이 측정된 점수로 대체되는지를 지켜보십시오.

4주 된 양자화 스택 서빙에 관한 실무 노트

PR에서 한 가지 메커니즘은 주목할 가치가 있습니다. NVFP4 셀은 --quantization quark_mxfp4로 로드됩니다. 즉, 소스 체크포인트는 NVFP4이고 런타임은 로드 시 이를 MXFP4로 재양자화합니다. 하나의 스위트에서 수치적으로 서로 다른 두 파이프라인을 비교하고 있으며, 바로 그렇기 때문에 각각 고유한 서버, 고유한 클래스, 고유한 통과/실패 라인을 가집니다. Meta의 자체 지침에 따르면 AMD FP8(Quark) 빌드는 GSM8K에서 BF16 정확도와 일치하지만, 그 주장은 FP8에 관한 것이지 두 FP4 셀 중 어느 것에 관한 것도 아니며, 벤더 측정값입니다. 프로덕션용 양자화를 선택하고 있다면, 누군가 그 수치를 공개할 때까지 FP4 셀을 검증되지 않은 것으로 취급하십시오.

바로 이 지점에서 라우팅 레이어가 존재 가치를 증명합니다. 호스팅된 엔드포인트를 호출하는 독자에게는 이런 불확실성이 전혀 없습니다. 하지만 자기 호스팅을 결정하는 쪽이라면, 검증되지 않은 모델의 위험을 낮추는 방법은 트래픽을 다시 되돌릴 수 있는 무언가 뒤에 그 모델로 보내는 트래픽의 일부를 소량 배분하는 것입니다. OrcaRouter는 현재 Muse Spark 1.2와 Muse Spark 1.1을 라우팅하고 Muse Spark Open은 라우팅하지 않으므로, 여기서 새 모델의 호스팅을 주장하는 것은 아닙니다. 그것은 동일한 200개 이상의 모델을 아우르는 단일 API로, 제공자의 성능이 저하될 때 자동 장애 조치와 코드 변경이 아니라 구성으로 모델과 제공자 간에 트래픽을 분할하는 라우팅 DSL을 갖추고 있습니다. 우리는 제공자의 정가를 0% 마진으로 그대로 전달하며, 이것이 신중한 병행 운영을 실제로 실행할 수 있을 만큼 저렴하게 만들어 줍니다.

Muse Spark Open 자체의 경우, 현재 이용 가능 경로는 Meta 자체 API와 여러 서드파티 추론 플랫폼을 통해 제공되며, 여기에 Hugging Face의 가중치 다운로드와 Meta가 언급한 두 클라우드 모델 카탈로그가 더해집니다. AMD에서는 신뢰할 수 있는 수치를 얻는 가장 빠른 방법은 이 PR에 있는 게이트입니다 — 누군가 그것을 실행하기만 하면 됩니다.

볼 만한 것

• Day-0 PR 랜딩 — 정확도 게이트는 그것이 랜딩되기 전에는 병합될 수 없으며, 그것이 도착하는 때가 바로 모델 자체의 코드가 스냅샷이 아니라 기준선이 되는 때이다.

• AITER 패치 리베이스 — 구체적으로는 고정된 리비전에 대해 통합 어텐션 패치의 AITER 쪽 부분입니다. 그것이 적용되기 전까지는 AMD 스위트가 모델과는 아무 관련 없는 이유로 실패 상태입니다.

• MMMU 임계값이 0.50에서 벗어나는 것 — 실제 MI355X 점수가 플레이스홀더를 대체하는 순간, 멀티모달 게이트가 제 역할을 하기 시작한다.

• 첫 번째로 공개된 실행 보고 — 작성자는 PR을 ready로 표시하기 전에 세 이미지 모두에 대한 실행 결과를 게시하겠다고 약속했습니다. 이것이 Muse Spark Open에 대한 첫 AMD 정확도 수치이며, 이는 벤더 슬라이드가 아니라 테스트 하네스에서 나올 것입니다.

• NVIDIA와 AMD의 수치가 서로 어긋나는지 여부 — MI355X에서 GSM8K가 0.93 근처를 유지하는데 MMMU는 다른 어떤 플랫폼보다도 실질적으로 낮게 나온다면, ROCm의 비전 경로가 바로 그 핵심 이야기이며, 게이트를 추가한 프레임워크 PR이 그것이 처음으로 드러난 지점이었을 것이다.

오픈 웨이트 플래그십이 실제로 보조 하드웨어에 어떻게 도달하는지 추적하는 사람이라면, 이 파일을 계속 열어 두어야 한다. 출시 게시물은 해당 모델이 AMD에서 사용 가능하다고 알려준다. 풀 리퀘스트는 2026년 10월 15일 기준으로, 아무도 그것이 그곳에서 여전히 괜찮은지 확인하지 않았다고 알려준다.