Muse Spark Open의 MW당 1억 5,000만 토큰, 분석해 보니: 그 수치의 대부분은 캐시된 입력

메타가 내놓은Muse Spark Open은 2026년 10월 15일에 공개됐고, 공개된 지 첫 8일 동안 모든 기사가 원했던 그 숫자는 빠져 있었다. Artificial Analysis는 가격을 실었고 인텔리전스 지수 39를 실었으며, 서빙 처리량은 전혀 기재하지 않았다. 10월 23일에 상황이 바뀌었다: 이 모델은 AA-AgentPerf에서 NVIDIA GB300 또는 B300 GPU 4개 기준 가속기 전력 1메가와트당 최대 약 1억 5,000만 토큰/초로, AMD의 MI355X에서는 약 7,000만 토큰/초로 나타난다. 이것은 출시 이야기가 아니다 — 가중치는 이제 9일밖에 되지 않았다. 그것은 그 숫자가 무엇을 측정하는지에 관한 이야기다. 그 지표는 출력 토큰뿐 아니라 입력 토큰도 세며, 곡선의 고동시성 구간에서는 그것이 세는 거의 모든 것이 캐시 읽기이기 때문이다.

AA-AgentPerf가 실제로 무엇을 집계하고 있는지

AA-AgentPerf는 스톱워치를 들고 하는 채팅 벤치마크가 아니다. Artificial Analysis는 이를 에이전트 워크로드를 위해 만들었으며, 핵심은 바로 그 워크로드에 있다. 이는 공개 저장소를 대상으로 실제 코딩 에이전트의 궤적을 재생하고, 세션은 최대 약 200턴까지 실행되며, 요청당 입력은 대략 5,000~131,000토큰이고 평균은 약 27,000이다. 출력은 짧고 들쭉날쭉하다. 중앙값은 약 150토큰이며, 더 긴 추론 버스트가 중간중간 끼어든다. 그 워크로드에서 서버의 역할은 대부분, 거의 변하지 않는 매우 큰 프리픽스를 캐시에 유지하고 작은 응답을 신속히 돌려주는 것이다.

헤드라인 단위는 Artificial Analysis의 데이터센터 페이지에서 가속기 전력 1메가와트당 총 서버 처리량, 즉 초당 입력 및 출력 토큰 수로 정의됩니다. 전력은 벽면 콘센트나 정격 TDP가 아니라 GPU, 다이 및 HBM에서 측정되므로, 여기서의 "메가와트"는 시설의 전기 요금이 아닙니다. 동시성도 고정되어 있지 않습니다. 하네스는 부하를 점진적으로 높인 다음, 상호작용성 목표를 깨뜨리지 않으면서 시스템이 유지하는 최고 동시 에이전트 수를 이진 탐색하며, 모든 에이전트가 최소 30초 동안 활성 상태였던 정상 상태 구간 전반에 걸쳐 p25 출력 속도와 p95 첫 토큰까지의 시간으로 점수화됩니다.

즉 150M은 순항 속도가 아니라 상한선이라는 뜻이다. 이는 에이전트당 속도가 목표가 허용하는 최저치에 머무는 동시성 수준에서 확보되는 처리량이다. 더 민첩한 에이전트를 위해 튜닝한 동일한 하드웨어에서는 훨씬 작은 숫자가 나오며, 어떤 발표 슬라이드에도 그 숫자는 적혀 있지 않다.

게시된 수치 그대로

• 처리량 상한 — GB300 또는 B300 GPU 4개에서 MW당 최대 약 1억 5,000만 토큰/s, 10월 23일 Artificial Analysis 보고.

• AMD — MI355X에서 MW당 초당 약 7,000만 토큰으로, 동일 워크로드에서 NVIDIA 결과의 대략 절반입니다.

• NVIDIA 내부 — 같은 보고서에 따르면, 출력 속도가 높아지자 GB300이 B300보다 우위를 보였다.

• 호스팅 속도 — 해당 모델의 목록 페이지 기준 출력 142.9토큰/초, 첫 토큰까지 0.76초이며, 이는 비교 가능한 오픈 웨이트 모델의 중앙값 75.4토큰/초와 대비됩니다.

• 지능 — AA Intelligence Index 39, 비슷한 규모의 오픈 웨이트 모델 중앙값 19와 비교됩니다.

• 가격 — 입력 토큰 100만 개당 $1.25, 출력 토큰 100만 개당 $4.25이며, 88% 캐시 할인, $0.78의 혼합 요율, Index 작업당 $0.84의 지출이 적용됩니다.

이번 주에 새로 추가된 것은 처음 세 개뿐입니다. 나머지는 출시 때부터 페이지에 있었던 항목으로, 처리량 수치와는 다른 방향을 가리킵니다. 캐시된 토큰당으로는 저렴하지만 생성된 토큰당으로는 비쌉니다. 이 두 사실을 나란히 놓고 볼 때 유용한 해석이 나옵니다.

교차 확인: 동일한 워크로드에서의 43개 운영 지점

SGLang 쿡북 풀 리퀘스트는 10월 22일 병합되어, 리더보드 업데이트 하루 전에 동일한 AA AgentPerf 코딩 에이전트 시나리오에서 측정된 5개의 GB300 배포를 게시했다. 이 5개 지점은 43개의 측정된 구성에서 선정되었으며, 지연 시간-처리량 프런티어의 양쪽 끝을 유지하면서 전체 면적의 81%를 커버한다. 이들은 Muse Spark Open의 서빙 곡선이 어떤 모습인지 보여주는 가장 명확한 공개 자료이며, 해당 PR은 자체 스택을 시연하는 프레임워크 프로젝트이므로 중립적인 사례가 아니라 튜닝된 최선의 사례로 읽어야 한다.

• 동시성 1, 노드 2개, TP8·EP8 — 단일 사용자 기준 초당 출력 토큰 485.8개, GPU당 총 초당 토큰 2,514개, p95 첫 토큰까지의 시간 0.10초.

• 동시성 16, GPU 4개, TP4·EP4 — 사용자당 208.7 tokens/s, GPU당 총 49,646 tokens/s.

• 동시성 64 — 사용자당 97.1 토큰/초, GPU당 총 114,342 토큰/초.

• HiCache를 사용한 동시성 160 — 사용자당 40.9 tokens/s, GPU당 총 185,382 tokens/s이며, 이 중 1,237개가 생성된 출력입니다.

• 캐시 — 5회 실행 전반에 걸쳐 프리픽스 적중률이 96.8%에서 97.6%에 달했으며, 바로 이것이 총 토큰 수치가 그토록 크게 나오는 이유입니다.

마지막 글머리 기호가 전체 논지를 한 줄로 압축합니다. 곡선의 정점에서 생성된 출력은 지표가 세는 토큰의 약 0.7%입니다. 나머지 99.3%는 입력이며, 그 입력의 대략 97%는 캐시에서 제공되었습니다. MW당 150M이라는 헤드라인과 사용자당 40.9 tokens/s라는 수치는 같은 실행을 양 끝에서 읽은 것입니다. 둘 다 틀린 것은 아니지만 서로 다른 질문에 답하고 있으며, 두 번째가 바로 에이전트 제품이 실제로 가진 질문입니다.

산술은 최소한 일관되며, 이는 그 수치에 유리하게 작용한다. GB300 4대는 약 5~6킬로와트의 가속기 전력을 끌어다 쓴다. MW당 150M tokens/s는 노드 기준 대략 초당 750,000~900,000 토큰, 즉 GPU당 190,000~225,000 토큰을 의미한다. SGLang의 최고점은 GPU당 총 185,382 tokens/s이다. 같은 자릿수, 같은 형태다. 그것은 그들의 측정치에 대한 우리의 산술이지만, 그런 종류의 일치는 헤드라인 수치가 다른 실행에서 짜깁기된 것이 아님을 알려준다.

의사결정을 바꾸는 것은 바로 AMD 수치입니다.

메가와트당 처리량이 절반이라는 것은 벤더 간의 반올림 차이가 아닙니다. 그것은 두 가지 배포 계획의 차이이며, 동일 모델을 FP4로 실행할 때 SemiAnalysis가 InferenceX에 게시하는 비용 곡선과 일치합니다. 사용자당 128 tokens/s에서 B300은 백만 토큰당 $0.019로, MI355X는 $0.024입니다. 사용자당 191 tokens/s에서는 $0.027 대 $0.044입니다. 254에서는 $0.046 대 $0.076입니다. 이는 측정된 실행에서 얻은 보간된 차트 포인트이며, B300 칩-시간당 $2.26, MI355X 칩-시간당 $1.50로 가격이 책정됩니다.

AMD의 칩은 해당 곡선의 모든 지점에서 시간당 비용은 더 저렴하고 토큰당 비용은 더 비싸며, 상호작용성을 더 많이 요구할수록 그 격차는 커집니다. 이는 한 플랫폼의 전력 효율이 다른 쪽의 절반일 때 예상되는 형태이며, 70M 대 150M 구도가 150M 단독보다 더 많은 주목을 받아야 하는 이유이기도 합니다.

두 가지 주의할 점이 있는데, 둘 다 우리가 아니라 평가자들로부터 나온 것입니다. AA-AgentPerf가 6월에 출시됐을 때, Artificial Analysis는 MI355X 구성이 AMD가 제출한 것이 아니라 자체적으로 구축한 것이라는 점, 그리고 자체 튜닝한 시스템에서는 여유(headroom)가 더 클 수 있다는 점을 지적했습니다. 따라서 AMD 수치는 어떤 의미에서 하한선이지만, NVIDIA 수치는 그렇지 않습니다. 또한 처리량 수치는 정확도 결과가 아닙니다. 이 모델의 ROCm 경로를 대상으로 하는 MI35x 정확도 게이트는 아직 하드웨어에서 실행되지 않았으며, 두 개의 합격/불합격 기준 중 하나는 AMD 측 측정값이 없는 자리표시자로 작성되어 있었습니다. 이번 주 현재, 효율성에 대한 질문에는 답이 나왔습니다. 정확성에 대한 질문에는 아직 답이 없습니다.

셀프 호스팅과 임대 비용 합계에 미치는 영향

Muse Spark Open은 입력 토큰 100만 개당 $1.25, 출력 토큰 100만 개당 $4.25로 책정되어 있으며, 88% 캐시 할인을 적용하면 7:2:1 혼합 워크로드 기준 100만 개당 $0.78이 됩니다. 자체 호스팅 배포가 넘어야 할 수치가 바로 이것이며, 이번 주 대부분의 인터넷이 잘못 짚을 지점도 바로 이 비교입니다.

InferenceX가 B300에서 사용자당 128 tokens/s일 때 백만 토큰당 $0.019라는 수치를 $0.78 혼합 단가 옆에 놓으면 셀프 호스팅이 40배 더 저렴해 보인다. 그렇지 않다. $0.019는 모든 토큰에 걸쳐 책정된 것이고, 에이전트 트레이스에서는 그중 거의 전부가 캐시된 입력이다. $0.78은 입력과 출력을 혼합한 값인데, 그 비율은 AgentPerf 트레이스보다 출력에 훨씬 더 큰 가중치를 준다. 어떤 배수든 믿기 전에 자신의 워크로드 입력과 출력을 따로 가격 책정하라 — 그리고 공개된 토큰당 하드웨어 비용은 보통 유휴 시간, 운영 인력, 피크를 위해 확보해 둔 용량을 제외한다는 점을 유의하라.

솔직히 말하면, Muse Spark Open을 셀프 호스팅하는 것이 이길 수 있으며, 그것이 이기는 워크로드는 AgentPerf가 테스트하는 것과 거의 정확히 같은 형태입니다 — 길고 안정적이며 캐시 가능한 프리픽스, 짧은 생성 답변, 높은 동시성, 계속 바쁘게 유지되는 노드. 짧은 프롬프트와 긴 답변을 가진 채팅 제품은 거의 정반대이며, 백만 출력 토큰당 $4.25의 임대 가격은 청구서에서 아플 부분이 아닙니다.

• 가중치 — BF16 체크포인트는 약 1.65TB이고, NVFP4 빌드는 대략 537GB입니다.

• 최소한의 합당한 노드 — Blackwell Ultra GPU 4개, 새로운 처리량 수치가 나온 구성입니다. Meta는 또한 두 대의 M5 Ultra Mac Studio에서 로컬로 모델을 실행하는 시연도 선보였는데, 이는 성격이 다릅니다. 즉 워크스테이션 시연일 뿐, 서빙 계획은 아닙니다.

• 라이선스 — Muse 모델 라이선스입니다. 대부분의 사용에는 무료이지만, 연간 총매출이 2,000만 달러를 초과하는 기업이 이를 서비스로 제공하려면 Meta와 계약을 체결해야 하며, 이를 기반으로 만든 제품에는 "Built with Muse Spark Open" 표시를 반드시 포함해야 합니다.

어디에서 실행할지, 그리고 라우터가 무엇을 바꾸는지

OrcaRouter는 Muse Spark 1.1 및 Muse Spark 1.2를 라우팅하며 오픈 체크포인트는 제공하지 않으므로, 여기에서 이를 호스팅한다고 주장하는 것은 아닙니다. 알아둘 만한 점은 호스팅된 체크포인트의 가격이 오픈 모델 자체의 API 가격과 동일한 $1.25 및 $4.25로 표시된다는 것입니다. 따라서 오픈 가중치는 이 모델을 더 저렴하게 호출하는 방법이 아니라 서빙 경로를 직접 소유하는 방법입니다. 이를 직접 소유할 계획이 없다면 선택지는 호스팅된 체크포인트들 중 하나이며, 그 선택은 마이그레이션이 아니라 구성 변경입니다.

자체 운영을 하려는 것이라면, 워크로드가 AgentPerf 트레이스처럼 동작하는지 알아내는 현명한 방법은 전환하는 대신 병렬로 실행하는 것입니다. 자체 스택에는 호스팅된 체크포인트를 폴백으로 유지하고, 신규 배포에 트래픽 일부를 배정한 뒤 수치가 기대에 못 미치면 다시 되돌리십시오. 그 비교의 호스팅 구간에서 OrcaRouter는 공급자의 정가를 0% 마크업으로 그대로 전달하므로, 귀하의 하드웨어와의 벤치마크는 저희 쪽에서 마크업되지 않습니다. 자동 페일오버와 라우팅 DSL 덕분에 트래픽 이동이 코드 변경이 아니라 구성 변경이 되며, 인프라를 비교하는 대신 여러 모델의 답변을 패널로 비교하고 싶다면 모델 퓨전도 있습니다.

무엇을 볼까요?

• 메가와트당 에이전트 수 — AA-AgentPerf의 6월 출시 결과는 바로 이 단위로 발표되었으며, GB300 NVL72에서 DeepSeek V4 Pro를 20 tokens/s 등급으로 구동했을 때 MW당 약 91,500개의 에이전트였습니다. Muse Spark Open에 대해서도 이에 상응하는 에이전트 수가 나와야 다른 모델들과 견줄 수 있는 순위에 오를 수 있으며, 그저 설명만 가능한 수준에 머물지 않을 것입니다.

• 메타의 10월 26일 서빙 심층 분석 — 벤더가 보고한 내용이므로 공개될 때는 그렇게 표기해야 하지만, 주목할 만한 유용한 세부 사항은 그 효율 수치가 어떤 동시성을 전제로 하느냐이다.

• AMD가 제출한 MI355X 구성 — 절반 처리량 결과는 Artificial Analysis가 자체적으로 구축한 구성과 비교해 측정된 것이며, AA는 그 구성의 여유분이 더 클 수 있다고 밝힌 바 있습니다.

• 실제 수치와 함께 자리 잡은 MI35x 정확도 게이트 — 정확성 검증이 없는 효율성은 배포 결정의 절반에 불과하며, 그 게이트에서 플레이스홀더로 남은 나머지 절반은 여전히 플레이스홀더입니다.

이번 주에 유용한 읽기는 좁고 구체적이다. Muse Spark Open은 현재 공개된 근거에 따르면, 캐시 가능한 컨텍스트와 함께 높은 동시성에서 Blackwell에서 서빙하기에 유난히 효율적인 모델이며, 동일한 작업에서 MI355X보다 그곳에서 약 두 배 더 효율적이고, 토큰 단위로 임대할 때는 프리미엄 모델로 가격이 책정된다. 그 주장 하나하나에는 이를 뒷받침하는 숫자가 있다. 그러나 그중 어느 것도 사용자가 체감하는 방식으로 모델이 빠르다고 말하지 않는다 — 그 숫자는 헤드라인이 나오는 동시성 조건에서 초당 40.9토큰이다.