MiniMax M3.1 Flash, 이제 Tenstorrent에서 서비스 시작: Tensix에서 428B 모델이 실제로 증명하는 것

Tenstorrent의 뉴스룸 게시글은 2026년 10월 22일자이며, "또 하나의 클라우드가 또 하나의 모델을 추가했다"보다 더 좁고 더 흥미로운 이야기를 전합니다: MiniMax M3.1 Flash는 MiniMax가 10월 19일에 공개한 4,280억 파라미터 규모의 전문가 혼합(mixture-of-experts) 모델로, 이제 Tenstorrent Cloud에서 사용할 수 있으며 prefill과 decode 모두 Blackhole Galaxy 시스템에서 실행됩니다. 해당 서빙 경로 어디에도 NVIDIA 가속기는 등장하지 않습니다. Tenstorrent가 공개한 것은 아키텍처, 양자화 방식, 튜닝 방법론입니다. 공개하지 않은 것은 자사 서빙의 처리량 수치, 지연 시간 수치, 가격 중 어느 하나입니다. 이 누락이 이것이 이정표인지 데모인지를 결정하는 부분이며, 모델의 벤치마크 표보다 더 주목할 가치가 있습니다.

Tenstorrent는 Jim Keller가 이끄는 칩 회사로, AI 컴퓨팅이 단일 벤더 스택이 되어서는 안 된다는 것이 늘 그 회사의 주장이었다. 이번 발표 전까지 그 주장은 최상위 영역에서 신뢰성 문제를 안고 있었다. 가장 큰 오픈 모델들은 일상적으로 NVIDIA 하드웨어에서 서비스되었고, AMD가 대안이었으며, 그 밖의 모든 것은 소형 모델 실험에 국한되었다. 428B 파라미터 전문가 혼합(MoE) 모델이 Tensix 실리콘에서 프리필과 디코드를 실행하고, 독점 패브릭 대신 이더넷으로 연결된 것은 이 정도 규모와 최신성을 갖춘 모델로 그 주장을 실현한 첫 배포 사례다.

Tenstorrent가 공식적으로 밝힌 것

이 발표는 서빙 토폴로지에 대해서는 구체적이지만, 구매자가 활용할 모든 수치에 대해서는 모호하다. 먼저 구체적인 내용부터 살펴보자. 그것들은 진짜 엔지니어링 주장이기 때문이다:

• 가용성 — Tenstorrent Cloud, console.tenstorrent.com에서 Playground를 통해 또는 에이전트 하네스에 연결하여 이용할 수 있습니다.

• Serving path — 프리필과 디코드 모두 Tenstorrent Galaxy, 구체적으로는 Blackhole Galaxy 슈퍼클러스터에서 실행됩니다. 시스템은 워크로드별로 분할되어 한 풀이 프리필을, 다른 풀이 디코드를 처리하며, 작업은 직접적이고 지연이 낮은 이더넷 링크를 통해 두 풀 사이를 이동합니다.

• Memory — 각 Blackhole Galaxy에는 1TB의 DRAM과 수 테라바이트의 SSD가 탑재됩니다. 가중치와 KV 캐시는 DRAM에 상주하며, SSD는 오프로드된 KV 캐시를 보관하므로 에이전트 턴이 다시 돌아올 때 컨텍스트를 재계산할 필요가 없습니다.

• 양자화 — MLP 가중치, 어텐션 가중치, 인덱서 및 공유 전문가는 MXFP8로 저장되며, 라우팅된 전문가는 NVFP4로 저장됩니다.

• 모델 구조 — 희소 어텐션이 전역 그룹화된 쿼리 어텐션을 대체했으며, 밀집 MLP는 처음 세 개 레이어에만 등장합니다.

• 튜닝 데이터 — Tenstorrent는 SemiAnalysis의 AgentX 코딩 에이전트 트레이스에서 배포를 튜닝했다고 밝혔습니다. 이는 짧은 채팅 벤치마크가 아니라 실제 멀티턴 세션과 서브에이전트 팬아웃을 의미합니다.

• 제시된 가격 — 입력 토큰 100만 개당 0.15달러, 출력 토큰 100만 개당 0.60달러, 캐시된 입력 토큰 100만 개당 0.015달러입니다. 이는 MiniMax의 정가이며, 해당 발표에서는 Tenstorrent의 별도 요금을 공개하지 않았으므로 이 모델을 여기서 실행하는 것이 GPU에서 실행하는 것보다 비용이 더 드는지 덜 드는지는 아직 알 수 없습니다.

가중치가 나왔기 때문에 배포가 존재한다

이 발표의 배경에 있는 단 하나의 가장 중요한 사실은 실리콘이 아니다. 바로 MiniMax가 가중치를 아예 공개했다는 점이다. 252.4 GB 규모의 저장소는 10월 23일 Hugging Face에 올라왔고, Tenstorrent의 글은 하루 전 날짜로 되어 있다 — 이는 해당 포팅이 공개 다운로드가 아니라 파트너 접근 권한을 통해 구축되었음을 시사한다. 제3의 하드웨어 벤더는 입수할 수 없는 모델을 포팅할 수 없으며, Tenstorrent는 자사 체크포인트를 서비스하는 MiniMax의 자회사가 아니다. 이것이 바로 오픈 가중치가 하드웨어 경쟁을 만들어내는 메커니즘이다. 체크포인트를 공개하는 모든 연구소는 의향이 있는 모든 칩 벤더를 잠재적 유통 채널로 바꾸고, 그 모델을 지원하는 모든 칩 벤더는 다시 그 연구소의 가중치를 더욱 가치 있게 만든다.

{{1}}같은 논리로, 폐쇄형 프런티어 모델이 이런 종류의 발표에 등장하지 않는 이유가 설명됩니다.{{/1}} {{2}}공급업체는 독점 모델용 API 엔드포인트를 임대해 줄 수 있지만, 가중치를 자체 숫자 형식으로 양자화하거나, 모델의 희소 어텐션 패턴에 맞춰 커널을 튜닝하거나, 자체 패브릭 전반에 프리필과 디코드를 분할할 수는 없습니다.{{/2}} {{3}}이식이 제품이며, 이식에는 파일이 필요합니다.{{/3}}

그래서 이 이야기에서 'open'은 서로 다른 두 가지로 나누어야 한다. Tenstorrent의 소프트웨어 스택인 TT-Metalium, TT-NN, TT-Forge는 오픈 소스이며, 그렇기 때문에 제3자 포팅이 실행 가능하다. MiniMax의 가중치는 오픈 웨이트이지 오픈 소스가 아니다. 저장소는 48개의 safetensors 샤드에 걸쳐 252.4GB에 2.3GB의 추측 디코딩 드래프터를 더한 규모이며, MiniMax Community Licence로 배포된다. 이 라이선스는 상업적 배포 시 출처 표시를 요구하고, 연 매출이 $20 million을 넘으면 사전 서면 허가를 요구한다. 서로 다른 두 가지 open, 하나의 서빙 경로.

서빙 경로가 둘로 나뉜 이유

prefill/decode 분리는 Tenstorrent만의 특이한 방식이 아니라, 에이전트 워크로드가 만들어내는 문제에 대한 표준적인 해답입니다. Prefill은 연산 바운드이며 프롬프트마다 한 번씩 발생합니다. Decode는 메모리 대역폭 바운드이며, 답변이 실행되는 동안 생성되는 토큰마다 한 번씩 발생합니다. 이 둘을 같은 장치에 배치하면, 스트림 중간에 도착한 긴 프롬프트가 현재 디코딩 중인 모든 사용자로부터 연산을 빼앗습니다. 이는 바로 에이전트 제품이 고장 난 것처럼 느껴지게 만드는 정체 현상입니다.

풀을 분리하면 각 측이 자체 병목에 맞게 프로비저닝될 수 있다. Tenstorrent의 설명은 프리필 풀이 높은 장치 간 대역폭을 사용해 프롬프트를 여러 칩에 분산시키고, 디코드 풀은 가중치와 KV 캐시를 DRAM에 유지하며 단계를 독립적으로 실행한다고 명확히 밝힌다. 이더넷 링크가 핸드오프를 전달한다.

이더넷은 흥미로운 선택이다. 독자적인 스케일업 패브릭은 범용 이더넷보다 더 많은 대역폭과 더 낮은 지연 시간을 제공하며, AI 컴퓨팅에서 NVIDIA의 입지는 부분적으로 그 패브릭을 소유한 데 기반한다. Tenstorrent는 이 워크로드, 즉 230억 개의 활성 파라미터를 가진 전문가 혼합(MoE) 모델이면서 이미 프리필과 디코드를 분리하는 서빙 계획에서는 표준 이더넷으로 충분하고, 인터커넥트가 두 번째 종속이 아니기 때문에 스케일아웃 경제성이 더 낫다고 주장한다. 그것은 그럴듯한 주장이지 입증된 것은 아니다. 여러 노드 배포 전반에서 달러당 초당 토큰 수를 누군가 공개하면 입증되겠지만, 아직 아무도 하지 않았다.

428B를 하나의 랙에 담아내는 산술

이 모델은 총 4280억 개의 파라미터를 가지며 토큰당 230억 개를 활성화합니다. BF16 기준으로는 KV 캐시나 런타임 오버헤드가 전혀 없는 상태에서 약 856GB입니다. Blackhole Galaxy 한 대는 각각 32GB의 GDDR6를 갖춘 32개의 Blackhole ASIC으로 구성됩니다 — Tenstorrent가 제시하는 1TB입니다 — 따라서 BF16 복사본은 시스템 메모리의 약 84%를 차지하고 나머지 모든 용도에 약 170GB를 남깁니다. 100만 토큰 컨텍스트에서 여러 에이전트 턴에 걸쳐 유지되어야 하는 KV 캐시를 고려하면, 이는 넉넉한 여유가 아닙니다.

공개된 다운로드 용량은 252.4GB입니다. 이 수치가 배포를 성립시키는 핵심입니다. Galaxy의 1테라바이트 중 약 770GB를 KV 캐시, 활성화, 추측 디코딩 드래프터용으로 남겨 두기 때문입니다. 이런 여유를 만들어 주는 것은 혼합 정밀도 방식입니다. 공유 및 어텐션 측 가중치에는 MXFP8을, 라우팅된 전문가에는 NVFP4를 사용하는데, 이 전문가가 파라미터의 대부분을 차지하면서도 드물게만 건드려지는 부분입니다. 처음 세 개 층에만 한정된 희소 어텐션과 덴스 MLP는 메모리 트래픽을 더욱 줄여 줍니다.

이 계산은 공개된 수치를 바탕으로 한 우리 자체 계산이며 Tenstorrent의 주장이 아닙니다. 하지만 이는 발표의 윤곽을 설명해 줍니다. 즉, 이 이식이 신뢰할 만한 이유는 바로 4비트 라우팅 전문가(experts)가 856 GB 모델을 252 GB 파일로 바꿔, 32칩 시스템에 들어가고도 긴 컨텍스트를 위한 여유 공간이 남기 때문입니다.

Tenstorrent가 공개하지 않은 것

Tenstorrent 호스팅 엔드포인트에는 초당 토큰 수 수치도, 첫 토큰까지의 시간 수치도, 동시성 수치도, 가격도 없습니다. 전제 전체가 비NVIDIA 실리콘이 프런티어급 오픈 모델을 서비스할 수 있다는 것인 배포에서, 논쟁을 종결지을 수 있는 숫자는 바로 이 네 가지입니다. 이것들이 없다는 것은 해당 배포가 느리다는 증거가 아닙니다. 그것은 이번 발표가 벤치마크 결과가 아니라 역량 선언이라는 증거이며, 독자들은 그에 맞게 받아들여야 합니다.

MiniMax M3.1 Flash에 대한 유일한 공개 속도 수치는 다른 배포를 설명한다. MiniMax는 자체 API에서 중앙값이 초당 출력 토큰 170개를 넘고 최대치가 200개를 넘는다고 주장한다. Artificial Analysis는 Tenstorrent의 하드웨어가 아니라 호스팅 API를 측정해 초당 출력 토큰 95.6개와 첫 토큰까지 1.48초를 기록했다. 이는 공급업체의 주장과 다른 서빙 경로에서의 독립 측정 사이에 약 1.8배 차이가 있다는 뜻이며, "모델이 빠르다"와 "이 배포가 빠르다"는 별개의 주장이라는 점을 상기시키는 유용한 사례다.

Artificial Analysis가 이 모델에 대해 실제로 규명하는 바는 헤드라인 벤치마크보다 Tenstorrent의 사용 사례에 더 관련이 있다. M3.1 Flash는 Intelligence Index에서 43점을 기록하고, 완료된 인덱스 작업당 약 $0.22의 비용이 들며, AA-Omniscience에서 16점을 기록하는데 환각률은 93%다. 즉, 답을 모를 때 거절하는 대신 보통 틀린 답을 내놓았다는 뜻이다. Tenstorrent는 이 배포를 에이전트 트레이스로 튜닝했다. 에이전트 루프는 확신에 찬 오답이 가장 큰 비용을 초래하는 바로 그 지점이다. 다음 도구 호출이 그 오답을 그대로 물려받기 때문이다. 빠르고 저렴한 서빙 경로가 이를 해결하지는 못한다. 오히려 검증 계층을 더 중요하게 만든다.

추론을 구매하는 경우 이것을 어떻게 해야 할까요?

대부분의 팀에게 이번 주 실용적인 답은 "테스트해 보되, 그쪽으로 이전하지는 마세요"입니다. Playground는 모델의 동작이 여러분의 워크로드에 적합한지 가장 저렴하게 확인하는 방법이며, Tenstorrent의 에이전트 하네스 통합은 살펴볼 만한 흥미로운 부분입니다. 이 배포는 단일 턴 채팅보다 멀티턴 도구 사용에 맞춰 튜닝되었기 때문입니다. 자체 트레이스를 가져오세요. SemiAnalysis AgentX 튜닝은 Tenstorrent가 무엇에 최적화했는지 알려주지만, 여러분의 프롬프트가 어떻게 동작할지는 알려주지 않습니다.

두 가지가 마련되기 전까지는 그것에 프로덕션 경로를 두지 마세요. Tenstorrent에서 공개한 처리량 및 지연 시간 수치, 그리고 작업별 품질에 대한 자체 측정입니다. 첫 번째는 벤더가 답을 내놓아야 해결되는 문제입니다. 두 번째는 오직 당신만이 답할 수 있습니다.

이 부분에서 OrcaRouter가 어디에 위치하는지에 대해 솔직하게 한 말씀 드리겠습니다. M3.1 Flash는 저희 카탈로그에 없습니다. 저희 쪽 MiniMax 라인은 MiniMax-M3에서 끝납니다. 따라서 현재 새 모델을 호출할 수 있는 방법은 Tenstorrent Cloud와 MiniMax 자체 API이며, 저희는 그중 하나가 아닙니다. OrcaRouter가 제공하는 것은 도입을 결정하기 전에 필요한 비교 기준입니다. 즉, MiniMax-M3와 200개가 넘는 다른 모델을 하나의 키로, 공급자 정가에 0% 마크업으로 이용할 수 있으므로, "새 모델이 내가 이미 쓰는 모델보다 내 워크로드에 실제로 더 나은가"라는 질문에 두 번째 계약과 두 번째 청구 관계 없이 답할 수 있습니다.

포트를 가격으로 바꿔 줄 숫자

Tenstorrent는 실제로 무언가를 입증했습니다. 428B 규모의 전문가 혼합(mixture-of-experts) 모델을 혼합 4/8비트 형식으로 양자화해, 이더넷을 통해 Tensix 실리콘에서 추론의 양쪽 절반을 실행했으며, 오픈소스 도구와 공개된 튜닝 방법론을 갖추었습니다. 이는 이식성 증명이며, 이 모델 규모에서 CUDA를 거치지 않는 첫 번째 사례입니다.

그것은 해당 포트가 GPU 경로보다 더 저렴하거나, 더 빠르거나, 더 안정적이라는 점을 입증하지 못했다. Galaxy는 6U, 32-ASIC, 약 23-PFLOPS의 BlockFP8 시스템으로, 2026년 4월 일반 제공되기 시작했을 때 $110,000에 책정되었으며, 여기에 이 배포에서 사용하는 슈퍼클러스터 네트워킹 비용은 포함되지 않는다. 해당 하드웨어가 이 모델을 실행할 때 H100이나 MI300X 클러스터보다 백만 토큰당 더 나은 비용을 내는지가 바로 전체 상업적 질문인데, 발표는 그 부분을 비워 두었다.

따라서 다음에 주목할 것은 같은 하드웨어에서 실행되는 또 다른 모델이 아니다. 그것은 Tenstorrent의 초당 토큰 수와 요금표이며, 그 뒤를 이어 두 번째 실리콘 벤더가 동일한 포팅을 수행하는 것이다. 그것들이 존재하게 되면 오픈 웨이트는 진정한 하드웨어 경쟁으로 전환되었을 것이다. 그때까지 정확한 설명은 상업적 절반이 아직 공개되지 않은, 신뢰할 만한 아키텍처 시연이다.