MiniMax M3.1 Flash hiện đã được phục vụ trên Tenstorrent: Một mô hình 428B trên Tensix thực sự chứng minh được điều gì

Bài đăng trên newsroom của Tenstorrent đề ngày 22 tháng 10 năm 2026, và nội dung của nó hẹp hơn — nhưng cũng thú vị hơn — so với kiểu "lại một đám mây nữa thêm vào một mô hình nữa": MiniMax M3.1 Flash, mô hình mixture-of-experts 428 tỷ tham số mà MiniMax phát hành ngày 19 tháng 10, nay đã có mặt trên Tenstorrent Cloud với cả prefill lẫn decode chạy trên các hệ thống Blackhole Galaxy. Không có bất kỳ bộ tăng tốc NVIDIA nào xuất hiện ở bất cứ đâu trong đường phục vụ đó. Điều Tenstorrent công bố là một kiến trúc, một sơ đồ lượng tử hóa và một phương pháp luận tinh chỉnh. Điều họ không công bố là một con số thông lượng, một con số độ trễ, hay một mức giá cho dịch vụ phục vụ của chính mình. Sự thiếu vắng đó chính là phần quyết định xem đây là một cột mốc hay chỉ là một bản demo, và nó đáng được chú ý hơn cả bảng điểm chuẩn của mô hình.

Tenstorrent là công ty chip do Jim Keller lãnh đạo, và luận điểm bán hàng của họ từ trước đến nay luôn là điện toán AI không nên là một ngăn xếp chỉ thuộc về một nhà cung cấp. Cho đến thông báo này, luận điểm đó vẫn có vấn đề về độ tin cậy ở phân khúc cao cấp: những mô hình mở lớn nhất thường được chạy trên phần cứng NVIDIA, với AMD là lựa chọn thay thế, còn mọi thứ khác bị giới hạn trong các thí nghiệm mô hình nhỏ. Một mô hình hỗn hợp chuyên gia 428 tỷ tham số chạy prefill và decode trên silicon Tensix, được kết nối bằng Ethernet thay vì fabric độc quyền, là triển khai đầu tiên hiện thực hóa luận điểm đó với một mô hình có quy mô và độ mới như vậy.

Những gì Tenstorrent đã tuyên bố chính thức

Thông báo nêu cụ thể về cấu trúc liên kết phục vụ và mơ hồ về mọi con số mà người mua sẽ dùng. Đi vào phần cụ thể trước, vì đó là những tuyên bố kỹ thuật thực sự:

• Tính khả dụng — Tenstorrent Cloud, tại console.tenstorrent.com, thông qua Playground hoặc kết nối với một agent harness.

• Đường dẫn phục vụ — cả prefill và decode đều chạy trên Tenstorrent Galaxy, cụ thể là một siêu cụm của các Blackhole Galaxy. Các hệ thống được chia theo khối lượng công việc: một nhóm xử lý prefill, nhóm khác xử lý decode, và công việc di chuyển giữa chúng qua các liên kết Ethernet trực tiếp, độ trễ thấp.

• Bộ nhớ — mỗi Blackhole Galaxy sở hữu 1 TB DRAM cùng vài terabyte SSD. Trọng số và bộ nhớ đệm KV (KV cache) thường trú trong DRAM; SSD lưu phần KV cache được đẩy ra ngoài, nhờ đó khi một lượt của agent quay lại, nó không phải tính toán lại ngữ cảnh.

• Lượng tử hóa — trọng số MLP, trọng số attention, bộ chỉ mục và chuyên gia chia sẻ được lưu ở MXFP8; các chuyên gia được định tuyến được lưu ở NVFP4.

• Hình dạng mô hình — attention thưa thay thế attention truy vấn nhóm toàn cục, và MLP dày đặc chỉ xuất hiện ở ba lớp đầu tiên.

• Dữ liệu tinh chỉnh — Tenstorrent cho biết họ đã tinh chỉnh việc triển khai dựa trên các trace coding-agent AgentX của SemiAnalysis, tức là các phiên đa lượt và phân nhánh subagent thực tế, chứ không phải các benchmark trò chuyện ngắn.

• Giá được báo — 0,15 USD cho mỗi triệu token đầu vào, 0,60 USD cho mỗi triệu token đầu ra, 0,015 USD cho mỗi triệu token đầu vào được lưu trong bộ nhớ đệm. Đó là giá niêm yết của MiniMax; thông báo không công bố mức giá riêng cho Tenstorrent, nên hiện chưa thể nói liệu chạy mô hình tại đây tốn kém hơn hay ít hơn so với chạy trên GPU.

Bản triển khai tồn tại vì các trọng số đã được phát hành

Sự thật quan trọng nhất đằng sau thông báo này không phải là phần silicon. Mà là việc MiniMax đã công bố trọng số. Kho lưu trữ 252.4 GB đã được đưa lên Hugging Face vào ngày 23 tháng 10, còn bài đăng của Tenstorrent được ghi ngày sớm hơn một ngày — điều này gợi ý rằng bản port được xây dựng bằng quyền truy cập dành cho đối tác thay vì từ một bản tải xuống công khai. Một nhà cung cấp phần cứng bên thứ ba không thể port một mô hình mà mình không có được, và Tenstorrent không phải là công ty con của MiniMax đang tự phân phối checkpoint của chính mình. Đây chính là cơ chế mà nhờ đó trọng số mở tạo ra cạnh tranh phần cứng: mỗi phòng thí nghiệm công bố một checkpoint đều biến mọi nhà cung cấp chip sẵn lòng thành một kênh phân phối tiềm năng, và mỗi nhà cung cấp chip hỗ trợ mô hình lại càng làm cho trọng số của phòng thí nghiệm trở nên có giá trị hơn.

Cùng logic đó lý giải vì sao các mô hình tiên phong đóng không xuất hiện trong kiểu công bố này. Một nhà cung cấp có thể cho bạn thuê endpoint API cho một mô hình độc quyền, nhưng không thể lượng tử hóa trọng số sang các định dạng số riêng của mình, tinh chỉnh kernel của mình theo kiểu sparse-attention của mô hình, hoặc tách prefill và decode trên fabric riêng của mình. Công đoạn port chính là sản phẩm, và công đoạn port đòi hỏi phải có tệp.

Đó cũng là lý do vì sao chữ “mở” trong câu chuyện này cần được tách thành hai thứ khác nhau. Ngăn xếp phần mềm của Tenstorrent — TT-Metalium, TT-NN, TT-Forge — là mã nguồn mở, và chính điều đó khiến việc chuyển cổng bởi bên thứ ba trở nên khả thi. Trọng số của MiniMax là trọng số mở, không phải mã nguồn mở. Kho lưu trữ có dung lượng 252,4 GB trải trên 48 phân đoạn safetensors, cộng thêm một mô hình nháp giải mã suy đoán 2,3 GB, và nó được phát hành theo MiniMax Community Licence, giấy phép này yêu cầu ghi công khi triển khai thương mại và phải có sự cho phép trước bằng văn bản khi doanh thu hằng năm vượt quá 20 triệu USD. Hai kiểu mở khác nhau, một đường phục vụ.

Tại sao đường dẫn phục vụ lại được tách thành hai

Việc tách prefill/decode không phải là một nét đặc thù riêng của Tenstorrent; đó là câu trả lời tiêu chuẩn cho một vấn đề do khối lượng công việc agent tạo ra. Prefill bị giới hạn bởi năng lực tính toán và diễn ra một lần cho mỗi prompt. Decode bị giới hạn bởi băng thông bộ nhớ và diễn ra một lần cho mỗi token được sinh ra, trong suốt thời gian câu trả lời chạy. Đặt chúng trên cùng các thiết bị và một prompt dài đến giữa luồng sẽ chiếm mất năng lực tính toán của mọi người dùng đang decode, và đó chính xác là tình trạng đình trệ khiến các sản phẩm agent có cảm giác bị hỏng.

Việc tách các pool cho phép mỗi bên được cấp phát tài nguyên theo điểm nghẽn riêng của nó. Mô tả của Tenstorrent nêu rõ rằng pool prefill phân tán một prompt trên nhiều chip bằng băng thông thiết bị-tới-thiết bị cao, trong khi pool decode giữ trọng số và KV cache trong DRAM và chạy các bước một cách độc lập. Các liên kết Ethernet đảm nhận việc bàn giao.

Ethernet là lựa chọn đáng chú ý. Một fabric scale-up độc quyền cung cấp băng thông cao hơn và độ trễ thấp hơn Ethernet phổ thông, và vị thế của NVIDIA trong điện toán AI một phần dựa vào việc sở hữu fabric đó. Tenstorrent lập luận rằng với khối lượng công việc này — một mô hình mixture-of-experts với 23 tỷ tham số hoạt động và một kế hoạch phục vụ đã tách prefill khỏi decode — Ethernet tiêu chuẩn là đủ tốt, và kinh tế scale-out tốt hơn vì interconnect không phải là một sự khóa chặt thứ hai. Đó là một lập luận hợp lý, không phải một lập luận đã được chứng minh. Nó trở nên được chứng minh khi ai đó công bố số token mỗi giây trên mỗi đô-la trên một triển khai đa nút, và chưa ai làm vậy.

Phép tính giúp 428B vừa vặn trong một rack

Mô hình có tổng cộng 428 tỷ tham số và kích hoạt 23 tỷ trong số đó cho mỗi token. Ở BF16, đó là khoảng 856 GB trước bất kỳ KV cache hay chi phí runtime nào. Một Blackhole Galaxy gồm 32 ASIC Blackhole, mỗi cái có 32 GB GDDR6 — mức 1 TB mà Tenstorrent công bố — vì vậy một bản sao BF16 sẽ chiếm khoảng 84% bộ nhớ của hệ thống và để lại khoảng 170 GB cho mọi thứ khác. Với ngữ cảnh 1 triệu token, cùng một KV cache phải tồn tại qua nhiều lượt agent, đó không phải là một biên an toàn thoải mái.

Bản tải xuống đã công bố là 252.4 GB. Đó là con số khiến việc triển khai vừa vặn: nó để lại khoảng 770 GB trong một terabyte của Galaxy cho KV cache, activation và bộ dự thảo giải mã suy đoán. Sơ đồ độ chính xác hỗn hợp chính là thứ tạo ra khoảng trống đó — MXFP8 cho các trọng số dùng chung và phía attention, NVFP4 cho các chuyên gia được định tuyến, vốn chiếm phần lớn tham số và là phần chỉ được chạm tới một cách thưa thớt. Attention thưa và MLP dày đặc chỉ giới hạn ở ba lớp đầu giúp giảm thêm lưu lượng bộ nhớ.

Phép tính này là của chúng tôi, dựa trên những con số đã công bố, không phải tuyên bố của Tenstorrent. Nhưng nó lý giải hình dạng của thông báo: việc port là đáng tin chính vì các expert được định tuyến 4-bit biến một mô hình 856 GB thành một tệp 252 GB vừa vặn trên một hệ thống 32 chip, vẫn còn dư chỗ cho ngữ cảnh dài.

Những gì Tenstorrent đã không công bố

Không có con số token/giây, không có con số thời gian đến token đầu tiên, không có con số về mức đồng thời và không có giá cho endpoint do Tenstorrent lưu trữ. Đối với một triển khai mà toàn bộ tiền đề là silicon phi NVIDIA có thể phục vụ một mô hình mở đẳng cấp tiên phong, đó chính là bốn con số sẽ phân xử cuộc tranh luận. Việc chúng vắng mặt không phải bằng chứng cho thấy triển khai này chậm. Đó là bằng chứng cho thấy thông báo là một tuyên bố về năng lực chứ không phải kết quả benchmark, và người đọc nên ghi nhận nó đúng như vậy.

Các con số tốc độ công khai duy nhất dành cho MiniMax M3.1 Flash lại mô tả một triển khai khác. MiniMax tuyên bố mức trung vị trên 170 token đầu ra mỗi giây và đỉnh trên 200 trên API riêng của mình. Artificial Analysis, khi đo API được host thay vì phần cứng của Tenstorrent, ghi nhận 95,6 token đầu ra mỗi giây với thời gian đến token đầu tiên là 1,48 giây. Đó là khoảng cách khoảng 1,8 lần giữa tuyên bố của nhà cung cấp và một phép đo độc lập trên một đường phục vụ khác, một lời nhắc hữu ích rằng "mô hình nhanh" và "triển khai này nhanh" là hai tuyên bố riêng biệt.

Điều mà Artificial Analysis thực sự xác lập được về mô hình này liên quan đến trường hợp sử dụng Tenstorrent hơn là chỉ số benchmark được chú ý. M3.1 Flash đạt 43 điểm trên Intelligence Index, tốn khoảng $0.22 cho mỗi tác vụ chỉ số hoàn thành và đạt 16 điểm trên AA-Omniscience với tỷ lệ ảo giác 93% — nghĩa là khi không biết câu trả lời, nó thường tạo ra câu trả lời sai thay vì từ chối. Tenstorrent đã tinh chỉnh triển khai này trên các dấu vết tác nhân. Các vòng lặp tác nhân chính là nơi những câu trả lời sai đầy tự tin gây tốn kém nhất, bởi vì lời gọi công cụ tiếp theo sẽ kế thừa chúng. Một đường phục vụ nhanh và rẻ không khắc phục được điều đó; nó còn khiến lớp xác minh trở nên quan trọng hơn.

Làm gì với điều này nếu bạn đang mua suy luận

Với hầu hết các nhóm, câu trả lời thực tế trong tuần này là "hãy kiểm thử nó, đừng chuyển sang dùng nó." Playground là cách rẻ nhất để xem hành vi của mô hình có phù hợp với khối lượng công việc của bạn hay không, và phần tích hợp agent-harness của Tenstorrent là phần thú vị cần khảo sát, vì việc triển khai được tinh chỉnh cho sử dụng công cụ đa lượt thay vì trò chuyện một lượt. Hãy mang theo các trace của riêng bạn. Việc tinh chỉnh SemiAnalysis AgentX cho bạn biết Tenstorrent đã tối ưu cho điều gì; nó không cho bạn biết các lời nhắc của bạn sẽ hành xử ra sao.

Đừng đưa nó vào luồng production cho đến khi có đủ hai thứ: một con số throughput và độ trễ được công bố từ Tenstorrent, và đo lường chất lượng theo từng tác vụ của chính bạn. Điều thứ nhất còn phải chờ nhà cung cấp trả lời. Điều thứ hai chỉ bạn mới trả lời được.

Một lưu ý thẳng thắn về vị trí của OrcaRouter trong chuyện này. M3.1 Flash không có trong danh mục của chúng tôi; dòng MiniMax ở đó dừng lại ở MiniMax-M3. Vậy nên cách để gọi mô hình mới hôm nay là Tenstorrent Cloud và API riêng của MiniMax, và chúng tôi không nằm trong số đó. Điều OrcaRouter cung cấp là mốc so sánh bạn cần trước khi cam kết: MiniMax-M3 và hơn 200 mô hình khác phía sau một khóa duy nhất, theo giá niêm yết của nhà cung cấp với mức cộng thêm 0%, để câu hỏi "mô hình mới có thực sự tốt hơn cho khối lượng công việc của tôi so với mô hình tôi đang chạy hay không" có thể được trả lời mà không cần hợp đồng thứ hai và quan hệ thanh toán thứ hai.

Con số có thể biến một cảng thành một mức giá

Tenstorrent đã chứng minh được một điều có thật: một mô hình mixture-of-experts 428B, được lượng tử hóa sang định dạng 4/8-bit hỗn hợp, chạy cả hai nửa của quá trình suy luận trên silicon Tensix qua Ethernet, với công cụ mã nguồn mở và một phương pháp tinh chỉnh đã được công bố. Đó là một bằng chứng về tính di động, và là bằng chứng đầu tiên ở quy mô mô hình này không đi qua CUDA.

Nó chưa chứng minh rằng bản chuyển đổi này rẻ hơn, nhanh hơn hay đáng tin cậy hơn so với hướng GPU. Galaxy là một hệ thống 6U, 32 ASIC, BlockFP8 khoảng 23 PFLOPS, có giá niêm yết 110.000 USD khi được phát hành rộng rãi vào tháng 4 năm 2026, trước khi cộng thêm phần mạng supercluster mà bản triển khai này sử dụng. Liệu phần cứng đó, khi chạy mô hình này, có tạo ra chi phí trên mỗi triệu token tốt hơn so với một cụm H100 hay MI300X hay không chính là toàn bộ câu hỏi thương mại, và thông báo này để trống điều đó.

Do đó, điều cần theo dõi tiếp theo không phải là một mô hình khác trên cùng phần cứng. Mà là một con số token/giây và một bảng giá từ Tenstorrent, tiếp đó là một nhà cung cấp silicon thứ hai thực hiện cùng một bản chuyển cổng. Khi những thứ đó xuất hiện, trọng số mở sẽ đã biến thành cạnh tranh phần cứng thực sự. Cho đến lúc đó, mô tả chính xác là một minh chứng kiến trúc đáng tin cậy với nửa phần thương mại vẫn chưa được công bố.