Muse Spark Open với 150 triệu token mỗi MW, được giải mã: Phần lớn con số đó là đầu vào được lưu trong bộ nhớ đệm

Meta đã phát hành Muse Spark Open vào ngày 15 tháng 10 năm 2026, và trong tám ngày đầu tiên kể từ khi ra mắt công khai, con số mà mọi bài viết đều muốn có lại bị thiếu. Artificial Analysis có giá, có Chỉ số Thông minh là 39, và không liệt kê thông lượng phục vụ nào cả. Đến ngày 23 tháng 10, điều đó đã thay đổi: mô hình xuất hiện trên AA-AgentPerf với tốc độ lên tới khoảng 150 triệu token mỗi giây cho mỗi megawatt công suất tăng tốc trên bốn GPU NVIDIA GB300 hoặc B300, và khoảng 70 triệu trên MI355X của AMD. Đây không phải là một câu chuyện ra mắt — bộ trọng số đã chín ngày tuổi. Đây là câu chuyện về việc con số đó đo lường điều gì, bởi chỉ số này đếm cả token đầu vào lẫn đầu ra, và ở phía độ đồng thời cao của đường cong, gần như mọi thứ nó đếm đều là đọc bộ nhớ đệm.

AA-AgentPerf thực sự đang đếm những gì

AA-AgentPerf không phải là một bài đánh giá hiệu năng trò chuyện có đồng hồ bấm giây. Artificial Analysis xây dựng nó cho các khối lượng công việc tác tử, và khối lượng công việc mới là điểm mấu chốt: nó phát lại các quỹ đạo tác tử lập trình thực tế trên các kho lưu trữ công khai, các phiên chạy kéo dài tới khoảng 200 lượt, và đầu vào mỗi yêu cầu dao động từ khoảng 5.000 đến 131.000 token với giá trị trung bình gần 27.000. Đầu ra ngắn và không đồng đều — trung vị khoảng 150 token, xen kẽ với những đợt suy luận dài hơn. Nhiệm vụ của máy chủ trong khối lượng công việc đó chủ yếu là giữ một tiền tố rất lớn, gần như không thay đổi trong bộ nhớ đệm và nhanh chóng trả về những phản hồi nhỏ.

Đơn vị chính được định nghĩa trên trang trung tâm dữ liệu của Artificial Analysis là tổng thông lượng máy chủ — token đầu vào cộng token đầu ra mỗi giây — trên mỗi megawatt công suất bộ tăng tốc. Công suất được đo tại GPU, die và HBM, không phải tại ổ cắm điện và không phải tại TDP danh định, nên "megawatt" ở đây không phải là hóa đơn tiền điện của một cơ sở. Độ đồng thời cũng không cố định: bộ khung kiểm thử tăng tải dần, rồi tìm kiếm nhị phân số lượng tác nhân đồng thời cao nhất mà hệ thống duy trì được mà không vi phạm mục tiêu tương tác, được tính điểm theo tốc độ đầu ra p25 và thời gian đến token đầu tiên p95 trong một cửa sổ trạng thái ổn định nơi mọi tác nhân đã hoạt động ít nhất 30 giây.

Điều đó có nghĩa 150M là mức trần, chứ không phải tốc độ ổn định. Đó là thông lượng có được ở mức đồng thời mà tại đó tốc độ mỗi agent nằm ở giá trị thấp nhất mà mục tiêu cho phép. Cùng phần cứng đó, nếu được tinh chỉnh để agent phản hồi nhanh hơn, sẽ cho ra một con số nhỏ hơn nhiều, và không có slide ra mắt nào nêu con số đó.

Những con số như đã công bố

• Mức trần thông lượng — lên tới ~150 triệu token/giây mỗi MW trên bốn GPU GB300 hoặc B300, theo báo cáo của Artificial Analysis ngày 23 tháng 10.

• AMD — ~70 triệu token/giây mỗi MW trên MI355X, chỉ bằng khoảng một nửa kết quả của NVIDIA trên cùng khối lượng công việc.

• Trong nội bộ NVIDIA — GB300 cho thấy ưu thế so với B300 khi tốc độ đầu ra tăng, theo cùng báo cáo đó.

• Tốc độ trên dịch vụ lưu trữ — 142,9 token đầu ra/giây và 0,76 giây để có token đầu tiên trên trang niêm yết của mô hình, so với mức trung vị 75,4 token/giây của các mô hình trọng số mở tương đương.

• Trí tuệ — AA Intelligence Index 39, so với trung vị 19 của các mô hình trọng số mở có kích thước tương tự.

• Giá — $1,25 mỗi triệu token đầu vào và $4,25 mỗi triệu token đầu ra, với chiết khấu bộ nhớ đệm 88%, mức giá kết hợp $0,78 và chi phí $0,84 cho mỗi tác vụ Index.

Chỉ ba mục đầu tiên là mới trong tuần này. Phần còn lại đã có trên trang từ khi ra mắt và chúng nghiêng theo một hướng khác với con số thông lượng: rẻ trên mỗi token được lưu đệm, đắt trên mỗi token được tạo ra. Đặt hai sự thật đó cạnh nhau chính là nơi chứa cách đọc hữu ích.

Đối chiếu chéo: 43 điểm vận hành trên cùng một khối lượng công việc

Một pull request cookbook của SGLang được hợp nhất vào ngày 22 tháng 10 đã công bố năm triển khai GB300 được đo trên cùng kịch bản coding-agent AA AgentPerf, một ngày trước khi bảng xếp hạng được cập nhật. Năm điểm này được chọn từ 43 cấu hình đã đo, giữ cả hai đầu của đường biên độ trễ-thông lượng và bao phủ 81% diện tích của nó. Chúng là bức tranh công khai rõ ràng nhất về hình dạng đường cong phục vụ của Muse Spark Open — và PR là một dự án framework trình diễn stack của chính nó, nên hãy đọc nó như một trường hợp tốt nhất đã được tinh chỉnh chứ không phải một trường hợp trung lập.

• Đồng thời 1, hai nút, TP8·EP8 — 485,8 token đầu ra/s cho một người dùng, tổng 2.514 token/s trên mỗi GPU, thời gian đến token đầu tiên p95 là 0,10 giây.

• Đồng thời 16, bốn GPU, TP4·EP4 — 208,7 token/s mỗi người dùng, tổng cộng 49.646 token/s mỗi GPU.

• Đồng thời 64 — 97.1 tokens/s mỗi người dùng, tổng 114,342 tokens/s mỗi GPU.

• Đồng thời 160 với HiCache — 40,9 token/s mỗi người dùng, tổng 185.382 token/s mỗi GPU, trong đó 1.237 là đầu ra được tạo.

• Cache — tỷ lệ trúng tiền tố từ 96,8% đến 97,6% qua năm lần chạy, chính điều này khiến các con số tổng token lớn như vậy.

Gạch đầu dòng cuối cùng đó chính là toàn bộ lập luận gói gọn trong một dòng. Ở đỉnh của đường cong, đầu ra được tạo ra chiếm khoảng 0,7% số token mà chỉ số đếm. 99,3% còn lại là đầu vào, và khoảng 97% lượng đầu vào đó được phục vụ từ bộ nhớ đệm. Con số tiêu đề 150M mỗi MW và con số 40,9 token/s mỗi người dùng là cùng một lần chạy được đọc từ hai đầu đối lập. Không cái nào sai, nhưng chúng trả lời những câu hỏi khác nhau, và cái thứ hai mới là câu hỏi mà một sản phẩm agent thực sự có.

Số học ít nhất là nhất quán, và điều đó có lợi cho con số. Bốn GB300 tiêu thụ khoảng năm đến sáu kilowatt công suất tăng tốc; 150 triệu token/s mỗi MW hàm ý khoảng 750.000 đến 900.000 token mỗi giây cho nút, tức 190.000 đến 225.000 mỗi GPU. Điểm cao nhất của SGLang là 185.382 tổng token/s mỗi GPU. Cùng bậc độ lớn, cùng dạng. Đó là phép tính của chúng tôi đối chiếu với đo lường của họ, nhưng sự khớp nhau kiểu đó chính là điều cho bạn biết con số tiêu đề không được ghép từ một lần chạy khác.

Con số AMD mới là con số làm thay đổi quyết định.

Thông lượng trên mỗi megawatt chỉ bằng một nửa không phải là chênh lệch làm tròn giữa các nhà cung cấp. Đó là sự khác biệt giữa hai kế hoạch triển khai, và nó khớp với đường cong chi phí mà SemiAnalysis công bố trên InferenceX cho cùng mô hình ở FP4. Ở 128 token/s mỗi người dùng, B300 tính ra $0,019 mỗi triệu token, so với MI355X ở $0,024. Ở 191 token/s mỗi người dùng, $0,027 so với $0,044. Ở 254, $0,046 so với $0,076. Đó là các điểm trên biểu đồ được nội suy từ các lần chạy đo được, với mức giá $2,26 mỗi giờ chip B300 và $1,50 mỗi giờ chip MI355X.

Chip của AMD rẻ hơn theo giờ và đắt hơn theo token tại mọi điểm trên đường cong đó, và khoảng cách càng mở rộng khi bạn yêu cầu nhiều tương tác hơn. Đó là hình dạng mà bạn kỳ vọng khi hiệu suất năng lượng của một nền tảng chỉ bằng một nửa nền tảng kia, và đó là lý do cách phân chia 70M so với 150M đáng được chú ý hơn so với chỉ riêng 150M.

Hai lưu ý, cả hai đều đến từ phía những người đánh giá chứ không phải từ chúng tôi. Khi AA-AgentPerf ra mắt vào tháng 6, Artificial Analysis lưu ý rằng cấu hình MI355X của nó được xây dựng nội bộ thay vì do AMD gửi, và mức dư địa có thể lớn hơn trên các hệ thống do chính họ tinh chỉnh — vì vậy con số của AMD là một giới hạn dưới theo cách mà các con số của NVIDIA không phải vậy. Và một con số thông lượng không phải là kết quả độ chính xác. Cổng kiểm tra độ chính xác MI35x áp dụng cho đường ROCm của mô hình này vẫn chưa được chạy trên phần cứng, và một trong hai ngưỡng đạt/không đạt của nó được ghi như một giá trị giữ chỗ mà không có phép đo nào của AMD đằng sau. Tính đến tuần này, câu hỏi về hiệu quả đã có câu trả lời. Câu hỏi về tính đúng đắn thì chưa.

Nó tác động thế nào đến tổng chi phí tự vận hành so với đi thuê.

Muse Spark Open được niêm yết ở mức 1,25 USD mỗi triệu token đầu vào và 4,25 USD mỗi triệu token đầu ra, với mức chiết khấu bộ nhớ đệm 88%, đưa một khối lượng công việc hỗn hợp theo tỷ lệ 7:2:1 xuống còn 0,78 USD mỗi triệu. Đó là những con số mà một triển khai tự vận hành phải vượt qua, và phép so sánh chính là chỗ mà phần lớn internet sẽ hiểu sai trong tuần này.

Đặt con số 0,019 USD mỗi triệu token của InferenceX trên B300 ở 128 token/giây mỗi người dùng bên cạnh mức 0,78 USD hỗn hợp và tự vận hành trông rẻ hơn bốn mươi lần. Không phải vậy. Mức 0,019 USD được tính giá trên toàn bộ token, và trong một trace của agent thì gần như tất cả đều là đầu vào được lưu cache. Mức 0,78 USD trộn đầu vào và đầu ra theo tỷ lệ cho đầu ra trọng số lớn hơn nhiều so với một trace AgentPerf. Hãy tính giá đầu vào và đầu ra của khối lượng công việc của riêng bạn một cách riêng rẽ trước khi tin vào bất kỳ bội số nào — và lưu ý rằng chi phí phần cứng trên mỗi token được công bố thường loại trừ số giờ nhàn rỗi, nhân sự vận hành và năng lực bạn giữ cho lưu lượng đỉnh.

Phiên bản trung thực: tự vận hành Muse Spark Open có thể thắng, và loại khối lượng công việc mà nó thắng có hình dạng gần như y hệt loại mà AgentPerf kiểm thử — tiền tố dài, ổn định, có thể cache, câu trả lời sinh ra ngắn, độ đồng thời cao, một node luôn bận rộn. Một sản phẩm chat với prompt ngắn và câu trả lời dài thì gần như ngược lại, và ở mức $4.25 cho mỗi triệu token đầu ra, giá thuê không phải là phần của hóa đơn sẽ gây đau.

• Trọng số — checkpoint BF16 khoảng 1,65TB; bản dựng NVFP4 khoảng 537GB.

• Node tối thiểu hợp lý — bốn GPU Blackwell Ultra, cấu hình mà các con số thông lượng mới bắt nguồn từ đó. Meta cũng đã trình diễn mô hình chạy cục bộ trên hai M5 Ultra Mac Studios, đây là một tình huống khác: một buổi trình diễn trên máy trạm, không phải kế hoạch phục vụ.

• Giấy phép — Muse Model License. Miễn phí cho hầu hết mục đích sử dụng, nhưng các công ty có tổng doanh thu hằng năm trên 20 triệu USD cần có thỏa thuận với Meta để cung cấp nó như một dịch vụ, và các sản phẩm được xây dựng trên đó phải kèm thông báo "Built with Muse Spark Open".

Chạy nó ở đâu và bộ định tuyến thay đổi những gì

OrcaRouter định tuyến Muse Spark 1.1 và Muse Spark 1.2 đồng thời không phục vụ checkpoint mở, nên không có gì ở đây là tuyên bố về việc tự vận hành nó. Điều đáng biết là các checkpoint được lưu trữ được niêm yết ở mức $1.25 và $4.25, ngang bằng giá API của chính mô hình mở. Do đó, trọng số mở không phải là cách gọi mô hình này rẻ hơn; chúng là cách để sở hữu đường phục vụ. Nếu bạn không định sở hữu nó, lựa chọn nằm giữa các checkpoint được lưu trữ, và lựa chọn đó là thay đổi cấu hình chứ không phải di chuyển hệ thống.

Nếu bạn định tự vận hành nó, cách hợp lý để biết liệu khối lượng công việc của bạn có hành xử giống một AgentPerf trace hay không là chạy song song thay vì chuyển hẳn. Hãy giữ một checkpoint được host làm phương án dự phòng trong stack của bạn, đưa một phần lưu lượng sang triển khai mới, và chuyển lại khi các con số không như mong đợi. Ở nhánh hosted của phép so sánh đó, OrcaRouter chuyển nguyên giá niêm yết của nhà cung cấp với 0% markup, nên phép benchmark với phần cứng của bạn không bị cộng thêm markup về phía chúng tôi; failover tự động và DSL định tuyến là thứ khiến việc di chuyển lưu lượng trở thành thay đổi cấu hình thay vì thay đổi mã; và model fusion có sẵn nếu bạn muốn so sánh câu trả lời trên một panel hơn là so sánh hạ tầng.

Xem gì

• Tác nhân mỗi megawatt — Kết quả ra mắt tháng 6 của AA-AgentPerf được công bố theo đơn vị đó, khoảng 91.500 tác nhân mỗi MW cho một GB300 NVL72 trên DeepSeek V4 Pro ở phân khúc 20 token/giây. Số lượng tác nhân tương đương cho Muse Spark Open chính là điều sẽ khiến nó có thể được xếp hạng so với các mô hình khác thay vì chỉ đơn thuần là có thể mô tả được.

• Bài phân tích chuyên sâu về serving ngày 26 tháng 10 của Meta — do nhà cung cấp tự báo cáo, nên hãy gắn nhãn đúng như vậy khi nó được công bố, nhưng chi tiết hữu ích cần chú ý là con số hiệu suất giả định mức đồng thời nào.

• Một cấu hình MI355X do AMD gửi — kết quả thông lượng một nửa được đo so với một cấu hình do chính Artificial Analysis xây dựng, và AA đã nói rằng mức dư địa ở đó có thể lớn hơn.

• Cổng độ chính xác MI35x ra mắt với số liệu thực — hiệu quả mà không có kiểm tra tính đúng đắn thì chỉ là một nửa quyết định triển khai, và nửa còn lại đang tạm giữ chỗ của cổng đó vẫn chỉ là chỗ giữ chỗ.

Cách đọc hữu ích của tuần này là hẹp và cụ thể. Theo bằng chứng hiện đã được công bố, Muse Spark Open là một mô hình hiệu quả bất thường khi phục vụ trên Blackwell ở mức đồng thời cao với ngữ cảnh có thể cache, hiệu quả ở đó khoảng gấp đôi so với trên MI355X với cùng tác vụ, và được định giá như một mô hình cao cấp khi thuê theo token. Mỗi một tuyên bố đó đều có một con số đằng sau. Không tuyên bố nào trong số đó nói rằng mô hình nhanh theo cách người dùng cảm nhận là nhanh — con số đó là 40.9 token mỗi giây ở mức đồng thời nơi tiêu đề nằm.