Trọng số đã ra và chúng vừa vặn trên tám Blackwell: Bên trong bản phát hành NVFP4 ngày đầu của Mistral Large 4

Mọi hướng dẫn tự lưu trữ được đăng trong tuần qua đều nói với bạn ba điều y hệt nhau về Mistral Large 4: tệp giấy phép trả về 404, không có checkpoint lượng tử hoá nào tồn tại, và bất kỳ cấu hình nào bạn viết cũng chỉ là một phép chiếu vay mượn từ mô hình trước đó. Tính đến sáng ngày 29 tháng 10 năm 2026, cả ba điều đều sai. Giấy phép nằm trên repository — vỏn vẹn 2.632 byte — và họ checkpoint là có thật: mistralai/Mistral-Large-4-1T-A52B với 54 shard FP8 và 1.060,6 GB, cùng một người anh em NVFP4 gồm 32 shard và 610,1 GB. Ghi chú day-zero của NVIDIA — bản ghi chú chúc mừng đội ngũ Mistral AI và nhắc đến hỗ trợ NVFP4 trên Hugging Face trong cùng một hơi — là phiên bản ngắn nhất có thể của câu chuyện này. Phiên bản hữu ích là phiên bản dài hơn: công thức được công bố thực sự giả định những gì, điều gì đã xảy ra với mức giá trong lúc không ai để ý, và lời khuyên tự lưu trữ nào của thứ Ba giờ đây đang thực sự gây hiểu lầm. Nếu bạn muốn so sánh những gì có thể định tuyến ngay hôm nay thay vì những gì có thể tải xuống, danh mục mô hình OrcaRouter liệt kê mọi mô hình chúng tôi phục vụ, cửa sổ ngữ cảnh và giá trên mỗi token của từng mô hình, với cơ chế failover được cấu hình theo từng tuyến.

Hãy bắt đầu với các ngày tháng, vì đó là phần mà hầu hết các bài đưa tin đều hiểu sai theo cả hai hướng. Mistral Large 4 được công bố vào ngày 6 tháng 10 năm 2026 dưới dạng bản xem trước API — một mô hình mixture-of-experts với 1,05 nghìn tỷ tham số, trong đó 49 tỷ tham số hoạt động trên mỗi token, hay 52 tỷ khi tính cả các lớp embedding và lớp đầu ra, một bộ mã hóa thị giác 1,6 tỷ tham số và cửa sổ ngữ cảnh 1 triệu token, với mức giá 1,36 đô la cho mỗi triệu token đầu vào so với 4,18 đô la cho mỗi triệu token đầu ra. Các trọng số mở đã được hứa hẹn trước khi kết thúc tháng 10. Chúng xuất hiện lúc 14:51 UTC ngày 29 tháng 10, muộn hơn khoảng hai ngày so với ngày 27 tháng 10 mà các bài đưa tin đã thống nhất. Khoảng cách này có ý nghĩa quan trọng bởi vì rất nhiều bài viết về mô hình này đã được viết nên từ bên trong chính nó.

Sáng nay thực ra có gì trên Hub?

Siêu dữ liệu của kho lưu trữ cung cấp nhiều thông tin hơn phần văn xuôi trong thông báo, nên xin dẫn trực tiếp ra đây:

• Checkpoint chính — mistralai/Mistral-Large-4-1T-A52B, 54 shard safetensors, 1.060,6 GB trên đĩa, được gắn thẻ fp8, repo được tạo ngày 30 tháng 9 năm 2026, trọng số được ghi lần cuối vào ngày 29 tháng 10 lúc 14:51 UTC, không bị gated.

• Bản anh em đã lượng tử hóa — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shard, 610,1 GB, repo được tạo ngày 15 tháng 10 năm 2026 và được cập nhật hôm nay lúc 14:11 UTC — bốn mươi phút trước khi repo gốc hoàn tất.

• Giấy phép — Mistral Ecosystem Open-Weight License, mà Mistral mô tả là giấy phép MIT đã sửa đổi, không kèm theo ngưỡng doanh thu nào.

• Kiến trúc, từ params.json — 128 chuyên gia với bốn chuyên gia được định tuyến trên mỗi token cùng một chuyên gia dùng chung, 72 lớp, kích thước ẩn 6,144, một tháp thị giác 30 lớp chấp nhận ảnh lên tới 1,540 pixel và chia sẻ KV trên hầu hết các lớp.

• Những con số không khớp nhau — thẻ mô hình NVFP4 liệt kê 39 ngôn ngữ; thông báo tuyên bố 160+. Thẻ tính 49 tỷ tham số hoạt động trên mỗi token; tài liệu API và bảng của chính nhà cung cấp ghi 52 tỷ, đây là cùng một con số sau khi cộng thêm các lớp embedding và lớp đầu ra. Bài đăng của Mistral ghi nhận 3.800 GPU Grace Blackwell để huấn luyện; một số cơ quan báo chí đã làm tròn con số đó thành 4.000. Không có điểm nào trong số này là chí mạng, và mỗi sai lệch cho biết tài liệu nào do đội nào viết.

Con số 610 GB là bản phát hành.

Một mô hình 1,05 nghìn tỷ tham số không tải xuống theo bất kỳ cách nào mà người ta thường mô tả một cách nhẹ nhàng. Checkpoint FP8 là 1.060,6 GB — vượt thoải mái một terabyte trọng số trước khi có dù chỉ một token KV cache, activation hay phân mảnh. Trên một node Blackwell tám GPU, nó vừa khít với khoảng 400 GB dư. Trên tám H200, nó vừa khít với gần như không còn chỗ dư nào. Checkpoint NVFP4 cắt giảm xuống còn 610,1 GB, và khoản tiết kiệm không phải để làm đẹp: đó là khác biệt giữa một node toàn là trọng số và một node còn chỗ trống cho ngữ cảnh 1 triệu token mà mô hình quảng cáo.

Sơ đồ lượng tử hóa cũng cụ thể hơn mức "4-bit". Theo thẻ sản phẩm, trọng số mixture-of-experts là NVFP4 trong khi các lớp tuyến tính vẫn giữ FP8, và công thức vLLM yêu cầu một bộ nhớ đệm KV FP8 trên các lớp MLA. Đó là một ngăn xếp phục vụ đa độ chính xác, chứ không phải kiểu hạ cấp hàng loạt, và nó nhắm cụ thể vào Blackwell — B200, B300, GB200 và GB300 là những con chip được nêu tên.

Một hệ quả đáng được nhấn mạnh đối với bất kỳ ai đang dự định mua sắm: công thức chính thức vẫn yêu cầu tám GPU. vLLM được công bố với song song tensor 8; SGLang với tp-size 4. Lượng tử hóa ở đây không phải chủ yếu là cách để giảm số lượng node. Đó là cách để chừa lại cho node đủ bộ nhớ nhằm thực sự phục vụ ngữ cảnh dài, và các tham số phục vụ đã được công bố chính là bằng chứng.

Công thức, từng bước một

Điều khiến bản phát hành này khác với hầu hết các đợt phát hành trọng số mở là nhà cung cấp đã phát hành kèm hướng dẫn phục vụ thay vì để cộng đồng tự xử lý. Cách triển khai với vLLM, như đã công bố:

• Hình ảnh — vllm/vllm-openai:mistral-large-4

• Song song hóa — --tensor-parallel-size 8

• Bộ nhớ đệm — --kv-cache-dtype fp8_ds_mla, với --gpu-memory-utilization 0.85

• Bộ phân tích — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Suy đoán tùy chọn — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Con đường SGLang khác biệt ở những điểm đáng để đọc lại hai lần:

• Hình ảnh — lmsysorg/sglang:mistral-large-4, với --tp-size 4 và --mem-fraction-static 0.85

• Suy đoán — --speculative-algorithm DSPARK, được bật mặc định trong lệnh đã công bố

• Giới hạn phục vụ — --max-running-requests 64, với cả bộ phân tích lý luận và công cụ đều được đặt thành auto

Ba điều mà các lá cờ cho bạn biết nhưng thông báo thì không.

Điều đầu tiên là DSpark không phải là một mô hình riêng. Tệp cấu hình mô tả ba lớp dự đoán nhiều token với một đầu nháp hồi quy nhỏ — hạng Markov là 512 — được nhúng trong chính checkpoint. Giải mã suy đoán thông thường có nghĩa là chạy một mô hình thứ hai, nhỏ hơn bên cạnh mô hình lớn và tốn thêm bộ nhớ cho nó. Ở đây, đầu nháp đã nằm trong 610 GB, đó là lý do cờ suy đoán là một chuỗi cấu hình ngắn thay vì một lần triển khai thứ hai.

Điều thứ hai là chuyện ngăn xếp attention thực chất là một câu chuyện nén. Cấu hình mang một bộ đánh chỉ mục thưa với top-k là 2.048 trên 32 head, hạng LoRA KV là 512, và việc chia sẻ KV xuyên suốt phần lớn trong 72 lớp — kiểu bố cục đã trở nên tiêu chuẩn ở các mô hình thuộc dòng DeepSeek. Ngữ cảnh 1M có thể đạt được vì bộ nhớ attention được chia sẻ một cách ráo riết và KV cache là FP8, chứ không phải vì mô hình có cả terabyte cache để tiêu.

Điều thứ ba là phép tính. Khối YaRN được công bố mở rộng cửa sổ RoPE gốc 512 token theo hệ số 2,048, nhân ra đúng 1,048,576 — độ dài ngữ cảnh được quảng cáo. Dù lịch huấn luyện trông như thế nào, cấu hình bạn đang tải xuống đạt 1M token nhờ ngoại suy, và điều đó đáng để biết trước khi bạn đưa một tài liệu 900,000 token vào nó và cho rằng mô hình đã từng thấy hình dạng đó.

Bảng giá đã thay đổi trong khi các hướng dẫn đang được viết.

Tài liệu của Mistral liệt kê mức giá hiện tại là $0.70 trên một triệu token đầu vào, $0.07 trên một triệu đầu vào được lưu trong bộ nhớ đệm và $2.10 trên một triệu đầu ra. Thông báo ngày 6 tháng 10 đưa ra mức giá niêm yết là $1.36 và $4.18, với mức chiết khấu xem trước chạy ở khoảng một nửa con số đó. Đọc hai tài liệu cùng nhau, bản phát hành open-weight không chỉ đơn thuần phát hành tệp — nó đã hạ giá niêm yết vĩnh viễn xuống khoảng mức mà bản xem trước từng được thuê. Đối với bất kỳ ai lập ngân sách dựa trên thông báo tháng 10, bảng giá mới chỉ bằng khoảng một nửa con số họ đã ghi lại.

Bức tranh độc lập kém thuận lợi hơn so với mức giảm giá. Artificial Analysis, trên Intelligence Index hiện tại của mình — dòng v5 được xây dựng lại vào ngày 27 tháng 10 — chấm Mistral Large 4 26 điểm, ghi nhận $2.06 để hoàn thành một tác vụ Index và đo 161.3 token đầu ra mỗi giây với 1.42 giây đến token đầu tiên. Tốc độ thực sự tốt: 161 token mỗi giây cao hơn gấp đôi trung vị của nhóm so sánh. Chi phí mỗi tác vụ thì không: ở mức $2.06, nó nằm trong nhóm 25% thấp nhất của phân khúc, vì một mô hình suy luận dài sẽ tiêu tiền vào token thay vì vào bảng giá niêm yết.

Những con số của chính Mistral, và con số mà hãng không công bố

Mọi benchmark trong bài đăng công bố của Mistral đều là của Mistral, điều này đáng nói rõ trước khi trích dẫn bất kỳ con số nào trong đó. Terminal-Bench 4.0 được công bố ở mức 41%, cao hơn bản xem trước mười ba điểm và, theo bài đăng, dẫn đầu trong số các mô hình trọng số mở; FrontierCode 2.0 ở mức 19,7%; chỉ số AA Coding Agent Index ở mức 48%, được mô tả là gần như ngang bằng với GLM-5.3; BrowseComp ở mức 84,5% so với 75% của checkpoint có giám sát trong bản xem trước; FinWorkBench ở mức 73,3%, thấp hơn mức 77,3% của Kimi K3; và tỷ lệ từ chối trung bình 96,6% đối với các yêu cầu mạng độc hại, đây là con số mà bản công bố thực sự xoay quanh. Một số kết quả này đến từ các bộ khung đánh giá của bên thứ ba — FrontierCode của Cognition, Coding Agent Index của Artificial Analysis, chỉ số sở thích con người của Surge Code — nhưng Mistral đã chạy chúng và Mistral đã báo cáo chúng. Không có kết quả nào được tái lập công khai tại thời điểm viết bài.

Con số còn thiếu là con số mà một người tự triển khai mô hình cần nhất: chất lượng NVFP4 so với checkpoint FP8 trên cùng một phép đánh giá. Tấm card trình bày lượng tử hóa như một giải pháp giảm bộ nhớ “với hiệu năng tương tự”, nhưng đó là một tuyên bố, không phải một phép đo. Cho đến khi có ai công bố một lần chạy so sánh cùng điều kiện, quan điểm trung thực là: checkpoint 610 GB là bản bạn có thể nhét vừa, còn checkpoint 1,060.6 GB là bản có hồ sơ tài liệu để tra cứu.

Đặt bảng của nhà cung cấp đối chiếu với cùng các benchmark do Artificial Analysis chạy và bức tranh sẽ đổi hình dạng. Dòng hiện tại của AA cho Mistral Large 4 — API được host, mức nỗ lực suy luận cao — đặt Terminal-Bench 4.0 ở 25%, thấp hơn 16 điểm so với 41% trong bài đăng phát hành, và FrontierCode 2.0 ở 15% so với 19.7% mà Mistral dẫn ra. Cả hai đều là harness mà chính Mistral viện dẫn. Cách giải thích khả dĩ là cấu hình: các con số trong bản phát hành có thể đến từ một thiết lập suy luận cụ thể hoặc một lát cắt đánh giá nhất định, còn AA đo những gì API công khai trả về. Cách giải thích không thể chấp nhận là cách mà phần lớn các bài đưa tin đã chọn — in cả hai con số như thể chúng đo cùng một thứ.

Điều khoản cấp phép quyết định ai được phép phục vụ nó

Giấy phép đủ ngắn để đọc trong một lần ngồi, và điều khoản quan trọng là điều khoản về model-as-a-service. Việc vận hành một dịch vụ lưu trữ trên các trọng số đòi hỏi một giấy phép thương mại riêng từ Mistral. Nhưng định nghĩa về model-as-a-service loại trừ các sản phẩm nhúng dành cho người dùng cuối và, một cách riêng biệt, việc "chỉ chuyển tiếp yêu cầu đến các mô hình do bên khác lưu trữ". Ngoại lệ đó hẹp hơn vẻ ngoài ban đầu của nó: nó không cho phép bạn tự dựng hệ thống suy luận của riêng mình rồi bán lại, và nó cho phép một gateway chuyển tiếp yêu cầu đến suy luận do Mistral lưu trữ mà không trở thành người được cấp phép. Việc cách đọc đó có đúng trong một tranh chấp hay không là câu hỏi dành cho luật sư của Mistral, không phải blog này.

Điều này dẫn đến phần khó xử. OrcaRouter không liệt kê Mistral Large 4 — danh mục 214 mô hình của chúng tôi hoàn toàn không có điểm cuối Mistral nào — nên không có gì trong bản phát hành này có thể định tuyến tại đây hôm nay, và bất kỳ ai nói khác đi đều đang lừa bạn. Phần mà danh mục thực sự cung cấp là nửa còn lại của một đợt triển khai như thế này: một DSL định tuyến có thể giữ một khối lượng công việc trên một mô hình và chuyển nó mà không cần thay đổi mã, tự động chuyển đổi dự phòng khi một điểm cuối suy giảm, và định giá chuyển tiếp với mức chênh lệch 0%, để khi nhà cung cấp thay đổi mức giá của họ thì phía chúng ta cập nhật cùng ngày với họ. Các đội tải 610 GB và dựng máy chủ vLLM riêng hầu như luôn giữ một tuyến được lưu trữ phía sau trong những tuần đầu, và đó là phần chúng ta thực sự có thể vận hành.

Ai nên bắt đầu tải xuống tối nay?

Nếu bạn đã chạy tám GPU Blackwell, hoặc bạn có quy định về lưu trú dữ liệu mà không endpoint lưu trữ nào đáp ứng được, thì cách tính đã thay đổi vào sáng nay và nó thay đổi theo hướng có lợi cho bạn: trọng số đã tồn tại, giấy phép đã tồn tại, và nhà cung cấp đã trao cho bạn một lệnh phục vụ đã được kiểm nghiệm thay vì một gợi ý. Hãy kéo checkpoint NVFP4 trước — 610,1 GB là một buổi tối chấp nhận được, và image vLLM đã được ghim phiên bản. Hãy tự chạy đánh giá của bạn đối chiếu với API lưu trữ trước khi bạn cam kết một lộ trình sản xuất cho nó, bởi vì tuyên bố lượng tử hóa là chưa được đo lường và các chuẩn đối sánh của nhà cung cấp là của nhà cung cấp.

Nếu bạn không vận hành loại phần cứng đó, thì chưa có gì trong bản phát hành này dành cho bạn. Một mô hình 1T với 49 tỷ tham số hoạt động mỗi token không phải là thứ để tải về trên laptop hay một thử nghiệm một card, và checkpoint FP8 là một terabyte. Thông tin nên đến với bạn là mức giá, không phải danh sách tệp: API được host hiện bắt đầu từ $0.70 và $2.10, tức khoảng một nửa so với mức mà thông báo tháng Mười khiến bạn kỳ vọng, và đó là thay đổi bạn có thể dùng mà không cần sở hữu một GPU nào.

Câu hỏi còn bỏ ngỏ mới là điều thú vị. Một mô hình nghìn tỷ tham số vừa khít trong 610 GB là bằng chứng cho thấy NVFP4 có thể nén một mixture-of-experts ở quy mô tiên phong mà không làm thay đổi hình dạng của nó. Liệu nó có nén được mà không làm thay đổi câu trả lời hay không thì sẽ do hai tuần tới với các lần chạy độc lập định đoạt, và chưa có ai công bố điều đó — kể cả những người đã phát hành nó.