Tự triển khai Mistral Large 4: 1,06 TB thực sự tốn của bạn bao nhiêu

Các trọng số đã được phát hành, không bị gated, và giấy phép cho phép sử dụng thương mại. Ba sự thật khiến việc tự vận hành Mistral Large 4 trông giống một quyết định hơn là một viễn cảnh viển vông. Rồi bạn đọc danh sách tệp: 54 mảnh safetensors, 1,060.6 GB ở dạng bf16, trước cả một token KV cache. Con số đó — không phải tiêu đề nghìn tỷ tham số — là thứ bạn dựa vào để lập kế hoạch lưu trữ và GPU, và là lý do hầu hết các nhóm sẽ đọc trang này rồi tiếp tục dùng API.

Hai trạm kiểm soát, và những gì mỗi trạm đòi hỏi

• bf16 — 54 mảnh, 1.060,6 GB, trong đó hai mảnh 16,9 GB và 4,2 GB, còn 52 mảnh còn lại nằm trong khoảng 19,7 đến 20,0 GB. Khi đã dành chỗ cho trạng thái KV, nó không vừa một cách hữu ích trên tám bộ tăng tốc 141 GB, nên hãy tính đến việc dùng thêm phần cứng hoặc đi theo hướng lượng tử hóa.

• NVFP4 —một kho lưu trữ riêng, 32 shard, 610,1 GB, được Mistral định vị cho phần cứng Blackwell với hỗ trợ NVFP4 gốc. Hướng dẫn của chính Mistral: bốn GPU B200 hoặc B300. Tuyên bố rằng nó giữ "cùng hiệu năng" là tuyên bố của nhà cung cấp, không phải kết quả đo lường.

• Công thức phục vụ — cấu hình vLLM trong thẻ mô hình yêu cầu tensor parallelism bằng 8 với dtype KV-cache là FP8. Đó là cấu hình cần dùng để benchmark, không phải lời hứa về thông lượng.

• Ngữ cảnh —Được cấu hình 1M token, đo được 524.288 trên cấu hình đã kiểm thử. Ngữ cảnh dài làm gia tăng áp lực KV-cache, mà trên một bộ mã hóa thị giác 1,6 tỷ tham số cộng với MoE 1,05 nghìn tỷ tham số, đó là khác biệt giữa việc vừa và không vừa.

Điểm hòa vốn mà không ai vận hành

Lấy giá khuyến mãi làm chuẩn để hosting phải vượt qua: 0,68 USD/triệu token đầu vào và 2,09 USD/triệu token đầu ra. Bốn B200 ở mức giá điện toán đám mây thực tế — tạm tính 8 đến 12 USD mỗi giờ GPU — là 32 đến 48 USD mỗi giờ, tương đương khoảng 23.000 đến 35.000 USD mỗi tháng trước khi tính đến lưu trữ, mạng, kỹ thuật và thời gian tinh chỉnh một serving stack.

Để hòa vốn ở mức chi phí hàng tháng đó so với $2.09 mỗi triệu token đầu ra, bạn sẽ cần tạo ra hơn mười một tỷ token đầu ra mỗi tháng, tháng nào cũng vậy, với công suất sử dụng tối đa. Đó là khối lượng mà gần như không đội nào ngoài một hyperscaler thực sự có, và nó bỏ qua hai tuần công việc kỹ thuật mà lần triển khai đầu tiên phải tốn.

Nói cách khác: ở mức 100 triệu token đầu ra mỗi tháng — một con số sản xuất lớn nhưng có thật — API tốn khoảng 209 USD khi có khuyến mãi hoặc 418 USD theo giá niêm yết, so với hóa đơn hosting lên tới hàng chục nghìn. Ở quy mô đó, tự vận hành máy chủ không phải là một khoản chiết khấu. Đó là việc mua một thứ khác.

Thứ khác đó là gì

Bốn điều, và chúng là những lý do trung thực duy nhất để tải xuống 1.06 TB.

Vị trí lưu trú dữ liệu. Các trọng số không bao giờ rời khỏi vành đai của bạn. Đối với một khối lượng công việc chịu sự điều chỉnh của quy định, đó không phải là sở thích mà là một yêu cầu bắt buộc, và không mức giá API nào có thể cạnh tranh được với điều đó.

Tính chắc chắn của giấy phép. Ecosystem Open-Weight License của Mistral cho phép sử dụng thương mại, sửa đổi, huấn luyện thêm và tạo tác phẩm phái sinh, với một điều kiện bảo lưu: vận hành mô hình dưới dạng dịch vụ — trao cho bên thứ ba quyền kiểm soát thực chất đối với đầu vào, tham số hoặc dữ liệu huấn luyện — cần một thỏa thuận thương mại riêng. Các tính năng nhúng, sử dụng nội bộ và chỉ chuyển tiếp thuần túy được loại trừ. Việc sở hữu sản phẩm đồng nghĩa với việc các điều khoản bạn đã đồng ý là các điều khoản được áp dụng.

Quyền được tinh chỉnh. Bản dẫn xuất mà bạn huấn luyện là của bạn, và không một API được lưu trữ nào có thể cung cấp điều đó ở bất kỳ mức giá nào.

Tính tất định. Checkpoint bạn đã xác thực chính là checkpoint bạn chạy. Một mô hình được lưu trữ có thể được trỏ sang một phiên bản mới dưới cùng tên; một tệp trên đĩa của bạn thì không thể.

Điều mà không một trong bốn phương án đó có được: rẻ hơn trên mỗi token. Các tính toán ở trên loại trừ điều đó đối với bất kỳ đội ngũ nào dưới quy mô siêu lớn, và một kế hoạch dựa trên kỳ vọng tiết kiệm sẽ không trụ được qua hóa đơn đầu tiên.

Điều khoản giấy phép mà nhà cung cấp dịch vụ lưu trữ phải đọc lại hai lần

Nếu lý do bạn tự vận hành mô hình là để cung cấp mô hình cho khách hàng, thì Điều khoản 2 là đoạn quyết định hình thái pháp lý của bạn. Việc tính toán cho các sản phẩm của chính bạn là được phép; một nền tảng giao mô hình cho khách hàng cùng quyền kiểm soát thực chất đối với đầu vào, tham số hoặc huấn luyện thì không tồn tại theo giấy phép này nếu không có thỏa thuận riêng. Ngoại lệ dành cho việc “chỉ chuyển tiếp yêu cầu đến các mô hình do người khác vận hành” là hẹp và đúng như câu chữ của nó: chuyển tiếp đến điểm cuối của người khác không phải là tự vận hành mô hình.

Sự phân biệt đó là điều duy nhất trên trang này mà bảng giá không thể giải đáp, và nó đáng để dành một giờ với luật sư trước khi mua GPU.

Ai nên tải xuống?

Tải xuống nếu cơ quan quản lý, hợp đồng khách hàng hoặc chính sách phân loại dữ liệu đã cho bạn câu trả lời. Tải xuống nếu bạn định tinh chỉnh và phát hành một bản phái sinh, vì đó là năng lực mà API không bán. Tải xuống nếu bạn có năng lực Blackwell đã trả phí và đang nhàn rỗi — đường NVFP4 trên bốn B200 là cấu hình duy nhất mà các con số tiến gần điểm hòa vốn.

Nếu câu hỏi là về giá thì hãy bám vào API. Ở mức $0.68 và $2.09 khi khuyến mại, hoặc $1.36 và $4.18 theo giá niêm yết, gọi mô hình này là một trong những cách rẻ nhất trên thị trường để có được câu trả lời đa phương thức nghìn tỷ tham số — miễn là bạn coi chương trình khuyến mại là một cửa sổ thời gian chứ không phải mức giá. Mistral Large 4 không có trong danh mục của OrcaRouter, nên tuyến đó chạy qua API riêng của Mistral và các nhà cung cấp bên thứ ba; hình thức tổng quát mà chúng tôi cung cấp là một endpoint tương thích OpenAI trên 224 mô hình với giá niêm yết của nhà cung cấp, không có phụ giá, nơi thay đổi giá của nhà cung cấp có hiệu lực vào đúng ngày được công bố thay vì ở kỳ gia hạn tiếp theo.