Cửa sổ ngữ cảnh của Mistral Large 4: Tuyên bố 1M, đo được 524K, và vì sao phần chênh lệch lại bị tính phí

Thẻ mô hình của Mistral nói một đằng, còn một phép đo độc lập lại nói một nẻo, và khoảng cách đó không phải chuyện hình thức. Thẻ này liệt kê cửa sổ ngữ cảnh 1 triệu token. Artificial Analysis, đơn vị đánh giá cấu hình mà họ thực sự có thể chạy, đo được 524.288 token. Mỗi token đầu vào bạn gửi đều được tính, vì vậy câu hỏi "tôi có bao nhiêu ngữ cảnh" cũng là câu hỏi "tôi được phép chi bao nhiêu trong một yêu cầu".

Sự khác biệt giữa hai con số đó là 2×, mà trên một mô hình tính phí $1,36 mỗi triệu token đầu vào thì không phải là sai số làm tròn.

Những con số này là gì và mỗi con số đến từ đâu

• 1.048.576 token — giá trị trong tệp cấu hình mà Mistral đi kèm cùng các trọng số. Đây là một mức trần do nhà cung cấp đặt ra, và thẻ mô hình cũng lặp lại con số này là "1M".

• 524,288 tokens — những gì Artificial Analysis đo được trên cấu hình mà nó đã kiểm thử. Một nửa mức trần.

• Chi phí của việc đó là bao nhiêu — ở mức $1,36 mỗi triệu, việc lấp đầy 524K tốn khoảng $0,71 mỗi yêu cầu; lấp đầy toàn bộ 1M sẽ tốn $1,43. Cả hai đều là phần đầu vào của một lần gọi duy nhất, trước mọi đầu ra.

Con số do nhà cung cấp công bố không phải là lời nói dối, và con số đo được không phải là lỗi. Context window là một khả năng của kiến trúc; còn thứ mà một cấu hình phục vụ cụ thể thực sự sẽ chấp nhận — với ngân sách KV-cache, tensor parallelism, batch size của nó — thì nhỏ hơn, và khoảng cách giữa hai con số là bình thường trong toàn ngành này. Chỉ có điều hiếm khi nó được nêu trên cùng một dòng với giá.

Tại sao điều này lại quan trọng ở đây hơn so với những nơi khác

Ba lý do riêng cho mẫu này.

Đây là một MoE nghìn tỷ tham số. 1,05 nghìn tỷ tham số với 52 tỷ tham số hoạt động trên mỗi token, cộng thêm một bộ mã hóa thị giác 1,6 tỷ tham số. KV cache cho ngữ cảnh dài trên loại mô hình đó chính là ràng buộc quyết định đối với việc phục vụ, chứ không phải ý định trong tệp cấu hình. Con số đo được mới là con số lập kế hoạch trung thực.

Nó được tính giá theo token, không phải theo yêu cầu. Một yêu cầu ngữ cảnh dài trên thẻ này là một khoản mục tính phí tỷ lệ tuyến tính với lượng bạn gửi. Bạn không mua "một cửa sổ 1M"; bạn đang mua token, và cửa sổ chỉ quyết định có bao nhiêu token có thể đến trong một lần gọi.

Các trọng số đi kèm với cấu hình. Khi bạn tải xuống 1,060.6 GB bf16 và đọc code>config.json/code>, bạn sẽ thấy 1,048,576 và bạn sẽ bị cám dỗ lập kế hoạch dựa trên con số đó. Công thức vLLM yêu cầu tensor parallelism bằng 8 với FP8 KV cache, đây chính là kiểu cấu hình mà ở đó cửa sổ được phục vụ và cửa sổ được cấu hình không còn khớp nhau.

Cách tự đo trần nhà của bạn trong một buổi chiều

Hãy gửi một yêu cầu vượt quá mức giới hạn mà bạn cho là giới hạn, rồi đọc lỗi — trong hầu hết trường hợp, các nhà cung cấp trả về thông báo đếm token thay vì âm thầm cắt ngắn. Điều đó cho bạn mức trần được phục vụ trên host mà bạn thực sự sử dụng, và đó là con số duy nhất mà ngân sách của bạn nên chứa.

Sau đó hãy gửi một request ở mức 80% của ngưỡng trần đó và theo dõi độ trễ. Một mô hình nghìn tỷ tham số đọc ngữ cảnh dài có thời gian ra token đầu tiên tăng theo độ dài prompt; con số 524K là một cửa sổ, không phải lời cam kết về tốc độ.

Cuối cùng, hãy so sánh mức trần thu được với độ dài đầu vào ở phân vị thứ 95 thay vì mức trung bình. Mức trung bình không bao giờ ràng buộc; phần đuôi mới là nơi xuất hiện pipeline chia nhỏ mà bạn chưa dự trù ngân sách cho nó.

Các cửa sổ của đối thủ cạnh tranh trông như thế nào

• DeepSeek V4 Pro — ngữ cảnh 1M, đầu ra 384K, giá 0,66 USD cho đầu vào và 1,98 USD cho đầu ra ngoài giờ cao điểm.

• Grok 4.7 —Ngữ cảnh 500K, đầu ra 450K, giá cố định $2.00 và $6.00.

• Qwen3-Max — ngữ cảnh 262K, đầu ra 65K, $0.36 và $1.43.

• Mistral Large 4 — 1M được công bố, 524K đo được, $1.36 và $4.18 theo giá niêm yết.

So với toàn cảnh đó, cửa sổ đo được của Mistral nằm giữa các tuyên bố 262K và 1M — gần mức trung gian hơn là mức cao nhất. Nếu ngữ cảnh là lý do bạn đang xem xét nó, thì con số đo được mới là con số thuộc về bảng so sánh, và nó chỉ bằng một nửa con số được quảng cáo.

Mistral Large 4 không nằm trong danh mục của OrcaRouter, nên đây không phải là tuyến mà chúng tôi có thể cung cấp; nó có thể được gọi thông qua API riêng của Mistral và các máy chủ bên thứ ba. Điều chúng tôi cung cấp nói chung là một điểm cuối tương thích OpenAI cho hơn 224 mô hình với giá niêm yết của nhà cung cấp, không có phụ phí — trong đó cửa sổ của nhà cung cấp, dù cuối cùng là bao nhiêu, chính là cửa sổ mà bạn được tính phí dựa trên đó.