API của Mistral Large 4: Chat, Agents, Batch và những endpoint mà hầu hết các hướng dẫn bỏ qua

Phần lớn các bài viết về một mô hình mới chỉ dừng lại ở chat completion. Tài liệu của chính Mistral cho Mistral Large 4 liệt kê bốn bề mặt sản phẩm — chat, agents và conversations, batch, và các công cụ tích hợp sẵn — còn trang định giá bổ sung một trục thứ hai mà gần như không ai dùng: các tầng suy luận tiêu chuẩn, batch và ưu tiên, cùng một tùy chọn suy luận theo khu vực. Biết mình đang ở tầng nào trong số đó có giá trị hơn việc biết điểm benchmark của mô hình.

Các bề mặt, như Mistral ghi trong tài liệu.

• Chat Completions — code>/v1/chat/completions/code>. Endpoint có dạng OpenAI, với các tính năng được liệt kê gồm đầu ra có cấu trúc, gọi hàm, hoàn thành tiền tố và hỏi đáp tài liệu.

• Tác nhân & Hội thoại — code>/v1/agents/code> và code>/v1/conversations/code>. Trạng thái phía máy chủ thay vì lắp ghép tin nhắn phía máy khách: bạn giữ một cuộc hội thoại ở phía Mistral và tham chiếu đến nó, điều này loại bỏ mô hình "gửi lại toàn bộ lịch sử" vốn chiếm phần lớn hóa đơn token đầu vào.

• Hàng loạt — code>/v1/batch/code>. Gửi tác vụ không đồng bộ, tính giá theo bậc hàng loạt thay vì bậc tiêu chuẩn.

• Công cụ tích hợp — việc mô hình gọi bộ công cụ riêng của Mistral thay vì bộ công cụ của bạn.

Bốn cái đó không phải là cùng một sản phẩm với các URL khác nhau. Mảng agents thay đổi cấu trúc chi phí của bạn — nếu các cuộc hội thoại nằm ở phía máy chủ, phần đầu vào trong hóa đơn của bạn không còn tăng theo độ dài lịch sử. Mảng batch thay đổi bậc giá của bạn. Cả hai đều có trong tài liệu, và cả hai đều dễ bị bỏ qua vì mọi hướng dẫn đều bắt đầu và kết thúc bằng chat completions.

Trục hạng không ai định giá

Trang định giá API của Mistral có một hàng bộ lọc — Standard, Batch, Priority — phía trên lưới mô hình, cùng một công tắc riêng cho suy luận theo khu vực và một công tắc cho tiền tệ. Điều đó có nghĩa là thẻ $1.36/$0.14/$4.18 là gói tiêu chuẩn. Batch là một con số khác. Priority lại là một con số khác nữa, và cả hai đều không được hiển thị trong chế độ xem mặc định mà hầu hết người mua chụp ảnh màn hình.

Trước khi so sánh giá của Mistral Large 4 với bất cứ thứ gì, hãy xác nhận con số bạn đang đọc thuộc bậc giá nào. Sự bất đối xứng trên thực tế: một khối lượng công việc chạy theo lô mà rơi vào bậc tiêu chuẩn thì đang phải trả giá bán lẻ cho một năng lực mà bảng giá vốn đã chiết khấu.

Mô hình đằng sau các endpoint là gì

1,05 nghìn tỷ tham số với 52 tỷ tham số hoạt động theo model card của Mistral, trên một kiến trúc mixture-of-experts thưa chi tiết với 128 expert được định tuyến và bốn expert hoạt động trên mỗi token; một vision encoder 1,6 tỷ tham số; đầu vào văn bản và hình ảnh, đầu ra văn bản; thuộc lớp suy luận và văn bản. Ngữ cảnh được cấu hình 1M, đo được 524.288 trên cấu hình đã kiểm thử. Trọng số được công khai theo Mistral Ecosystem Open-Weight License, 1.060,6 GB ở bf16 cùng một biến thể NVFP4 610,1 GB.

Một hệ quả của giấy phép đó đáng được nêu một dòng trong bất kỳ kế hoạch tích hợp nào: điều khoản 2 bảo lưu “Model as a Service” — việc cấp cho bên thứ ba quyền truy cập mô hình với khả năng kiểm soát có ý nghĩa đối với đầu vào, tham số hoặc dữ liệu huấn luyện — cho một thỏa thuận thương mại riêng. Một tính năng nhúng, một triển khai nội bộ và việc chỉ chuyển tiếp đến endpoint của người khác đều được loại trừ. Việc gọi API không bị ảnh hưởng; việc bán lại quyền truy cập thô qua API của chính bạn thì có.

Thứ tự tích hợp giúp tiết kiệm tiền

• Chọn giao diện trước. Nếu sản phẩm của bạn có các cuộc trò chuyện, hãy dùng các endpoint agents/conversations và ngừng gửi lại lịch sử; đó là một dòng token đầu vào, và giá đầu vào của mô hình này là $1.36 mỗi triệu.

• Chọn gói thứ hai. Mọi thứ bất đồng bộ đều thuộc về xử lý hàng loạt, và trang định giá sẽ hiển thị mức chênh lệch cho bạn sau khi bạn chuyển bộ lọc.

• Đo giới hạn ngữ cảnh ở bước thứ ba. 524,288 đã đo được, không phải 1M như tuyên bố — gửi một yêu cầu quá khổ đến máy chủ của bạn và đọc lỗi.

• Thêm bộ nhớ đệm sau cùng. Đầu vào được lưu trong bộ nhớ đệm với giá $0.14 so với mức tiêu chuẩn $1.36 là đòn bẩy lớn nhất đối với hóa đơn ở trạng thái ổn định, miễn là tiền tố của bạn ổn định. Một dấu thời gian ở đầu lời nhắc hệ thống sẽ biến nó thành một lệnh gọi tính giá đầy đủ.

Mistral Large 4 không có trong danh mục của OrcaRouter, nên đây không phải là tuyến mà chúng tôi có thể cung cấp — nó có thể được gọi qua API riêng của Mistral và các nhà cung cấp bên thứ ba. Hình thức chung mà chúng tôi cung cấp là một endpoint tương thích OpenAI trên 224 mô hình, với giá niêm yết của nhà cung cấp được chuyển nguyên với mức phí 0%, trong đó thay đổi về hạng và giá của nhà cung cấp sẽ được áp dụng ngay trong ngày công bố thay vì ở lần gia hạn kế tiếp.