Chạy trên mọi mô hình. Không ràng buộc vào bất kỳ mô hình nào.
Hoán đổi mô hình bên dưới một tính năng mà không cần chỉnh mã phía client, đàm phán lại hợp đồng hay phát hành bản cập nhật.
- Định tuyến thích ứng chọn mô hình theo từng prompt, nên khi có mô hình tốt hơn ra mắt tháng sau bạn không cần di chuyển gì.
- Các phiên bản prompt được quản lý qua nhãn — thử nghiệm và khôi phục mà không cần chờ chu kỳ triển khai.
- Playground chạy trực tiếp trên gateway thật, nên những gì bạn kiểm tra chính là những gì bạn đưa vào sản xuất.
Chọn mô hình sau cũng được.
Phần khó nhất khi ra mắt tính năng AI là phải cam kết với một mô hình trước khi biết lưu lượng trông như thế nào. Định tuyến qua một endpoint và quyết định đó vẫn có thể thay đổi — mỗi tuần, không cần phát hành mới.
Cải tiến prompt, không phải pipeline.
Quản lý phiên bản prompt qua nhãn, thử nghiệm A/B, rollback chỉ một thao tác. Thử toàn bộ trong Playground trước — nó chạy gateway thực, nên những gì bạn xác thực chính là những gì bạn triển khai.