Một tên mô hình. Mọi mô hình đằng sau nó.
Trỏ client của bạn vào orcarouter/auto và mỗi prompt sẽ được đánh giá rồi gửi đến mô hình đáp ứng ngưỡng chất lượng của bạn với mức giá thấp nhất — với nhúng ngữ nghĩa là tính năng nâng cao tùy chọn.
- Bốn mục tiêu cho mỗi không gian làm việc — Rẻ nhất, Cân bằng, Chất lượng, hoặc Thích nghi — tự học sự đánh đổi từ lưu lượng thực tế của bạn.
- Học trực tuyến: bộ định tuyến liên tục cập nhật từ kết quả sản xuất thực, không phải từ một bài chạy benchmark cố định.
- Định tuyến tốn dưới 1ms ở chế độ mặc định; nếu bật semantic embedding, bạn phải trả thêm thời gian gọi embedding. Dù thế nào, điểm đánh giá và mô hình được chọn đều xuất hiện trên mọi hóa đơn.
40+ nhà cung cấp, một endpoint
Cùng một yêu cầu tương thích OpenAI có thể tới bất kỳ nhà cung cấp nào, và cân bằng tải nhận biết tình trạng sức khỏe sẽ phân phối tải qua các nhà cung cấp đang hoạt động. Tình trạng, trọng số và mức ưu tiên theo từng kênh sẽ tự động loại các upstream không khỏe mạnh khỏi vòng xử lý, và các đặc thù riêng của từng nhà cung cấp được chuẩn hóa trong adapter để mã phía client không bao giờ cần phân nhánh.
Một tên. Mọi mô hình.
Bạn chỉ cần viết orcarouter/auto một lần. Từ đó trở đi, mỗi prompt được đọc trên đường truyền qua và gửi đến mô hình nào trả lời tốt nhất với chi phí thấp nhất. Một mô hình frontier mới ra mắt vào thứ Ba và traffic của bạn bắt đầu sử dụng nó — không cần di chuyển, không cần phát hành client, không cần họp.
Một mặc định, không phải hộp đen.
Chỉ định một workspace theo mục tiêu bạn thực sự muốn. Rẻ nhất. Chất lượng. Cân bằng. Hoặc Adaptive — tự học sự đánh đổi từ chính traffic của bạn thay vì benchmark của người khác. Mỗi lựa chọn nó đưa ra đều xuất hiện trên hóa đơn kèm theo điểm đánh giá đã tạo ra nó.