Một endpoint duy nhất cho bậc miễn phí — định tuyến theo độ khó giữa các mô hình miễn phí của không gian làm việc của bạn.
Một điểm cuối duy nhất cho bậc miễn phí. Thay vì tự chọn một bí danh -free cụ thể, hãy gọi orcarouter/free và nó sẽ định tuyến từng yêu cầu theo độ khó tới các mô hình miễn phí trong không gian làm việc của bạn — không bao giờ động vào số dư của bạn, với mức dùng miễn phí bị giới hạn theo tốc độ yêu cầu thay vì theo một số lượt gọi cố định.
Mỗi yêu cầu được chấm điểm dựa trên độ dài prompt, mật độ mã, công cụ và dấu hiệu suy luận — cùng tín hiệu mà bộ định tuyến thích ứng của chúng tôi sử dụng.
Các prompt thông thường đi tới bậc miễn phí nhẹ; prompt khó đi tới bậc miễn phí mạnh hơn — đều lấy từ các mô hình miễn phí trong không gian làm việc của bạn.
Mức dùng mô hình không tốn phí — cả hai bậc đều có giá $0, nên bậc nào xử lý yêu cầu cũng như nhau.
Quyền dùng miễn phí bị giới hạn bởi tần suất yêu cầu, không phải số dư — bản thân mức dùng mô hình không tốn phí và hạn mức không bao giờ cạn.
Mỗi không gian làm việc có một hạn mức tần suất yêu cầu. Hạn mức này tăng theo tổng số tiền đã thanh toán trong suốt vòng đời tài khoản, nên nạp tiền cũng nâng giới hạn miễn phí.
Từng mô hình miễn phí có thể có mức giới hạn riêng chặt hơn, nên một mô hình đang quá tải sẽ bị siết mà không ảnh hưởng các mô hình còn lại.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)