Одна конечная точка для бесплатного уровня — маршрутизация по сложности между бесплатными моделями вашего рабочего пространства.
Единая точка входа для бесплатного уровня. Вместо того чтобы самостоятельно выбирать конкретный алиас -free, вызывайте orcarouter/free — он распределяет каждый запрос по сложности между бесплатными моделями вашего рабочего пространства, никогда не затрагивая ваш баланс, а бесплатное использование ограничивается частотой запросов, а не фиксированным числом вызовов.
Каждый запрос оценивается по длине промпта, плотности кода, использованию инструментов и признакам рассуждения — по тому же сигналу, что и наш адаптивный маршрутизатор.
Обычные промпты идут на лёгкий бесплатный уровень, сложные — на более мощный бесплатный уровень; выбор идёт из бесплатных моделей вашего рабочего пространства.
Использование модели ничего не стоит: оба уровня стоят $0, поэтому неважно, какой из них обработает запрос.
Бесплатный доступ ограничен частотой запросов, а не балансом: само использование модели ничего не стоит, и квота не заканчивается.
У каждого рабочего пространства есть свой лимит частоты запросов. Он растёт вместе с суммой, оплаченной за всё время существования аккаунта, поэтому пополнение повышает и бесплатные лимиты.
У отдельной бесплатной модели может быть свой, более строгий лимит, поэтому перегруженная модель тормозит, не затрагивая остальные.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)