Um único endpoint para o nível gratuito — roteado por dificuldade entre os modelos gratuitos do seu espaço de trabalho.
Um único endpoint para o nível gratuito. Em vez de escolher você mesmo um alias -free específico, chame orcarouter/free: ele roteia cada requisição por dificuldade entre os modelos gratuitos do seu workspace, sem nunca tocar no seu saldo, com o uso gratuito limitado por taxa de requisições em vez de por um número fixo de chamadas.
Cada requisição é pontuada pelo comprimento do prompt, densidade de código, ferramentas e indícios de raciocínio — o mesmo sinal que o nosso roteador adaptativo usa.
Prompts comuns vão para o nível gratuito leve; os difíceis, para o nível gratuito mais potente — extraídos dos modelos gratuitos do seu workspace.
O uso do modelo não custa nada — os dois níveis custam US$ 0, então tanto faz qual atende a requisição.
O acesso gratuito é limitado pela frequência de requisições, não por um saldo — o uso do modelo em si não custa nada e a cota nunca acaba.
Cada espaço de trabalho tem uma cota de frequência de requisições. Ela cresce com o total pago ao longo da vida da conta, então adicionar saldo também eleva os limites gratuitos.
Cada modelo gratuito pode ter um limite próprio mais restrito, então um modelo sobrecarregado é contido sem afetar os demais.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)