無料枠のための単一エンドポイント — 難易度に応じてワークスペースの無料モデル間をルーティングします。
無料ティア向けの単一エンドポイントです。特定の -free エイリアスを自分で選ぶ代わりに orcarouter/free を呼び出せば、リクエストごとに難易度に応じて、ワークスペースの無料モデルへ振り分けます。あなたの残高が使われることはなく、無料利用は固定の呼び出し回数ではなくリクエストレートで制限されます。
各リクエストは、プロンプトの長さ、コード密度、ツールや推論の手がかりに基づいてスコアリングされます。これは当社のアダプティブルーターが使うのと同じシグナルです。
ありふれたプロンプトは軽量な無料ティアへ、難しいものはより高性能な無料ティアへ。いずれもワークスペースの無料モデルの中から選ばれます。
モデルの利用分は無料です。どちらのティアも $0 なので、どちらが応答しても同じです。
無料利用を制限するのは残高ではなくリクエスト頻度です。モデルの利用分そのものは無料で、枠が尽きることもありません。
すべてのワークスペースにリクエスト頻度の枠があります。枠はアカウントの累計支払い額に応じて広がるため、チャージすれば無料枠の上限も上がります。
個々の無料モデルにはより厳しい独自の上限を設定できます。負荷の高いモデルだけが絞られ、他のモデルには影響しません。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)