实时路由演示
试试这个路由
粘贴一个 prompt,我们会告诉你它会被路由到哪个模型,以及为什么 —— 包括成本、质量评分和我们网络上的中位延迟。
你的 prompt208/8000
路由选择了
点击「解析」查看路由决策。
路由明细
我们还考虑了什么
路由在锁定决定前评分过的每个候选模型。被选中的那行已高亮。
解析一个 prompt 后即可查看候选明细。
即插即用
在你的代码里使用
同一个 OpenAI 兼容 API。改一下 base URL,把 model 设成 orcarouter/auto 即可。
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
resp = client.chat.completions.create(
model="orcarouter/auto",
messages=[{"role": "user", "content": "Summarize this in 3 bullet points: large language model APIs vary in cost and latency, and routing requests to the cheapest acceptable model can save 80%+ on inference spend without changing application code."}],
)
print(resp.choices[0].message.content)领取 $5 免费额度
注册即可获得 API key,开始路由真实流量。无需绑定信用卡。
