一个模型名称,背后是所有模型。
将客户端指向 orcarouter/auto,每条提示词将被评分并路由至在您质量基准下价格最低的模型——语义嵌入可作为可选升级项启用。
- 每个工作区支持四种调度目标 — 最低成本、均衡、高质量或自适应,自适应模式可从您自身的流量中学习最优权衡。
- 在线学习:路由器持续从生产环境的实时结果中更新,而非依赖一次性的静态基准测试。
- 默认路径下路由决策延迟低于 1ms;若开启语义嵌入,还需计入一次嵌入调用。两种情况下,评分与所选模型都会记录在每张收据中。
40+ 供应商,统一入口
同一个兼容 OpenAI 格式的请求可路由至任意供应商,健康感知负载均衡将流量分散至在线节点。各通道的健康状态、权重与优先级会自动将异常上游移出轮询,适配层已抹平各供应商的差异,客户端代码无需任何分支判断。
一个名称,所有模型。
您只需写一次 orcarouter/auto。此后,每条提示词在经过时都会被读取分析,并发送给能以最低成本最优作答的模型。周二上线了一款全新前沿模型,您的流量随即开始使用它——无需迁移,无需发布客户端,无需开会。
可配置的默认策略,而非黑箱。
将工作区指向您真正想要的目标:最低成本、最高质量、均衡兼顾,或选择"自适应"——它从您自己的流量中学习权衡策略,而非依赖他人的基准测试。每一次决策都会连同产生它的评分一起记录在账单上。