一個模型名稱,背後是所有模型。
將客戶端指向 orcarouter/auto,每則提示都會自動評分,並以最低價格路由至符合品質門檻的模型——語意嵌入可作為選用升級功能。
- 每個工作區提供四種目標模式 — 最低成本、均衡、高品質,或從您自身流量中學習最佳權衡的自適應模式。
- 線上學習:路由器持續從線上生產結果更新,而非依賴固定的基準測試快照。
- 預設路徑下路由決策延遲低於 1 毫秒;若啟用語意嵌入,還需計入一次嵌入呼叫。兩種情況下,評分與所選模型都會記錄於每張收據之上。
40+ 家供應商,單一端點
相同的 OpenAI 相容請求可抵達任意供應商,具備健康感知的負載均衡會將流量分散至運作正常的節點。各頻道的健康狀態、權重與優先級可自動將異常上游移出輪詢,供應商特有的差異則由適配器統一處理,您的客戶端程式碼無需分支判斷。
一個名稱,所有模型。
您只需撰寫一次 orcarouter/auto。此後,每個提示在傳輸過程中都會被分析,並發送給以最低成本提供最佳回應的模型。某個前沿模型在某個週二上線,您的流量便開始使用它——無需遷移、無需發布新版用戶端、無需開會。
可設定的預設值,而非黑盒子。
將工作區指向您真正想要的目標:最低成本、最高品質、均衡,或是「自適應」模式——從您自己的流量中學習取捨,而非依賴他人的基準測試。每一個決策都會附上產生該決策的評級,清楚呈現在帳單上。