供應商中斷,無人察覺。
當上游供應商觸發速率限制或回傳 5xx 錯誤時,已設定的備援鏈會在回應開始串流之前,將請求重試至健康的模型。
- 從 40+ 供應商的 200+ 個模型目錄中,最多可指定五個備援模型。
- 容錯移轉發生在串流開始前——您的客戶端只會看到一個完整的回應,而非截斷的回應後接錯誤訊息。
- 每次重試皆記錄在收據中:哪個請求失敗、由哪個節點接手處理,以及每次嘗試所花費的時間。
無人需要提交工單的中斷事件。
某供應商開始回傳 503。在已設定備援鏈的情況下,請求已在移動中——在單一 Token 抵達使用者之前,便已落在健康的模型上。使用者看到一個完整的回答,您則在收據上看到兩次嘗試的記錄。
總有備援可用。
您可從 40+ 供應商的 200+ 個模型中,為備援鏈指定最多五個模型——足以確保任何單一上游的臨時故障不會演變成您的事故檢討。每個渠道的健康狀態、權重與優先順序均獨立追蹤;表現不佳的模型會悄然退出輪換。