某个服务商宕机,无人察觉。
当上游服务触发限流或返回 5xx 错误时,已配置的故障转移链会在响应开始流式传输前,自动将请求重试至健康模型。
- 从 40 余家服务商的 200 多个模型中,最多指定五个备用模型作为故障转移链。
- 故障转移在流式传输开始前完成——您的客户端只会看到一个完整响应,而非截断内容后跟随一条报错。
- 每次重试均记录在收据中:失败原因、最终由哪个节点响应,以及每次尝试的耗时。
没人提工单的那次故障。
某服务商开始返回 503。配置故障转移链后,请求已在路由中——在任何 Token 到达用户之前,即已落到健康模型上。用户看到的是一个完整的回答,您在账单上看到的是两次请求记录。
总有备选,从不中断。
您可在备用链中指定最多五个模型,从 40 余家服务商的 200 多个模型中选取——足以确保任何单一上游的临时故障不会演变成您的故障复盘。每个渠道的健康状态、权重与优先级均独立追踪;表现不稳定的渠道会悄然退出轮询。