Провайдер недоступен. Никто не замечает.

Если upstream начинает ограничивать запросы или возвращать ошибки 5xx, настроенная цепочка резервирования перенаправляет запрос к рабочей модели ещё до начала потоковой передачи ответа.

Укажите до пяти резервных моделей из каталога более 200 моделей от 40+ провайдеров.
Failover происходит до начала стриминга — клиент получает один чистый ответ, а не обрезанный с последующей ошибкой.
Каждая повторная попытка фиксируется в журнале: что не сработало, что обслужило запрос вместо этого и сколько времени заняла каждая попытка.

Сбой, о котором никто не открывает тикет.

Провайдер начинает возвращать ошибки 503. При настроенной цепочке резервирования запрос уже перенаправляется — он попадает на рабочую модель прежде, чем хотя бы один токен достигнет пользователя. Пользователь видит единственный чистый ответ. Вы видите обе попытки в журнале.

Запасной путь всегда найдётся.

Вы задаёте цепочку из до пяти моделей, выбранных из 200+ от 40+ провайдеров — этого достаточно, чтобы неудачный день у одного upstream-провайдера не превратился в ваш разбор инцидентов. Состояние, вес и приоритет отслеживаются по каждому каналу; модели, которые испытывают трудности, тихо выходят из ротации.