Dostawca przestaje działać. Nikt tego nie zauważa.

Gdy dostawca zacznie ograniczać ruch lub zwracać błędy 5xx, skonfigurowany łańcuch awaryjny przekieruje żądanie do sprawnego modelu zanim odpowiedź zacznie być strumieniowana.

Wskaż do pięciu modeli zapasowych, wybranych z katalogu ponad 200 modeli od ponad 40 dostawców.
Przełączanie awaryjne następuje przed strumieniowaniem — klient widzi jedną spójną odpowiedź, a nie urwaną, po której następuje błąd.
Każda ponowna próba jest odnotowana w historii: co się nie powiodło, co ją zastąpiło i jak długo trwała każda próba.

Awaria, o której nikt nie zgłosi zgłoszenia.

Dostawca zaczyna zwracać błędy 503. Przy skonfigurowanym łańcuchu awaryjnym żądanie jest już w drodze — trafia do sprawnego modelu zanim choćby jeden token dotrze do użytkownika. Użytkownik widzi jedną czytelną odpowiedź. Ty widzisz obie próby na potwierdzeniu.

Zawsze jest dokąd pójść.

Wskazujesz do pięciu modeli tworzących łańcuch, wybranych spośród ponad 200 od ponad 40 dostawców — wystarczająco dużo, by gorszy dzień jednego z upstream'ów nie przerodził się w Twój post-mortem. Stan, waga i priorytet są śledzone dla każdego kanału; te, które mają problemy, po cichu wypadają z rotacji.