Satu penyedia mati. Tidak ada yang menyadarinya.

Ketika upstream membatasi laju atau mengembalikan error 5xx, rantai cadangan yang dikonfigurasi akan dicoba ulang ke model yang sehat sebelum respons mulai di-streaming.

Tentukan hingga lima model cadangan, dipilih dari katalog 200+ model di 40+ penyedia.
Failover terjadi sebelum streaming — klien Anda melihat satu respons yang bersih, bukan respons terpotong yang diikuti galat.
Setiap percobaan ulang tercatat dalam riwayat: apa yang gagal, apa yang menggantikannya, dan berapa lama setiap percobaan berlangsung.

Gangguan yang tidak ada yang buat tiketnya.

Sebuah penyedia mulai mengembalikan error 503. Dengan rantai fallback yang dikonfigurasi, permintaan sudah berpindah — mendarat di model yang sehat sebelum satu token pun sampai ke pengguna Anda. Mereka melihat satu jawaban yang bersih. Anda melihat kedua percobaan di riwayat permintaan.

Selalu ada tempat untuk beralih.

Anda menentukan hingga lima model untuk rantai cadangan, dipilih dari 200+ model di 40+ penyedia — cukup banyak sehingga masalah di satu penyedia tidak perlu berubah menjadi insiden yang harus Anda tinjau. Kondisi kesehatan, bobot, dan prioritas dipantau per saluran; model yang bermasalah akan keluar dari rotasi secara diam-diam.