Ein Anbieter fällt aus. Niemand bemerkt es.

Wenn ein Upstream das Ratelimit erreicht oder mit 5xx antwortet, wird eine konfigurierte Failover-Kette gegen ein gesundes Modell wiederholt, bevor das Streaming der Antwort begonnen hat.

Legen Sie bis zu fünf Ausweichmodelle fest, ausgewählt aus einem Katalog von über 200 Modellen bei mehr als 40 Anbietern.
Failover erfolgt vor dem Streaming – Ihr Client erhält eine saubere Antwort, keine abgebrochene gefolgt von einem Fehler.
Jeder Wiederholungsversuch wird protokolliert: was fehlgeschlagen ist, womit es stattdessen beantwortet wurde und wie lange jeder Versuch gedauert hat.

Der Ausfall, über den niemand ein Ticket öffnet.

Ein Anbieter wirft 503-Fehler. Mit einer konfigurierten Failover-Kette ist die Anfrage bereits unterwegs — sie landet auf einem gesunden Modell, bevor ein einziges Token Ihren Nutzer erreicht hat. Der Nutzer sieht eine saubere Antwort. Sie sehen beide Versuche im Protokoll.

Immer einen Ausweg.

Sie benennen bis zu fünf Modelle für die Kette, ausgewählt aus 200+ Modellen von 40+ Anbietern – genug, damit der schlechte Nachmittag eines einzelnen Anbieters nicht zu Ihrem Incident-Review werden muss. Gesundheit, Gewichtung und Priorität werden pro Kanal verfolgt; Modelle, die Probleme haben, verlassen die Rotation still und leise.