プロバイダーが落ちても、誰も気づかない。

上流がレート制限または5xxエラーを返した場合、設定済みのフォールバックチェーンにより、レスポンスのストリーミング開始前に正常なモデルへ自動的にリトライされます。

40以上のプロバイダーが提供する200以上のモデルカタログから、最大5つのフォールバックモデルを指定できます。
フェイルオーバーはストリーミング開始前に実行されるため、クライアントが受け取るのは途中で切れたレスポンスとエラーではなく、1つのきれいなレスポンスです。
すべての再試行は履歴に記録されます。何が失敗したか、代わりに何が応答したか、各試行にかかった時間がすべて確認できます。

誰もチケットを起票しない障害。

あるプロバイダーが503エラーを返し始めたとします。フォールバックチェーンが設定されていれば、リクエストはすでに切り替わっています — 1トークンもユーザーに届く前に、正常なモデルへ着地します。ユーザーには一つのクリーンな回答が届き、あなたには両方の試行が明細として記録されます。

常に、別の行き先がある。

チェーンには最大5つのモデルを指定でき、40以上のプロバイダーにわたる200以上のモデルから選択できます。これにより、特定の上流サービスの不調がそのまま障害レポートにつながる心配がありません。チャネルごとにヘルス・重み・優先度が追跡され、パフォーマンスが低下したチャネルはひっそりとローテーションから外れます。