ルートはブラックボックスにしない。
すべてのリクエストに構造化された記録が保持されます — グレード、選択されたモデル、プロバイダー、レイテンシ、トークン数、コスト、そして失敗した場合はその理由。
- キー・モデル・グループ・リクエスト ID・種別でフィルタリングし、任意のリクエストを実行可能な cURL としてコピーできます。
- 障害はアップストリームエラーとリクエストパラメータエラーに分類されるため、対処可能なものとそうでないものを明確に区別できます。
- ペイロードキャプチャを有効にすると、リクエスト本文がログ行とは別に保存されるため、送信内容を正確に証明できます。
何が壊れたか、そしてそれが問題だったか
エラーは2つのバケットに分かれます。アップストリーム障害と、自分で修正できるリクエストパラメータエラーです。パラメータバケットは原因別に内訳が表示されるため、不正なフィールドに直接たどり着けます。アップストリームバケットは件数のみの表示です。プロバイダー側の不調は、対処できるリストではないからです。
すべての呼び出しが記録されます。
グレード、モデル、プロバイダー、レイテンシ、入出力トークン数、キャッシュ配信トークン数、コスト。そして失敗した場合は、何が失敗し、何が引き継いだか。サンプルではなく、すべてのリクエストが記録されます。
ログ行から再現手順へ。
リクエストを見つけ、実行可能なcURLとしてコピーすれば、記憶ではなく実際のリクエストをデバッグできます。ペイロードキャプチャを有効にすると、本文がログ行とは別に保存されるため、議論が始まった後でも送信内容を証明できます。