あらゆるモデルでリリース。どれにも縛られない。
クライアントコードの変更、契約の再交渉、リリース作業なしに、機能の下で動くモデルを入れ替えます。
- アダプティブルーティングがプロンプトごとにモデルを選択するため、翌月により優れたモデルが登場しても移行作業は不要です。
- プロンプトのバージョンはラベルの裏で管理されるため、デプロイの順番待ちなしに実験とロールバックが行えます。
- Playgroundは実際のゲートウェイ上で動作するため、検証した内容がそのままリリースされます。
モデルの選択は後でできます。
AI機能をリリースする際の最難関は、トラフィックの実態がわかる前にモデルを確定しなければならないことです。単一のエンドポイント経由でルーティングすれば、その判断はリリースなしに毎週覆せる状態を保てます。
パイプラインではなく、プロンプトを改善する。
プロンプトをラベルでバージョン管理し、A/Bテストを行い、1回の操作でロールバック。まずプレイグラウンドで試してみてください。実際のゲートウェイで動作するため、検証した内容がそのままリリースされます。