모든 모델로 출시하세요. 어디에도 종속되지 마세요.
클라이언트 코드 수정, 계약 재협상, 릴리스 배포 없이 기능 내부의 모델을 교체할 수 있습니다.
- 적응형 라우팅이 프롬프트마다 최적 모델을 선택하므로, 다음 달 더 나은 모델이 출시되어도 마이그레이션이 필요 없습니다.
- 프롬프트 버전은 레이블 뒤에서 관리되어, 배포 일정을 기다리지 않고 실험하고 롤백할 수 있습니다.
- 플레이그라운드는 실제 게이트웨이를 그대로 실행하므로, 검증한 것이 곧 배포되는 것입니다.
모델 선택은 나중에.
AI 기능을 출시할 때 가장 어려운 부분은 트래픽 패턴을 알기 전에 모델을 확정해야 한다는 것입니다. 단일 엔드포인트를 통해 라우팅하면 그 결정이 되돌릴 수 있는 상태로 유지됩니다 — 릴리스 없이, 매주.
파이프라인이 아닌 프롬프트를 반복하세요.
레이블로 프롬프트 버전을 관리하고, A/B 테스트하고, 한 번의 동작으로 롤백하세요. 먼저 플레이그라운드에서 전체를 시험해 보세요 — 실제 게이트웨이로 실행되므로, 검증한 것이 곧 배포하는 것입니다.