모델 이름 하나. 그 뒤에 모든 모델이 있습니다.
클라이언트를 orcarouter/auto로 연결하면 모든 프롬프트가 평가되어 품질 기준을 충족하는 모델 중 가장 저렴한 모델로 전송됩니다. 시맨틱 임베딩은 선택적 업그레이드로 제공됩니다.
- 워크스페이스당 네 가지 목표 — 최저가, 균형, 품질, 또는 자체 트래픽에서 최적 트레이드오프를 학습하는 적응형 중 선택할 수 있습니다.
- 온라인 학습: 라우터는 고정된 벤치마크 결과가 아닌 실시간 프로덕션 결과를 바탕으로 지속적으로 업데이트됩니다.
- 라우팅은 기본 경로에서 1ms 미만이며, 시맨틱 임베딩을 켜면 임베딩 호출 시간이 추가됩니다. 어느 쪽이든 품질 등급과 선택된 모델은 모든 영수증에 기록됩니다.
40개 이상의 공급자, 단일 엔드포인트
동일한 OpenAI 호환 요청이 어떤 공급자에도 전달되며, 상태 인식 기반 부하 분산으로 가용 중인 공급자에 트래픽을 고르게 분배합니다. 채널별 상태, 가중치, 우선순위 설정을 통해 비정상 업스트림을 자동으로 로테이션에서 제외하고, 공급자별 특이사항은 어댑터에서 정규화되므로 클라이언트 코드에 분기 처리가 필요하지 않습니다.
이름 하나. 모든 모델.
한 번만 orcarouter/auto라고 적으면 끝입니다. 이후부터는 각 프롬프트가 전달되는 과정에서 내용이 분석되고, 가장 적은 비용으로 가장 적합하게 답할 수 있는 모델로 자동 전송됩니다. 화요일에 새 최신 모델이 출시되면 별도 마이그레이션도, 클라이언트 배포도, 회의도 없이 트래픽이 바로 활용하기 시작합니다.
블랙박스가 아닌, 기본 설정.
워크스페이스가 실제로 원하는 목표를 설정하세요. 최저 비용, 최고 품질, 균형, 또는 다른 서비스의 벤치마크가 아닌 자체 트래픽에서 절충점을 학습하는 적응형 중에서 선택할 수 있습니다. 모든 결정은 해당 결정을 이끈 등급과 함께 영수증에 기록됩니다.