Одно имя модели. За ним — все модели.
Направьте клиента на orcarouter/auto, и каждый запрос будет оценён и отправлен модели, которая соответствует вашей планке качества по минимальной цене — с семантическими эмбеддингами как дополнительной опцией.
- Четыре цели на воркспейс — «Дешевле всего», «Баланс», «Качество» или «Адаптивный», который обучается на вашем трафике.
- Онлайн-обучение: маршрутизатор непрерывно обновляется на основе живых результатов продакшена, а не замороженных бенчмарков.
- Маршрутизация по умолчанию добавляет менее 1 мс; при включённом семантическом эмбеддинге добавляется ещё и вызов эмбеддинга. В обоих случаях оценка и выбранная модель попадают в каждую квитанцию.
40+ провайдеров, один эндпоинт
Один и тот же OpenAI-совместимый запрос доходит до любого провайдера, а балансировка с учётом состояния здоровья распределяет нагрузку между доступными. Здоровье, вес и приоритет каждого канала автоматически выводят нездоровые апстримы из ротации, а адаптер нормализует особенности конкретных провайдеров — клиентский код не ветвится никогда.
Одно имя. Все модели.
Вы один раз пишете orcarouter/auto. Дальше каждый запрос анализируется по пути и отправляется в ту модель, которая ответит лучше всего за наименьшие деньги. Выходит новая флагманская модель в обычный вторник — и ваш трафик начинает её использовать: без миграции, без нового релиза, без совещаний.
Настройка по умолчанию, а не чёрный ящик.
Укажите рабочему пространству цель, которая вам действительно нужна: «Дешевле», «Качество», «Баланс» или «Адаптивно» — режим, который учится на вашем собственном трафике, а не на чужих бенчмарках. Каждый выбор системы отражается в квитанции вместе с оценкой, которая его обусловила.