OpenAI's gpt-3.5-turbo-1106 через OrcaRouter: 16K контекст, 46.2 MMLU-Pro, $1/$2 за 1M токенов, ценообразование без наценки.
gpt-3.5-turbo-1106 — это конкретный снимок модели GPT-3.5 Turbo от OpenAI, выпущенный в ноябре 2023 года. Это текстовая модель, то есть она принимает и генерирует только текст, а не изображения или…
Эта модель отлично справляется с задачами генерации текста общего назначения: ответы на вопросы, ведение диалога, обобщение документов, перевод текста, создание творческих текстов и предоставление объяснений. Она поддерживает вызов функций, что позволяет ей выводить структурированные данные и взаимодействовать с внешними инструментами или API на основе предоставленных схем функций. Также она может обрабатывать многоходовые беседы с контекстным окном до 16K токенов. Для задач, требующих высокой точности по фактологическим запросам, генерации кода или структурированных рассуждений, она показывает хорошие результаты, но иногда может давать менее точные результаты, чем более крупные модели.
Функциональный вызов в gpt-3.5-turbo-1106 позволяет модели генерировать структурированные JSON-результаты на основе определений функций, которые вы предоставляете в запросе. Когда вы включаете список функций с именами, описаниями и схемами параметров, модель может решить вызвать одну или несколько функций, возвращая объект function_call. Это полезно для создания агентов, которым необходимо выполнять запросы к базам данных, вызывать API или выполнять действия. Эта функция была улучшена в снимке 1106 по сравнению с более ранними версиями, что сделало её более надёжной и сократило избыточное использование инструментов. OrcaRouter поддерживает все параметры вызова функций, совместимые с OpenAI.
Если ваш вариант использования включает очень простые задачи с очень большим объемом, вы можете рассмотреть еще более дешевую модель, такую как gpt-3.5-turbo-0125 (та же цена, но новее) или меньшие модели с открытым исходным кодом, предлагаемые через OrcaRouter. С другой стороны, если вам нужны значительно лучшие рассуждения, фактическая точность, мультимодальный ввод (изображения, аудио) или больший контекстный окно (128K токенов), рассмотрите возможность обновления до gpt-4o или gpt-4-turbo. gpt-3.5-turbo-1106 является сбалансированным выбором для большинства текстовых приложений, где стоимость за токен является основной проблемой.
MMLU-Pro — это вариант эталонного теста Massive Multitask Language Understanding, включающий 57 предметов с более сложным набором вопросов. Оценка 46,2 означает, что модель правильно ответила на 46,2% тестовых вопросов. Это умеренный результат, отражающий общие знания модели в различных областях. Для сравнения, более крупные модели, такие как GPT-4, обычно набирают выше 80 баллов в аналогичных тестах. Эта оценка помогает задать ожидания: gpt-3.5-turbo-1106 обладает определёнными возможностями, но не является передовым решением для глубоких рассуждений или специализированных знаний.
Другие бенчмарки для этой модели не приводятся, но из общедоступных источников известно, что gpt-3.5-turbo-1106 показывает отличные результаты по тестам MMLU, HumanEval (генерация кода) и задачам суммаризации по сравнению с аналогами своего размера. Эта модель считается одной из лучших среди открытых по соотношению цены и производительности. Пользователи могут ожидать хороших результатов в типовых задачах NLP, но при этом стоит учитывать, что модель может уступать GPT-4 в сложных рассуждениях, математике и многошаговых инструкциях. В отношении фактической достоверности модель может выдавать правдоподобные, но неверные ответы, поэтому для критически важных задач рекомендуется верификация.
Конкретные значения задержки не указаны. Однако, как текстовая модель с относительно небольшим количеством параметров (по сравнению с GPT-4), gpt-3.5-turbo-1106 обычно обеспечивает низкую задержку вывода, часто выполняя короткие ответы менее чем за секунду при умеренной нагрузке. Пропускная способность может быть высокой, что делает её подходящей для приложений реального времени в сочетании с потоковой передачей. Инфраструктура OrcaRouter обеспечивает надежное подключение к конечным точкам OpenAI. Для получения наиболее точных ожиданий по задержке пользователям следует проводить бенчмаркинг своих собственных сценариев использования с помощью API OrcaRouter.
Ключевые ограничения включают: максимальный вывод в 4096 токенов, что ограничивает длину генерации; отсутствие мультимодальных возможностей (не может обрабатывать изображения или аудио); склонность к галлюцинациям на малоизвестных фактах; а также ограниченная глубина рассуждений для сложных задач. Окно контекста модели в 16K токенов, хоть и щедрое, меньше, чем у некоторых альтернатив (например, 128K). Также оно имеет более низкий порог актуальности знаний по сравнению с более поздними снимками (январь 2023 года). На adversarial или двусмысленных запросах модель может выдавать предвзятые или небезопасные результаты. Разработчикам следует внедрить соответствующие защитные механизмы и человеческий контроль для использования в производственной среде.
Ценообразование для openai/gpt-3.5-turbo-1106 через OrcaRouter осуществляется по тарифу провайдера без наценки. А именно, входные токены стоят $1.00 за 1 миллион токенов, а выходные токены — $2.00 за 1 миллион токенов. Это касается всех запросов, включая потоковую передачу. Дополнительные платформенные сборы отсутствуют. Стоимость рассчитывается на основе количества токенов в запросе (ввод) и сгенерированном ответе (вывод). Как кэшированные, так и некэшированные запросы тарифицируются по одинаковой ставке. Вы можете отслеживать использование через панель управления OrcaRouter.
Для приложений, требующих множества коротких взаимодействий (например, беседы с чат-ботом), стоимость одного сообщения низкая, поскольку каждый запрос потребляет мало токенов. Для задач, связанных с длинными запросами или генерацией длинных ответов, стоимость линейно масштабируется с количеством токенов. По сравнению с GPT-4 (который может быть в 10-30 раз дороже), gpt-3.5-turbo-1106 экономичен при больших объемах. Однако если задачу можно решить с меньшим количеством токенов, используя более дешевую модель, это может быть еще более рентабельным. Ценообразование OrcaRouter с нулевой наценкой гарантирует, что вы платите только то, что взимает OpenAI.
Никакие специальные программы кеширования или скидок для данной модели на OrcaRouter не упоминаются. Все запросы тарифицируются по стандартной ставке провайдера. Некоторые платформы предлагают кеширование запросов (prompt caching) для снижения затрат на повторяющиеся вводы, но документация OrcaRouter не указывает на наличие такой функции для этой модели. Пользователям следует соответствующим образом планировать использование токенов. При очень больших объемах может быть целесообразно связаться с OrcaRouter напрямую, чтобы узнать о скидках за объем, хотя ни одна из них не рекламируется. Сама нулевая наценка уже обеспечивает прозрачную базовую стоимость.
Чтобы сделать запрос, отправьте POST-запрос на https://api.orcarouter.ai/v1/chat/completions с телом JSON, содержащим поле model, установленное в 'openai/gpt-3.5-turbo-1106', и массив messages (с role и content). Включите ваш ключ API OrcaRouter в заголовок Authorization (Bearer <key>). Необязательные параметры включают temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream и functions. Ответ следует формату завершения чата OpenAI. Пример с использованием библиотеки Python openai: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Эта модель поддерживает те же параметры, что и OpenAI's gpt-3.5-turbo-1106. Ключевые параметры включают: messages (обязательный массив объектов с role, content, опционально name), max_tokens (по умолчанию бесконечно, но ограничено 4096), temperature (0-2, по умолчанию 1), top_p (0-1, по умолчанию 1), n (количество вариантов, по умолчанию 1), stream (логическое значение), stop (строка или массив до 4 строк), presence_penalty (-2 до 2), frequency_penalty (-2 до 2), logit_bias (карта идентификаторов токенов к bias), user (строка для идентификации конечного пользователя), functions (массив объектов функций), function_call (auto/none или конкретная функция). Все они поддерживаются через OrcaRouter.
Миграция требует всего двух изменений в вашем существующем коде на основе OpenAI. Во-первых, измените базовый URL с https://api.openai.com/v1 на https://api.orcarouter.ai/v1. Во-вторых, замените ваш ключ API OpenAI на ключ API OrcaRouter. Форматы запросов и ответов идентичны, поэтому изменять структуру полезной нагрузки не нужно. После обновления этих двух настроек вся существующая логика для chat completions, вызова функций и потоковой передачи продолжит работать. Вы также можете использовать те же клиентские библиотеки OpenAI (например, Python openai, Node.js openai), передав новые base_url и api_key.
OrcaRouter возвращает стандартные HTTP-коды состояния и сообщения об ошибках, совместимые с API OpenAI. Распространенные ошибки: 401 (неавторизован), 429 (превышен лимит запросов), 500 (ошибка сервера). Ограничения скорости устанавливаются OrcaRouter в зависимости от вашего тарифа; подробности см. в документации OrcaRouter. Поскольку базовая модель размещена на OpenAI, ошибки от провайдера передаются прозрачно (например, 400 — недопустимые параметры, 503 — перегрузка). Рекомендуется реализовать экспоненциальную отсрочку для ошибок 429 и 5xx. Ошибки потоковой передачи сигнализируются обрыванием потока; обратите внимание на finish_reason в последнем чанке.
Снимок 0125 — это более новая версия GPT-3.5 Turbo, выпущенная в январе 2025 года. Она предлагает те же цены и текстовый режим, но включает более актуальную дату отсечки знаний и, возможно, улучшенную согласованность и фактическую точность. Обе модели имеют одинаковый контекстный размер в 16K и лимит вывода в 4K. Обычно gpt-3.5-turbo-0125 рекомендуется для новых проектов вместо версии 1106 из-за её свежести, но снимок 1106 остаётся доступным для обеспечения совместимости. Для обеих моделей не предоставлены бенчмарки, кроме 46,2 MMLU-Pro для 1106; пользователи могут протестировать обе для своего конкретного случая использования.
gpt-4o — это более производительная модель OpenAI, поддерживающая ввод текста, изображений и аудио, с контекстным окном 128K и максимальным выводом 16K токенов. Она показывает значительно лучшие результаты в бенчмарках на логическое рассуждение и более надёжна для сложных задач. Однако она существенно дороже: примерно в 10–15 раз выше стоимость за токен по сравнению с gpt-3.5-turbo-1106. Для приложений, где не требуется высокая точность и мультимодальность, gpt-3.5-turbo-1106 обеспечивает лучшую экономическую эффективность. Если вам нужны расширенные возможности, обновление до gpt-4o через OrcaRouter выполняется просто — достаточно изменить идентификатор модели на 'openai/gpt-4o'.
Сопоставимые модели от других провайдеров включают Anthropic's Claude 3 Haiku (только текст, аналогичная скорость и стоимость) и Google's Gemini 1.5 Flash. У каждой свои форматы API, но к ним можно получить доступ через OrcaRouter. gpt-3.5-turbo-1106 широко применяется и интегрирован во множество инструментов. Его поддержка вызова функций является зрелой. Однако такие модели, как Claude 3 Haiku, могут предлагать более широкие контекстные окна (200K) при аналогичной цене, в то время как Gemini 1.5 Flash предоставляет мультимодальные возможности. Выбор зависит от совместимости экосистемы, конкретных показателей производительности и требований к задержке. OrcaRouter позволяет опробовать разные модели в рамках одного формата API.
Выберите gpt-3.5-turbo-1106, когда вам нужна надежная, экономичная текстовая модель, которая широко совместима с существующими инструментами и поддерживает вызов функций. Она идеально подходит для высоконагруженных приложений, где каждый запрос относительно короток и не требует глубоких рассуждений. Избегайте её, если вам нужны мультимодальные входные данные, более широкий контекстный окно или более высокая фактическая точность по сложным темам. Если вам нужна самая свежая дата обрезания знаний, отдавайте предпочтение gpt-3.5-turbo-0125. Для максимальной производительности выбирайте gpt-4o. Каталог моделей OrcaRouter позволяет легко переключаться между этими вариантами без изменения кода.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Ввод / 1M токенов | $1.00 |
| Вывод / 1M токенов | $2.00 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
О чём говорят разработчики на этой неделе
GET /api/public/models/openai/gpt-3.5-turbo-1106Открыть @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106