Последняя модель GPT-4 Turbo с возможностями зрения. Запросы с изображениями теперь могут использовать режим JSON и вызов функций. Обучающие данные: до декабря 2023 года.
GPT-4 Turbo — это большая языковая модель, выпущенная OpenAI, которая обрабатывает как текстовые, так и графические входные данные. Она основана на архитектуре GPT-4, но увеличивает контекстное окно…
GPT-4 Turbo демонстрирует высокие способности к рассуждению, особенно в математике (оценка MATH-500 — 73,7), генерации кода и решении многошаговых задач. Модель способна следовать сложным инструкциям в ходе длительных диалогов, сохранять связность на протяжении тысяч токенов и генерировать последовательные технические объяснения. Она также может анализировать изображения — такие как скриншоты, диаграммы и печатный текст — если на вход подаются данные с изображениями. Однако модель не специализирована для всех областей; для простых задач классификации или извлечения данных может быть достаточно и более экономично использовать меньшую модель, например GPT-3.5 Turbo.
Окно контекста размером 128 000 токенов позволяет обрабатывать большие документы — целые книги, длинные юридические контракты, полные репозитории кода или длинные диалоги — без необходимости разбивать содержимое на части. Например, можно вставить полную научную статью и задавать вопросы по любому разделу, не теряя при этом более ранние фрагменты. Это особенно ценно для таких задач, как обобщение документов, анализ законодательства или отладка крупной кодовой базы, где модели необходимо видеть всю структуру целиком. В OrcaRouter такой контекст тарифицируется как входные токены, поэтому передача документа объемом 100K токенов будет стоить примерно $1.00 за запрос (100K * $10/1M).
GPT-4 Turbo принимает изображения как часть ввода, что позволяет ему понимать визуальный контент, такой как фотографии, диаграммы, иллюстрации и скриншоты. Модель может описывать содержимое изображения, отвечать на вопросы о нем и даже выполнять рассуждения на основе диаграмм (например, интерпретировать блок-схему или график). Изображения обычно передаются в виде URL-адресов или данных в кодировке base64 в формате завершения чата OpenAI. Стоимость обработки изображений включена в счетчик входных токенов, который рассчитывается на основе разрешения изображения и уровня детализации в соответствии с формулой ценообразования OpenAI.
Если ваш вариант использования включает задачи с большим объемом и низкой сложностью — такие как простая классификация текста, базовые вопросы и ответы по коротким контекстам или повторяющаяся извлечение информации — меньшая модель, например GPT-3.5 Turbo или специально доработанная модель, может дать приемлемые результаты при значительно меньших затратах. Цены на GPT-4 Turbo примерно в 20 раз выше, чем на GPT-3.5 Turbo за входной токен, и в 30 раз выше за выходной токен. Для приложений, где важна задержка, GPT-3.5 Turbo также отвечает быстрее. Оцените компромисс между точностью и стоимостью; для многих производственных конвейеров гибридный подход с использованием дешевой модели для фильтрации и GPT-4 Turbo для сложных случаев может оптимизировать расходы.
GPT-4 Turbo набрал 73,7 балла на тесте MATH-500, который оценивает способность модели решать математические задачи уровня средней и старшей школы, охватывающие такие темы, как алгебра, геометрия и исчисление. Этот результат указывает на сильные математические рассуждения, но не является передовым; некоторые специализированные модели или более крупные ансамбли могут превышать 80 баллов. Данный тест полезен для сравнения моделей по способности к систематическому решению задач, а не к генерации текста. На OrcaRouter вы можете проверить это самостоятельно, отправив набор математических задач через API и сравнив результаты.
К сильным сторонам относятся глубокие рассуждения, работа с длинными контекстами и умение генерировать и объяснять код. Также модель показывает хорошие результаты в задачах, сочетающих текст и изображения, например, в интерпретации диаграмм. К ограничениям относится относительно скромный лимит вывода в 4 096 токенов, поэтому для генерации длинных текстов (например, написания целой главы) требуется несколько запросов. В редких случаях модель может давать неверные ответы — она не является безошибочной. Кроме того, из-за более высокой задержки по сравнению с меньшими моделями она может не подходить для приложений реального времени. Данных о скорости не предоставляется, но по отдельным сообщениям модель работает немного медленнее, чем GPT-3.5 Turbo.
Точные значения задержки для GPT-4 Turbo на OrcaRouter не опубликованы; производительность зависит от инфраструктуры провайдера и загрузки запросами. На практике время вывода модели больше, чем у меньших моделей, из-за большего количества параметров и обработки контекста. Для коротких входных данных время ответа обычно составляет несколько секунд, тогда как очень большой контекст (например, 100 тысяч токенов) может значительно увеличить задержку, поскольку модель должна обработать все токены до генерации вывода. OrcaRouter не заявляет о каком-либо ускорении. Пользователям, которым требуется меньшая задержка для интерактивных приложений, возможно, стоит выбрать более быструю модель, в то время как пакетная обработка сложных задач остается осуществимой.
Ценообразование осуществляется за токен: $10.00 за 1 миллион входных токенов и $30.00 за 1 миллион выходных токенов. Это соответствует прямой ставке OpenAI, без дополнительной наценки со стороны OrcaRouter. Входные токены включают системное сообщение, сообщения пользователей, токены изображений и любую историю разговора. Выходные токены — это сгенерированный ответ модели. Общая стоимость запроса вычисляется как (input_tokens * $0.00001) + (output_tokens * $0.00003). Минимальная плата или ежемесячные обязательства отсутствуют; вы платите только за использованные токены.
GPT-4 Turbo значительно дороже, чем модели меньшего размера, такие как GPT-3.5 Turbo ($0,50/$1,50 за 1 млн токенов), но обеспечивает превосходные возможности рассуждения и обработки контекста. Для задач, требующих только базовых возможностей, использование GPT-4 Turbo может привести к ненужным затратам. С другой стороны, по сравнению с оригинальным GPT-4 ($30/$60 за 1 млн токенов), GPT-4 Turbo на 33% дешевле по входным данным и на 50% дешевле по выходным, что делает его более экономичным вариантом для высокопроизводительных требований. Ценообразование OrcaRouter без наценки гарантирует, что вы платите ту же ставку, что и при прямом использовании OpenAI.
OrcaRouter не предлагает никаких специальных скидок, оптовых цен или кэширования ответов для GPT-4 Turbo помимо указанных ставок за токен. Ценообразование прозрачное: вы платите ровно столько, сколько взимает OpenAI, без дополнительных сборов. Скидок за обязательства, предварительной покупки токенов или уровневого ценообразования не предусмотрено. Кэширование запросов или ответов не анонсируется, поэтому каждый запрос тарифицируется по стандартной ставке. Если вы ожидаете очень высоких объёмов, вы можете обратиться в OrcaRouter или рассмотреть возможность использования выделенного конечного API-адреса с собственным слоем кэширования для сокращения повторных затрат на идентичные входные данные.
Стоимость выходных токенов в три раза выше, чем входных ($30 против $10 за 1 млн). Таким образом, длинные генерации могут быстро увеличить счет. Например, генерация ответа из 2000 токенов будет стоить $0.06, а из 4000 токенов — $0.12. Для контроля затрат рассмотрите возможность установки более низкого параметра max_tokens, использования более коротких подсказок или применения итеративного уточнения, когда модель сначала создает короткие выходные данные, а затем расширяет их в отдельном вызове только при необходимости. Для таких задач, как суммаризация, может быть предпочтительнее модель с меньшей стоимостью выходных токенов, если контекст не критичен.
Вы можете вызывать GPT-4 Turbo через совместимый с OpenAI API OrcaRouter. Сначала получите ключ API от OrcaRouter. Затем установите базовый URL на https://api.orcarouter.ai/v1 и используйте идентификатор модели "openai/gpt-4-turbo" в ваших запросах на завершение чата. Например, с помощью OpenAI Python SDK вы создадите клиент с base_url, указывающим на OrcaRouter, и model="openai/gpt-4-turbo". Форматы запросов и ответов идентичны нативному API OpenAI, поэтому для переключения с прямого использования OpenAI требуются минимальные изменения кода.
API поддерживает стандартные параметры завершения чата OpenAI: messages (массив с role и content), temperature (0-2), top_p, n, stream, stop, max_tokens (ограничено 4096), presence_penalty, frequency_penalty, logit_bias, user и function calling/tools. Для входных изображений вы можете включить часть содержимого с типом "image_url" и url. Модель не поддерживает дополнительные параметры, выходящие за рамки спецификации OpenAI. Все параметры работают точно так, как документировано для OpenAI GPT-4 Turbo. Обратите внимание, что параметр max_tokens не может превышать 4096 — это ограничение вывода модели.
Миграция проста: замените базовый URL OpenAI на конечную точку OrcaRouter https://api.orcarouter.ai/v1 и измените название модели на "openai/gpt-4-turbo". Используйте свой ключ API OrcaRouter вместо ключа API OpenAI. Остальной ваш код — форматирование сообщений, стриминг, обработка ошибок — остается без изменений, так как API полностью совместим. Если вы использовали библиотеку OpenAI для Python, вы можете просто установить openai.api_base (или эквивалент в более новых версиях) на URL OrcaRouter. Это позволяет вам тестировать GPT-4 Turbo через OrcaRouter без переписывания какой-либо логики.
GPT-4 Turbo — это эволюция GPT-4 с большим контекстным окном (128K против до 32K в более ранних вариантах GPT-4) и более дешевой ценой за токен: $10/$30 за 1M токенов против $30/$60 за 1M токенов для GPT-4. Обе модели поддерживают зрение, но GPT-4 Turbo также улучшает эффективность и качество рассуждений. В бенчмарках, таких как MATH-500, GPT-4 Turbo набирает 73.7, в то время как оригинальный GPT-4 (с контекстом 8K) набирал около 52.9 на меньшем наборе тестов MATH — числа напрямую не сравнимы из-за разных версий тестов, но улучшение показательно. На OrcaRouter старые модели GPT-4 также доступны по своим ценам.
GPT-3.5 Turbo значительно дешевле ($0.50/$1.50 за 1M токенов) и быстрее, что делает его подходящим для приложений с высоким объёмом и низкой задержкой. Однако у него меньше контекстное окно (16K или 4K в зависимости от версии) и значительно слабее способности к рассуждению, генерации кода и работе с изображениями. Для задач, требующих многошаговых рассуждений или большого контекста, GPT-4 Turbo явно превосходит его. При прямом сравнении математических способностей GPT-3.5 Turbo обычно набирает ниже 30 баллов на MATH-500, тогда как GPT-4 Turbo достигает 73.7. Выбирайте GPT-3.5 Turbo для простых задач и экономии средств, но полагайтесь на GPT-4 Turbo, когда точность или длина контекста критичны.
Прямое сравнение не приводится, но общеизвестно, что Anthropic Claude 3 и Google Gemini 1.5 предлагают схожие возможности. Claude 3 Opus имеет контекстное окно в 200K и сопоставимые рассуждения, в то время как Gemini 1.5 Pro может обрабатывать до 1M токенов. Однако у каждой модели разные цены и производительность. На OrcaRouter вы также можете получить доступ к моделям других провайдеров для сравнения. GPT-4 Turbo остается конкурентоспособным благодаря балансу цены, качества рассуждений и экосистемы разработчиков (OpenAI SDK). Для задач компьютерного зрения и Claude, и Gemini также поддерживают ввод изображений.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Ввод / 1M токенов | $10.00 |
| Вывод / 1M токенов | $30.00 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
GET /api/public/models/openai/gpt-4-turboОткрыть @misc{orcarouter_gpt_4_turbo,
title = {GPT-4 Turbo API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo}
}OpenAI. (2024). GPT-4 Turbo API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo