OpenAI GPT‑4 Turbo с контекстом 128K, ввод текста/изображений, доступ через API OrcaRouter.
openai/gpt-4-turbo-2024-04-09 является конкретной версией модели OpenAI GPT-4 Turbo, выпущенной 9 апреля 2024 года. Она принимает как текстовые, так и графические входные данные и предлагает…
Модель может выполнять широкий спектр задач обработки естественного языка: обобщение, перевод, ответы на вопросы, генерацию кода и написание творческих текстов. Благодаря контексту в 128K токенов она может анализировать целые книги или большие кодовые базы за один проход. Она также обрабатывает изображения, поэтому может отвечать на вопросы о фотографиях, диаграммах или отсканированных документах. Высокая производительность модели на MATH-500 (73.7) указывает на то, что она может пошагово решать сложные математические задачи. Для достижения наилучших результатов давайте четкие инструкции и используйте системное сообщение для настройки поведения. Модель доступна через API OrcaRouter по адресу https://api.orcarouter.ai/v1 с идентификатором модели "openai/gpt-4-turbo-2024-04-09".
GPT-4 Turbo мощный, но относительно дорогой: $10 за миллион входных токенов и $30 за миллион выходных токенов. Для задач, не требующих глубоких рассуждений или обширного контекста, более легкая модель, такая как GPT-3.5 Turbo (цена около $0.5–$1.5 за миллион токенов), может быть достаточной и гораздо более экономичной. Примеры включают простую классификацию текста, базовые чат-боты или генерацию короткого контента. Кроме того, если вашему приложению не нужен мультимодальный ввод или очень большой контекст, меньшая модель может снизить задержку и стоимость. OrcaRouter позволяет переключаться между моделями, изменяя идентификатор модели в вызове API.
Да, GPT-4 Turbo (2024-04-09) принимает изображения в дополнение к тексту. Вы можете предоставлять изображения в виде данных в формате base64 или URL-адресов в запросе API. Модель может интерпретировать содержимое фотографий, диаграмм, графиков и текст на изображениях (например, скриншоты). Это делает её подходящей для задач компьютерного зрения, таких как подписи к изображениям, ответы на вопросы по изображениям и анализ документов, включающих отсканированные страницы. При использовании изображений токенная стоимость включает визуальные токены изображения — обычно каждое изображение потребляет количество токенов, пропорциональное его разрешению. Точный расчет токенов определяется OpenAI; обратитесь к их документации за подробностями. Через OrcaRouter вы отправляете запрос в том же формате, что и API OpenAI.
Окно контекста в 128K токенов (примерно 96 000 слов) идеально подходит для задач, требующих понимания очень длинных последовательностей. Например, обработка целой книги или объёмного юридического документа в одном API-вызове, анализ полного репозитория кода или поддержание истории диалога на сотни оборотов. Оно также позволяет использовать такие техники, как "chain-of-thought" подсказки для длинных цепочек рассуждений. Однако учтите, что сложность внимания модели может увеличить задержку при очень длинных входных данных. Для большинства продакшн-приложений окна контекста 8K–32K часто достаточно; используйте полные 128K только тогда, когда ваша задача действительно выигрывает от расширенной памяти.
Бенчмарк MATH-500 состоит из 500 сложных математических задач, охватывающих алгебру, геометрию, теорию чисел и другие области. Оценка 73.7 указывает на то, что GPT-4 Turbo правильно решил приблизительно 73.7% этих задач. Это сильный результат, ставящий модель в ряд лучших по математическому мышлению. Для контекста, более ранние модели GPT-4 показывали более низкие результаты на аналогичных математических бенчмарках. Эта оценка предполагает, что модель может надежно выполнять пошаговые рассуждения, что полезно для систем обучения, автоматической проверки математических задач и сложного анализа данных. Имейте в виду, что производительность может варьироваться в зависимости от области задачи; модель все еще может допускать ошибки на узкоспециализированных или неоднозначных вопросах.
Точные показатели задержки не публикуются OpenAI для этой модели. В целом, GPT-4 Turbo быстрее оригинального GPT-4, но медленнее маленьких моделей, таких как GPT-3.5 Turbo или GPT-4o Mini. Фактическое время ответа зависит от длины входных данных, длины выходных данных, объема запросов и нагрузки на сервер. OrcaRouter оптимизирует маршрутизацию к конечным точкам OpenAI, но не добавляет дополнительной задержки, кроме сетевого перехода. Для приложений, чувствительных к задержке, рассмотрите возможность использования более быстрой модели с меньшим общим потреблением токенов. Если вам нужны немедленные ответы, вы можете протестировать модель через API OrcaRouter и измерить производительность для вашей конкретной рабочей нагрузки.
Как и все большие языковые модели, GPT-4 Turbo иногда может генерировать неверную или бессмысленную информацию (галлюцинации). Он также может быть многословным, выдавая более длинные ответы, чем необходимо. Хотя модель сильна в математике, она может испытывать трудности с фактической точностью в отношении недавних событий (граница обучающих данных не указана; предполагается, что знания актуальны до начала 2024 года). Модель не поддерживает вызов функций так же, как более новые версии, хотя и принимает шаблоны использования инструментов в формате запроса. Она также не гарантирует последовательное форматирование при различных вызовах. Для критически важных с точки зрения безопасности задач всегда проверяйте выходные данные. OrcaRouter предоставляет модель как есть, без дополнительной фильтрации.
OrcaRouter пропускает цены OpenAI без наценки. Стоимость составляет $10.00 за 1 миллион входных токенов и $30.00 за 1 миллион выходных токенов. Входные токены включают как текстовые, так и графические токены (количество графических токенов определяется алгоритмом OpenAI). Выходные токены — это те, которые генерирует модель. Поскольку наценка отсутствует, указанная цена является точной стоимостью OpenAI. Выставление счетов основано на использовании токенов, зафиксированном OrcaRouter. Дополнительные комиссии или минимальные платежи отсутствуют. Вы можете отслеживать использование на панели управления OrcaRouter и устанавливать лимиты расходов.
OrcaRouter не предоставляет кеширование токенов для этой модели; каждый запрос API оплачивается на основе фактического количества токенов. В настоящее время нет скидок за объем или за гарантированное использование. Ценообразование строго по токенам, как описано. Чтобы снизить затраты, вы можете оптимизировать свои промпты, используя меньше токенов (например, более короткие системные сообщения, усечение ненужного контекста). Альтернативно, для задач, не требующих полной мощности GPT-4 Turbo, рассмотрите возможность использования более дешевой модели, доступной на OrcaRouter, такой как GPT-3.5 Turbo или GPT-4o Mini.
Выходные токены в три раза дороже входных ($30 против $10 за миллион). Поэтому генерация длинных ответов значительно увеличивает общую стоимость. Для чувствительных к стоимости приложений рассмотрите возможность ограничения параметра max_tokens минимально необходимой длиной. Также учтите, что запросы со множеством изображений могут потреблять большое количество входных токенов (каждое изображение может потреблять сотни токенов). Всегда оценивайте использование токенов перед масштабированием. Один вход из 128K токенов будет стоить $1.28 только за вход, плюс $3.84 за выход из 128K токенов (если сгенерирован). На практике типичные запросы используют гораздо меньше токенов.
Вы можете использовать токенизатор OpenAI или встроенный подсчет токенов OrcaRouter. Для текста: 1 токен ≈ 0.75 слова на английском языке. Для изображений потребление токенов зависит от размера и уровня детализации; документация OpenAI содержит формулы. Вы также можете отправить небольшой тестовый запрос и просмотреть поле usage в ответе API (которое включает prompt_tokens, completion_tokens и total_tokens). Умножьте на цены за токен, чтобы получить стоимость. OrcaRouter также показывает стоимость каждого запроса в логах. Имейте в виду, что максимальный объем вывода составляет 4,096 токенов, поэтому стоимость вывода за один запрос ограничена $0.12288 (4,096 * $30/1,000,000).
Используйте OpenAI-совместимый API-эндпоинт OrcaRouter: https://api.orcarouter.ai/v1. Установите параметр model на "openai/gpt-4-turbo-2024-04-09". Включите ваш API-ключ OrcaRouter в заголовок Authorization (Bearer your_key). Формат запроса идентичен API Chat Completions от OpenAI. Пример на Python с библиотекой openai: укажите openai.base_url = "https://api.orcarouter.ai/v1" и openai.api_key = "orcarouter_key". Затем вызовите openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]). Вы можете передавать стандартные параметры, такие как temperature, top_p, max_tokens (максимум 4096).
Поддерживаются все стандартные параметры OpenAI Chat Completions, включая: temperature (0-2, по умолчанию 1), top_p (0-1, по умолчанию 1), max_tokens (до 4096), n (количество завершений), стоп-последовательности, frequency_penalty, presence_penalty и logit_bias. Для мультимодальных запросов включите массив content с типом "text" и "image_url". OrcaRouter передает эти параметры напрямую в API OpenAI. Обратите внимание, что некоторые расширенные функции, такие как вызов функций, могут работать, но официально не документированы для этой версии модели; проверьте на практике. Вы также можете получать ответы в потоковом режиме, установив stream=True, что возвращает события, отправляемые сервером.
Миграция проста: измените базовый URL с https://api.openai.com/v1 на https://api.orcarouter.ai/v1 и замените ваш API-ключ на ключ OrcaRouter. Обновите название модели на "openai/gpt-4-turbo-2024-04-09". Все форматирование сообщений, системные промпты, определения инструментов и т.д. остаются прежними. OrcaRouter выступает в качестве прозрачного шлюза, поэтому ответы идентичны тем, что вернул бы OpenAI (при условии, что модель и параметры совпадают). Вы можете протестировать миграцию, отправив несколько запросов и сравнив результаты. Никаких изменений в вашем промпт-инжиниринге не требуется.
По сравнению с оригинальным GPT-4 (выпущенным в марте 2023 года), GPT-4 Turbo предлагает несколько улучшений: больший контекстный окно (128K против 8K/32K), более низкую цену ($10/$30 против ~$30/$60 за миллион токенов) и более быстрое время ответа. Оценка MATH-500 в 73.7 значительно выше, чем более ранние оценки GPT-4 на аналогичных тестах. Однако некоторые пользователи сообщают, что GPT-4 Turbo может быть немного менее последовательным в следовании инструкциям по форматированию по сравнению с GPT-4. Для большинства задач GPT-4 Turbo является рекомендуемым выбором, если только вам не нужно именно поведение GPT-4. С помощью OrcaRouter вы можете получить доступ к обеим моделям и напрямую сравнивать результаты.
GPT-4o (более поздняя мультимодальная модель OpenAI) предлагает встроенные мультимодальные возможности, более высокую скорость и улучшенное понимание изображений. Также он имеет контекстное окно 128K. GPT-4o в целом дешевле, чем GPT-4 Turbo ($5/$15 за миллион токенов). По MATH-500 GPT-4o обычно показывает более высокие результаты. GPT-4 Turbo остается отличным выбором, если вам нужно конкретное поведение оригинального GPT-4 Turbo или если вы уже оптимизировали свои промпты для него. В OrcaRouter вы можете переключаться между этими моделями, меняя идентификатор модели. Мы рекомендуем протестировать обе модели на вашем случае использования, чтобы определить, какая из них дает лучший баланс точности и стоимости.
Выберите openai/gpt-4-turbo-2024-04-09, если вам нужна надежная, высокопроизводительная модель с очень большим контекстным окном и вы готовы платить больше за превосходные рассуждения. Она особенно сильна в математических задачах (MATH-500 73.7). Если вашему приложению требуется мультимодальный ввод, и GPT-4 Turbo, и GPT-4o его поддерживают, но GPT-4o может быть быстрее и дешевле. Для простых текстовых задач рассмотрите GPT-3.5 Turbo или GPT-4o Mini. OrcaRouter предоставляет широкий каталог; оценивайте стоимость, задержку и качество на своих конкретных данных перед принятием решения.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Ввод / 1M токенов | $10.00 |
| Вывод / 1M токенов | $30.00 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
GET /api/public/models/openai/gpt-4-turbo-2024-04-09Открыть @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09