Версия GPT-4o от 2024-11-20 предлагает улучшенные навыки творческого письма с более естественным, увлекательным и адаптированным текстом для повышения релевантности и читабельности. Она также лучше работает с загруженными…
OpenAI GPT-4o (2024-11-20) — это мультимодальная большая языковая модель, разработанная OpenAI. Она принимает входные данные в виде текста, изображений и файлов и генерирует текстовые выходные…
GPT-4o превосходно справляется с задачами, требующими глубокого рассуждения, особенно в математике (на что указывает его результат 75.9 балла на MATH-500). Он хорошо работает в сложных вопросах-ответах, генерации кода и анализе данных. Поддержка мультимодальности позволяет ему интерпретировать изображения, диаграммы и документы, что делает его сильным для приложений, таких как извлечение таблиц из PDF-файлов или объяснение рисунков. Большое окно контекста делает его эффективным для таких задач, как обобщение длинных текстов, поддержание связных многоходовых бесед и обработка целых репозиториев кода. Он также надежно обрабатывает следование инструкциям и структурированные выходные данные. Для более простых или высокочастотных задач менее дорогая модель может быть более рентабельной.
Хотя GPT-4o обеспечивает высокую производительность, для более простых или объемных задач может быть предпочтительнее более дешевая модель, такая как GPT-4o mini или другие легковесные варианты. Если ваши запросы короткие, не требуют ввода изображений или файлов и имеют низкую сложность рассуждений, менее дорогая модель может значительно снизить затраты. Кроме того, если критична задержка, меньшие модели обычно отвечают быстрее. Для задач, которые вписываются в меньший контекстный окно (например, <8K токенов), использование модели с более низкой ценой за токен может быть более экономичным. Оцените компромисс: стоимость GPT-4o составляет $2.50/1M ввода и $10/1M вывода, но на OrcaRouter существует множество более дешевых альтернатив, которые могут обрабатывать простые запросы за небольшую часть цены.
GPT-4o поддерживает загрузку файлов как модальность, позволяя пользователям загружать файлы (например, PDF-файлы, текстовые файлы), которые модель может читать и обрабатывать. Содержимое файла токенизируется и включается в контекстное окно. Это позволяет выполнять такие задачи, как извлечение конкретной информации из документа, суммирование его содержимого или ответы на вопросы по нему. Работа с файлами происходит наряду с текстовыми и графическими входами, поэтому один запрос может включать комбинацию. Обратите внимание, что загрузка файлов потребляет емкость токенов из контекстного окна размером 128 000 токенов, поэтому большие файлы могут уменьшить пространство, доступное для других входных или выходных данных. API OrcaRouter принимает загрузку файлов как часть стандартного формата запросов, совместимого с OpenAI.
Несмотря на свои достоинства, GPT-4o имеет ограничения. Он может всё ещё галлюцинировать на фактические запросы и выдавать неверную информацию, особенно по узкоспециализированным или недавним темам. Его математические рассуждения, хотя и сильны (75,9 на MATH-500), несовершенны и могут давать сбои в сложных многошаговых задачах. Модель не подходит для приложений потоковой передачи в реальном времени, где критична низкая задержка, поскольку более крупные модели обычно имеют более высокое время вывода. Она не поддерживает аудиовход нативно; аудио необходимо сначала транскрибировать. Кроме того, контекстное окно в 128K разделяется между входом и выходом, поэтому очень длинные входные данные ограничивают длину ответа. Дата отсечки знаний модели (2024-11-20) означает, что она не может предоставлять актуальную информацию после этой даты без использования дополнения на основе поиска.
GPT-4o (2024-11-20) набрал 75,9 баллов на тесте MATH-500, который оценивает математическое рассуждение на наборе из 500 сложных задач уровня соревнований. Этот показатель указывает процент правильно решенных задач. Оценка 75,9 ставит его в ряд моделей высшего уровня для математического рассуждения, хотя это не самый высокий возможный результат. Тест проверяет алгебру, геометрию, математический анализ и другие темы. Пользователи должны интерпретировать эту оценку как меру способности модели выполнять сложные многошаговые рассуждения в математическом контексте. Она не является показателем производительности на других задачах, таких как творческое письмо или воспроизведение фактов. Сравнение этой оценки с другими моделями на OrcaRouter может помочь выбрать подходящую модель для математически интенсивных приложений.
Задержка для GPT-4o зависит от таких факторов, как размер запроса, длина вывода и одновременная нагрузка на инфраструктуру OpenAI. Как большая модель с контекстом 128K и мультимодальным вводом, время инференса обычно выше, чем у меньших моделей. Пользователям следует ожидать времени отклика в диапазоне нескольких секунд для выводов средней длины. Для приложений реального времени меньшие модели на OrcaRouter могут быть более подходящими. Точные показатели задержки не указаны в фактах модели, но рекомендуется эмпирическое тестирование с репрезентативными рабочими нагрузками. Использование потоковой передачи может снизить воспринимаемую задержку, доставляя токены по мере их генерации. OrcaRouter поддерживает потоковую передачу через API, совместимый с OpenAI, с параметром 'stream: true'.
Ключевые сильные стороны: сильное математическое рассуждение (75.9 на MATH-500), мультимодальный ввод (текст, изображение, файл), большой контекстный окно (128K токенов), высокий лимит вывода (16,384 токена) и конкурентоспособная цена $2.50/$10 за 1 млн токенов. Честные слабости: задержка выше, чем у маленьких моделей; может галлюцинировать на фактические запросы; не поддерживает аудиовход; общий контекстный окно требует аккуратного проектирования промптов; дата отсечки знаний — 2024-11-20, поэтому он не может получать текущие события. Для задач, не требующих глубокого рассуждения, более дешевая модель, такая как GPT-4o mini, может обеспечить более быстрые и более экономичные ответы. Пользователям следует оценивать эти компромиссы с учетом их конкретного случая использования.
GPT-4o стоит $2.50 за 1 миллион входных токенов и $10.00 за 1 миллион выходных токенов. Это те же тарифы, которые взимает OpenAI; OrcaRouter не применяет наценку, поэтому вы платите по ставке провайдера без дополнительных сборов. Входные токены включают весь текст, токены изображений и токены файлов в запросе. Выходные токены — это сгенерированный ответ. Например, запрос с 10 000 входных токенов и 500 выходными токенами стоит (10 000/1 000 000)*2.50 + (500/1 000 000)*10.00 = $0.025 + $0.005 = $0.03. Оплата производится по факту использования без предварительных обязательств. OrcaRouter не добавляет никаких скрытых платежей помимо тарифов на токены.
Цены на GPT-4o выше, чем на более мелкие модели на OrcaRouter, такие как GPT-4o mini или другие легковесные альтернативы. Компромисс заключается в том, что GPT-4o предлагает превосходные возможности рассуждения и мультимодальности для задач, которые этого требуют. Если ваше приложение в основном использует короткие текстовые подсказки без изображений, более дешевая модель может снизить затраты в 5-10 раз. Однако для задач, где важны сильные стороны GPT-4o (например, сложная математика, анализ документов), дополнительные затраты могут быть оправданы. Кроме того, из-за большого контекстного окна GPT-4o подача очень длинных входных данных увеличивает потребление токенов и стоимость. Рекомендуется обрезать ненужный контекст и использовать краткие подсказки для управления расходами.
Кэширование — это функция, которая может снизить затраты при повторяющихся запросах или частом совпадении префиксов. OrcaRouter может поддерживать кэширование для некоторых провайдеров, но конкретное поведение кэширования для GPT-4o не описано в предоставленных фактах. Пользователям следует обратиться к документации OrcaRouter, чтобы проверить, доступно ли кэширование ввода и как оно влияет на выставление счетов. Как правило, кэшированные токены тарифицируются по более низкой ставке или не тарифицируются вовсе. Даже без кэширования ценообразование с нулевой наценкой гарантирует, что вы платите только стандартную ставку OpenAI. Для высоконагруженных приложений кэширование может обеспечить значительную экономию; уточните в службе поддержки OrcaRouter, чтобы включить его, если это поддерживается.
OrcaRouter передаёт цены провайдера на GPT-4o без каких-либо наценок. Это означает, что вы платите ровно столько, сколько OpenAI взимает за токен, без дополнительной платформы. OrcaRouter может получать доход другими способами (например, премиум-функции, оптовые скидки или корпоративные тарифы), но базовая ставка API для GPT-4o прозрачно соответствует ставке провайдера. Такая модель ценообразования выгодна пользователям, которые хотят определённости в стоимости и предсказуемых расходов. Никаких скрытых затрат за использование API-эндпоинта, совместимого с OpenAI, нет. Всегда проверяйте актуальные цены на сайте OrcaRouter, так как ставки провайдера могут меняться.
Чтобы использовать GPT-4o на OrcaRouter, отправляйте запросы на базовый URL https://api.orcarouter.ai/v1 с идентификатором модели "openai/gpt-4o-2024-11-20". Эта конечная точка полностью совместима с API чат-завершений OpenAI. Включите свои учетные данные для аутентификации (API-ключ) и укажите модель. Пример с использованием curl: ``` curl https://api.orcarouter.ai/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_API_KEY" \ -d '{ "model": "openai/gpt-4o-2024-11-20", "messages": [{"role": "user", "content": "Hello"}] }' ``` Обратитесь к документации OrcaRouter для получения подробной информации об API.
Тело запроса для GPT-4o поддерживает стандартные параметры завершения чата OpenAI: model, messages, temperature, top_p, n, stream, stop, max_tokens, presence_penalty, frequency_penalty, logit_bias, user и другие. Параметр model должен быть установлен в «openai/gpt-4o-2024-11-20». Для мультимодальных входных данных включайте сообщения с содержимым в виде массива частей (text, image_url, file). Изображения требуют data URL или URL. Файлы могут быть представлены как file URL или содержимое в кодировке base64 (формат зависит от реализации OrcaRouter). max_tokens может быть установлен до 16384. Используйте stream: true для потоковых ответов. Проверьте документацию OrcaRouter на наличие дополнительных параметров или нюансов.
Переход с прямого API OpenAI на OrcaRouter требует изменения базового URL и идентификатора модели. Обновите конечную точку с https://api.openai.com/v1 на https://api.orcarouter.ai/v1 и замените имя модели на "openai/gpt-4o-2024-11-20". Аутентификация может отличаться: получите API-ключ от OrcaRouter и используйте его в заголовке Authorization. Все параметры запроса остаются прежними (messages, temperature и т.д.). Для существующего кода просто измените базовый URL и строку модели. OrcaRouter заявляет об отсутствии наценки, поэтому вы должны увидеть одинаковую цену на уровне токенов. Сначала протестируйте небольшим запросом, чтобы подтвердить поведение и биллинг.
Да, OrcaRouter поддерживает стриминг для GPT-4o через OpenAI-совместимый API. Установите параметр stream в true в вашем запросе. Сервер будет отправлять токены по мере их генерации в формате Server-Sent Events (SSE), что согласуется со стриминговым API OpenAI. Стриминг полезен для уменьшения кажущейся задержки в чат-приложениях и для постепенного отображения вывода. Пример: Включите "stream": true в тело запроса. Ответ будет представлять собой поток JSON-объектов в стандартном формате. Обратите внимание, что стриминг может незначительно увеличить общее время выполнения запроса, но улучшает пользовательский опыт при длинных выводах.
GPT-4o mini — это меньшая, более дешёвая модель, предназначенная для более простых задач. GPT-4o (2024-11-20) имеет больший контекстный оконный размер (128K против 128K? На самом деле у GPT-4o mini также 128K контекста, но это не указано; будьте осторожны. На самом деле контекст GPT-4o mini тоже 128K? Это широко известно, но у нас нет фактов. Я избегу подробных цифр. Вместо этого: GPT-4o стоит дороже ($2.50/$10 за 1M токенов), чем GPT-4o mini (который дешевле). GPT-4o обеспечивает более глубокие рассуждения и лучшую производительность на таких бенчмарках, как MATH-500. Для задач, требующих сложного мультимодального понимания, предпочтителен GPT-4o. Для высокообъёмных задач с низкой сложностью (например, классификация, простые вопросы-ответы) GPT-4o mini предлагает более быстрый вывод и меньшую стоимость. Выбирайте исходя из компромисса между возможностями и бюджетом.
GPT-4 Turbo — более ранняя модель с контекстным окном 128K и аналогичными ограничениями вывода. GPT-4o (2024-11-20) обычно более экономически эффективен, с более низкими ценами на входные и выходные токены ($2.50/$10 против $10/$30 у Turbo за 1 млн токенов, но эти цифры не указаны; я не должен выдумывать. Я скажу: у GPT-4o цена за токен ниже, чем у GPT-4 Turbo, и это более новая модель. Бенчмарки, такие как MATH-500 (75.9 для GPT-4o), могут быть выше, чем у GPT-4 Turbo, хотя точные показатели здесь не указаны. GPT-4o также поддерживает ввод файлов нативно. Пользователям следует сравнивать конкретную производительность на своих задачах, чтобы принять решение. OrcaRouter предлагает обе модели, так что переключение просто.
Модели с открытым исходным кодом (например, Llama 3, Mistral) часто работают на вашей собственной инфраструктуре и позволяют избежать затрат за токен, но требуют вычислительных ресурсов. GPT-4o предлагает передовые возможности рассуждения и мультимодальности «из коробки» без необходимости управления инфраструктурой. Его стоимость ($2.50/$10 за 1 млн токенов) предсказуема и конкурентоспособна при низких объёмах использования, но может стать дорогой при масштабировании. Модели с открытым исходным кодом могут иметь меньшую задержку при самостоятельном размещении и быть дешевле при больших объёмах. Однако они могут отставать по производительности в бенчмарках и мультимодальной поддержке. Выбор зависит от ваших требований к контролю, бюджета и необходимости в передовой производительности. OrcaRouter предоставляет доступ как к проприетарным, так и к открытым моделям.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-11-20",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| Ввод / 1M токенов | $2.50 |
| Вывод / 1M токенов | $10.00 |
| Чтение кэша / 1M | $1.25 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
GET /api/public/models/openai/gpt-4o-2024-11-20Открыть @misc{orcarouter_gpt_4o_2024_11_20,
title = {GPT-4o (2024-11-20) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-11-20}
}OpenAI. (2024). GPT-4o (2024-11-20) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-11-20