Версия GPT-4o от 2024-08-06 предлагает улучшенную производительность в структурированных выводах, с возможностью предоставления JSON-схемы в respone_format. Подробнее читайте [здесь](https://openai.com/index/introducing-structured-outputs-in-the-api/). GPT-4o ("o" от "omni") — это...
GPT-4o (2024-08-06) — это версия модели GPT-4o от OpenAI, выпущенная в августе 2024 года. Это мультимодальная большая языковая модель, которая обрабатывает текстовые, графические и файловые входные…
Основные сильные стороны модели заключаются в математических рассуждениях и мультимодальном понимании. Её результат 79,5 на тесте MATH-500 указывает на высокую способность решать сложные математические задачи шаг за шагом. Модель может интерпретировать изображения, диаграммы и графики, предоставляя точные описания или анализ. Окно контекста в 128K позволяет ей обрабатывать большие объёмы информации, такие как целая книга или серия изображений с сопутствующим текстом. Она также поддерживает загрузку файлов, что полезно для таких задач, как извлечение данных из электронных таблиц или чтение файлов с кодом. Эти возможности подкрепляются непрерывной оптимизацией со стороны OpenAI, и модель широко используется в производственных средах.
GPT-4o (2024-08-06) превосходно справляется с задачами, требующими совмещения визуальной и текстовой информации. Примеры включают решение математических задач с диаграммами, анализ скриншотов пользовательских интерфейсов для отчётов об ошибках, извлечение данных из отсканированных документов и подробное объяснение сложных рисунков. Эта модель также эффективна для генерации кода и отладки, когда контекст содержит скриншоты ошибок или структуры файлов. Образовательные приложения выигрывают от её пошаговых рассуждений. Для задач, основанных исключительно на тексте и простых, таких как базовые вопросы-ответы или краткое изложение коротких текстов, может быть достаточно более дешёвой модели, например GPT-4o mini. Эту модель лучше всего использовать для высокоценных, мультимодальных или требующих глубоких рассуждений рабочих процессов.
Для задач, не использующих зрение, обработку файлов или продвинутые рассуждения, более компактная и дешёвая модель оказывается более рентабельной. Например, простые чат-приложения, генерация короткого контента или задачи классификации могут выполняться такими моделями, как GPT-4o mini или GPT-3.5 Turbo. Если ваше приложение обрабатывает только текст и не требует контекстного окна на 128K, модель с меньшим контекстом может снизить задержку и стоимость. Кроме того, если ваши данные не включают изображения или файлы, достаточно текстовой модели. Оцените, оправдывает ли сложность задачи более высокую цену за токен GPT-4o. OrcaRouter предлагает ряд моделей с различными ценовыми категориями, соответствующими разным сценариям использования.
Да, модель принимает файлы на вход. Вы можете загружать такие файлы, как PDF-документы, документы Word, электронные таблицы, изображения и файлы с кодом. Модель извлекает и понимает содержимое этих файлов, рассматривая его как часть контекста. Например, она может читать текст из PDF, интерпретировать числа в CSV или анализировать исходный код в файле .py. При совместной обработке с изображениями модель способна обрабатывать смешанные носители, например документы со встроенными диаграммами. Это особенно полезно для автоматизации извлечения данных, рецензирования документов и анализа кода. Обратите внимание, что обработка файлов учитывается в окне контекста размером 128 000 токенов, поэтому большие файлы могут занимать значительное место.
На бенчмарке MATH-500 модель GPT-4o (2024-08-06) достигла результата 79.5. MATH-500 является подмножеством набора данных MATH, состоящего из 500 сложных математических задач олимпиадного уровня, охватывающих такие темы, как алгебра, геометрия, теория чисел и вероятность. Результат 79.5 указывает на правильные ответы примерно в четырёх из пяти задач. Это ставит её в число лучших моделей для математических рассуждений. Хотя других показателей бенчмарков не приводится, этот показатель демонстрирует силу модели в пошаговых логических выводах и арифметике. Пользователи могут ожидать надёжную производительность в математически насыщенных приложениях, таких как репетиторство, проверка и генерация задач.
Конкретные результаты бенчмарков, помимо MATH-500, не приведены в доступных фактах. Однако GPT-4o как семейство моделей широко известно тем, что показывает конкурентоспособные результаты в ряде стандартных бенчмарков, включая MMLU (массовое многоязычное понимание), HumanEval (генерация кода) и различные задачи на визуально-языковое взаимодействие. Версия от августа 2024 года может включать обновления, улучшающие рассуждения и следование инструкциям. При отсутствии точных цифр пользователям следует обращаться к опубликованным оценкам OpenAI для получения самых актуальных данных. Для практических целей модель считается передовой среди моделей с открытым API в плане комбинированных возможностей работы с текстом и изображениями.
Для этой модели не указаны конкретные показатели задержки или пропускной способности. В целом GPT-4o спроектирован так, чтобы быть быстрее предыдущих версий GPT-4 при сохранении качества. Задержка зависит от таких факторов, как длина входных и выходных данных, количество одновременных запросов и серверная инфраструктура. При доступе через OrcaRouter запросы направляются на серверы OpenAI, и время ответа аналогично прямым вызовам API. Пользователи могут оптимизировать, используя минимально необходимый контекст и устанавливая разумные лимиты max_tokens. Для приложений реального времени рекомендуется тестирование с репрезентативными рабочими нагрузками. OrcaRouter не добавляет дополнительной задержки помимо сетевой маршрутизации.
Сильные стороны: сильное математическое рассуждение (MATH-500 79.5), мультимодальный ввод (текст, изображения, файлы), большое контекстное окно 128K и высокий лимит выходных токенов (16,384). Особенно эффективен для сложных рассуждений, понимания изображений и задач, требующих длинного контекста. Ограничения: более высокая стоимость по сравнению с меньшими моделями; может быть неоптимален для простых задач или задач с низкой задержкой; точность может варьироваться на неоднозначных или плохо оформленных входных данных; визуальные возможности могут плохо работать на искаженных или низкоразрешающих изображениях. Также, как и все LLM, он может выдавать правдоподобные, но неверные ответы, особенно в областях, выходящих за пределы его обучающих данных. Смягчение: проверка выходных данных и использование промпт-инжиниринга.
Цены на GPT-4o (2024-08-06) основаны на использовании токенов. Входные токены тарифицируются по $2.50 за 1 миллион токенов. Выходные токены тарифицируются по $10.00 за 1 миллион токенов. Это тариф провайдера (OpenAI), и OrcaRouter применяет нулевую наценку — вы платите ровно столько же, как если бы обращались к OpenAI напрямую. Токены подсчитываются на основе отправленного и полученного текста. Изображения и файлы потребляют токены пропорционально их размеру и сложности обработки (стоимость токенов для изображений определяется политикой OpenAI). Нет дополнительных сборов за использование конечной точки API. Выставление счетов обычно агрегируется за период использования, и вы можете отслеживать потребление токенов через панель управления OrcaRouter.
Никаких скрытых затрат или дополнительных сборов. OrcaRouter выставляет счета по точной ставке провайдера без наценки. Указанные цены ($2.50/1M ввода, $10/1M вывода) являются окончательными. Нет дополнительных платежей за аутентификацию, подключение или поддержку. Однако ввод изображений и файлов влечет за собой затраты токенов, определяемые политикой ценообразования OpenAI, которые могут превышать затраты токенов только для текста. Например, изображение 1080x1080 может стоить определенное количество токенов сверх текстовых токенов. Ознакомьтесь с документацией OpenAI для точной информации о ценообразовании токенов для изображений. OrcaRouter передает эти затраты без наценки. Согласно текущей информации, скидки за кэширование нет.
Выбор GPT-4o (2024-08-06) вместо более дешевых моделей, таких как GPT-4o mini или GPT-3.5 Turbo, предполагает компромисс между производительностью и стоимостью. Цена за токен выше, поэтому для приложений с большим объемом затраты могут быстро накапливаться. Однако, если задача требует мультимодальных возможностей модели или контекстного окна в 128K, более дешевые модели могут не подойти, что потенциально приведет к неполным или менее качественным результатам. Для текстовых задач с простыми рассуждениями более дешевая модель снижает расходы без значительной потери качества. OrcaRouter позволяет легко переключаться между моделями, так что вы можете экспериментировать, чтобы найти наилучший баланс стоимости и производительности для каждого варианта использования.
Имеющиеся данные не упоминают механизмов кэширования или скидок для этой модели. OrcaRouter выставляет счета по тарифу провайдера без наценки, поэтому любые скидки, предположительно, будут исходить от собственного ценообразования OpenAI (например, скидки по уровням для больших объемов использования, если применимо). OrcaRouter может предлагать собственные функции кэширования, но для этой модели это не подтверждено. Чтобы минимизировать затраты, рассмотрите возможность сокращения количества входных токенов путем усечения истории диалога, использования более коротких подсказок и ограничения длины выходных данных с помощью параметра max_tokens. Для повторяющихся одинаковых запросов вы можете реализовать кэширование на уровне приложения.
Чтобы вызвать GPT-4o (2024-08-06) через OrcaRouter, используйте базовый URL https://api.orcarouter.ai/v1 и установите ID модели "openai/gpt-4o-2024-08-06". API полностью совместим с клиентскими библиотеками OpenAI. Например, в Python с библиотекой openai вы должны настроить openai.api_base = "https://api.orcarouter.ai/v1" и openai.api_key = "your-orcarouter-api-key". Затем вызовите openai.ChatCompletion.create(model="openai/gpt-4o-2024-08-06", messages=[...]). Поддерживаются все стандартные параметры (temperature, max_tokens, top_p, и т.д.). За подробностями об аутентификации и ограничениях скорости обращайтесь к документации OrcaRouter.
Поскольку модель поддерживает API, совместимый с OpenAI, вы можете использовать полный набор параметров, доступных в конечной точке chat completions от OpenAI. Ключевые параметры включают: model (установите ID модели), messages (список объектов role-content), temperature (0-2), top_p (0-1), n (количество завершений), max_tokens (до 16384), stop (последовательности), frequency_penalty, presence_penalty, logit_bias и user (для отслеживания использования). Для мультимодальных вводов вы можете включить изображение или file_url в содержимое сообщения, используя соответствующий формат (например, content: [{type: "text", text: "..."}, {type: "image_url", image_url: {...}}]). Обратитесь к документации OpenAI по синтаксису ввода изображений и файлов.
Миграция с прямого API OpenAI на OrcaRouter требует двух изменений: 1) установите базовый URL на https://api.orcarouter.ai/v1, и 2) замените ваш ключ API OpenAI на ключ API OrcaRouter. Изменения кода для форматирования сообщений или параметров не требуются. Идентификатор модели меняется с «gpt-4o-2024-08-06» на «openai/gpt-4o-2024-08-06». Вся существующая логика для обработки потоковой передачи, вызова функций и разбора ответов остаётся прежней. API OrcaRouter спроектирован как полноценная замена без изменений. После переключения вы также можете получать доступ к моделям других провайдеров через тот же интерфейс, что позволяет легко сравнивать и балансировать нагрузку.
Аутентификация выполняется с помощью ключа API, предоставленного OrcaRouter. Включите его в заголовок как "Authorization: Bearer YOUR_ORCAROUTER_API_KEY". Лимиты запросов управляются OrcaRouter и могут отличаться от прямых лимитов OpenAI. Проверьте свой тарифный план OrcaRouter для подробностей. Если вы превысите лимиты запросов, вы получите ответы HTTP 429. Чтобы смягчить это, реализуйте логику повторных попыток с экспоненциальной задержкой. OrcaRouter также может позволить вам установить лимиты запросов на пользователя через параметр user. Для высоких нагрузок обратитесь в службу поддержки OrcaRouter для индивидуальных условий. Сама модель не имеет отдельных лимитов; она подчиняется общим лимитам конечной точки.
GPT-4o (2024-08-06) — это полноразмерная флагманская модель, тогда как GPT-4o mini — меньший и более дешевый вариант. Ключевые различия: GPT-4o имеет контекстное окно 128K (а у GPT-4o mini тоже 128K, но у mini обычно ниже лимит вывода — тоже 16K? На самом деле у GPT-4o mini тоже контекст 128K и вывод 16K, но она менее способна в рассуждениях и зрении. Полная модель набирает 79,5 баллов на MATH-500; GPT-4o mini показывает более низкие результаты на математических тестах. Цены: GPT-4o дороже ($2,50/$10 против $0,15/$0,60 за 1 млн токенов у GPT-4o mini). Для задач, требующих высокой точности или сложных рассуждений, полная модель оправдана. Для более простых задач mini предоставляет экономически выгодную альтернативу.
По сравнению с GPT-4 (например, GPT-4-0613 или GPT-4 Turbo), GPT-4o (2024-08-06) предлагает несколько улучшений: нативный мультимодальный ввод (текст, изображения, файлы) без необходимости в отдельных моделях зрения, более широкий контекстный окно (128K против 32K у более старых версий GPT-4) и более быстрый инференс. Ценообразование ниже, чем у более ранних вариантов GPT-4, которые часто были дороже. Например, GPT-4 Turbo имел похожий контекст, но более высокие цены. С точки зрения бенчмарков, показатель MATH-500 79,5 превосходит более старые модели GPT-4. Однако некоторые пользователи могут находить более ранние модели более стабильными для конкретных задач из-за более длительной истории обучения. В целом, GPT-4o является более современным и эффективным преемником.
Выбор зависит от конкретных задач и предпочтений провайдера. GPT-4o (2024-08-06) отличается высокой производительностью в математических рассуждениях (MATH-500 79,5) и мультимодальных задачах с текстом, изображениями и файлами. Модели Claude от Anthropic могут предлагать более строгие механизмы безопасности или более длинные контекстные окна в некоторых версиях, но обычно имеют более высокую стоимость. Модели Gemini от Google обеспечивают мультимодальность и большой контекст, но могут иметь иные профили производительности. Используя OrcaRouter, вы можете тестировать несколько провайдеров с помощью единого API. Для задач, требующих высокой математической точности, GPT-4o является сильным кандидатом. Для чистого текстового реферирования или недорогих задач другие модели могут быть более экономичными. Оценивайте показатели бенчмарков и стоимость применительно к вашему сценарию использования.
При использовании GPT-4o через OrcaRouter ваши данные отправляются на серверы OpenAI для инференса. OrcaRouter не хранит и не обрабатывает ваши промпты, кроме их пересылки. Применяются политики использования данных OpenAI — ознакомьтесь с условиями OpenAI, если у вас есть вопросы относительно использования данных для обучения или их хранения. Если вам требуется, чтобы данные оставались в определённой юрисдикции или вы хотели бы избежать определённых провайдеров, OrcaRouter позволяет выбирать среди нескольких провайдеров для каждого запроса. Вы также можете использовать функции маршрутизации OrcaRouter для направления запросов провайдерам, соответствующим вашим требованиям соответствия. Всегда изучайте документацию по обработке данных как OrcaRouter, так и основного провайдера.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-08-06",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| Ввод / 1M токенов | $2.50 |
| Вывод / 1M токенов | $10.00 |
| Чтение кэша / 1M | $1.25 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
GET /api/public/models/openai/gpt-4o-2024-08-06Открыть @misc{orcarouter_gpt_4o_2024_08_06,
title = {GPT-4o (2024-08-06) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06}
}OpenAI. (2024). GPT-4o (2024-08-06) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06