GPT-4o ("o" означает "omni") — это последняя модель ИИ от OpenAI, поддерживающая как текстовые, так и графические входные данные с текстовыми выходными данными. Она сохраняет уровень интеллекта [GPT-4 Turbo](/models/openai/gpt-4-turbo), будучи в два раза...
GPT-4o — это мультимодальная большая языковая модель от OpenAI. Она принимает ввод текста, изображений и файлов, а выводит текст. Эта модель предназначена для пользователей, которым необходимо…
GPT-4o преуспевает в мультимодальном мышлении, обработке длинных контекстов и решении математических задач. Его контекст в 128k токенов позволяет сохранять и ссылаться на большие объемы информации, что делает его полезным для таких задач, как анализ документов, генерация кода в целых проектах и сложные многошаговые беседы. Модель набрала 75.9 баллов на тесте MATH-500, что указывает на высокую способность решать математические задачи. Кроме того, его способность принимать изображения и файлы означает, что он может рассуждать о визуальном контенте — таком как диаграммы, графики или фотографии — в сочетании с текстом. На OrcaRouter вы можете использовать эти возможности без какой-либо наценки к указанным ценам OpenAI.
GPT-4o высокоэффективен для задач, требующих как текстового, так и визуального понимания. Примеры включают: ответы на вопросы по диаграмме в учебнике, извлечение данных из отсканированного счета-фактуры, генерация кода на основе изображения каркаса (wireframe) или резюмирование длинной исследовательской работы с иллюстрациями. Его большой контекст также делает его пригодным для анализа целых кодовых баз или длинных журналов разговоров. Математические рассуждения — еще одна сильная сторона, что подтверждается показателем 75.9 на MATH-500. На OrcaRouter эти сценарии использования легко реализовать: вы отправляете стандартный запрос, совместимый с OpenAI, с соответствующими типами контента, и модель возвращает текстовый ответ.
Если ваша задача не требует мультимодального ввода или большого контекста, более дешевая модель может быть более экономически эффективной. Например, для задач простой текстовой классификации, суммаризации или перевода, которые укладываются в меньший контекст, такие модели, как GPT-3.5 Turbo (цена $0.50 за 1M входных и $1.50 за 1M выходных), значительно дешевле. Стоимость входных токенов GPT-4o составляет $2.50 за 1M токенов, что в пять раз выше, чем у GPT-3.5 Turbo. Если вы обрабатываете большие объемы только текстовых данных без необходимости мультимодального рассуждения, модель поменьше может снизить затраты. OrcaRouter предлагает разнообразие моделей, чтобы вы могли выбрать наилучший баланс цены и производительности.
GPT-4o разработан для приема изображений и файлов в качестве входных данных, что позволяет ему выполнять такие задачи, как визуальные ответы на вопросы, описание изображений и понимание документов. Хотя конкретные показатели мультимодальных бенчмарков не указаны в доступных фактах, архитектура модели поддерживает совместное рассуждение над текстом и изображениями. Например, она может подсчитывать объекты на изображении или интерпретировать диаграмму. Модель выводит только текст, а не изображения. В OrcaRouter мультимодальные запросы отправляются с использованием тех же параметров, что и API OpenAI: включите часть image_url или содержимого файла в массив messages. Модель обрабатывает визуальные данные и возвращает текстовый ответ на основе объединенного ввода.
GPT-4o достигает результата 75.9 на эталоне MATH-500. MATH-500 — это подмножество набора данных MATH, состоящее из 500 сложных математических задач по различным темам, таким как алгебра, геометрия и математический анализ. Результат 75.9 означает, что модель правильно решает примерно 76% этих задач. Это свидетельствует о сильных математических способностях к рассуждению, хотя и не идеальных. Для сравнения, многие модели меньшего размера набирают менее 50 баллов на аналогичных эталонах. Этот результат отражает способность модели выполнять многошаговые рассуждения и работать с математическими обозначениями. На OrcaRouter вы можете использовать GPT-4o для математических задач, таких как репетиторство, подготовка к тестам или проверка вычислений.
Как и все большие языковые модели, GPT-4o имеет ограничения. Она может выдавать некорректные или сгенерированные ответы, особенно по темам с ограниченным объёмом обучающих данных или требующим очень свежих знаний (точная дата обрезки обучающих данных не указана, но как модель OpenAI она имеет ограничение по знаниям). Она чувствительна к формулировке запросов и может испытывать трудности с неоднозначными инструкциями. Несмотря на высокий балл MATH-500, она не застрахована от ошибок в сложных математических доказательствах. Модель обрабатывает изображения, но не генерирует их. Кроме того, большой контекстный окно (128k токенов) может привести к увеличению использования токенов, что повышает затраты, если не управлять этим аккуратно. На OrcaRouter вы можете смягчить некоторые проблемы, настраивая такие параметры, как температура и top_p.
Точные значения задержки для GPT-4o не указаны в фактах. В целом, GPT-4o — это большая модель, и задержка будет выше по сравнению с меньшими моделями, такими как GPT-3.5 Turbo или Llama 3.1 8B. Однако, вероятно, она оптимизирована для более быстрого вывода, чем оригинальный GPT-4. Через OrcaRouter вы можете ожидать время ответа, аналогичное тому, которое вы получили бы напрямую от OpenAI, поскольку платформа маршрутизирует запросы без дополнительной обработки. Для приложений реального времени, где скорость критична, рассмотрите использование более быстрой и дешевой модели для простых задач, оставляя GPT-4o для сложных запросов, которые выигрывают от ее возможностей.
На OrcaRouter цена на GPT-4o в точности соответствует тарифам OpenAI: $2.50 за 1 миллион входных токенов и $10.00 за 1 миллион выходных токенов. OrcaRouter не добавляет никакой наценки. Оплата производится на основе количества токенов, округлённого до ближайшего целого. Входные токены включают текст, изображения и файлы, которые вы отправляете, хотя изображения обычно токенизируются по фиксированной ставке моделью (например, каждое изображение потребляет определённое количество токенов). Выходные токены — это текст, сгенерированный моделью. Вы платите только за то, что используете; никаких ежемесячных платежей или минимальных обязательств. Такое прозрачное ценообразование позволяет точно планировать бюджет на задачи ИИ.
Основной компромисс — это стоимость против возможностей. GPT-4o стоит $2.50 за ввод и $10 за вывод на 1M токенов. Более дешевые модели, такие как GPT-3.5 Turbo ($0.50 за ввод, $1.50 за вывод) или Llama 3.1 8B, более экономичны для простых или высокообъемных задач. Однако GPT-4o предлагает мультимодальный ввод и больший контекстный окно. Если ваше приложение требует понимания изображений или обработки очень длинных документов, GPT-4o может быть необходим, несмотря на более высокую стоимость. Для задач, связанных только с текстом и короткими вводами, более дешевая модель может сэкономить деньги. На OrcaRouter вы можете переключаться между моделями, просто изменив идентификатор модели, что позволяет оптимизировать стоимость для каждого запроса.
Нет. OrcaRouter выставляет счета за GPT-4o по точной ставке провайдера без наценки. Цены составляют $2.50 за 1 млн входных токенов и $10.00 за 1 млн выходных токенов. Никаких скрытых платежей, допродаж или дополнительных сборов. OrcaRouter передает стоимость напрямую от OpenAI. Эта политика применяется ко всем моделям, перечисленным на платформе. Базовый URL — https://api.orcarouter.ai/v1, а идентификатор модели — "openai/gpt-4o". Вы можете проверить цены в любое время, посмотрев свою панель использования. Нет многоуровневого ценообразования или обязательств — платите только за потребленные токены.
Для использования GPT-4o через OrcaRouter отправляйте HTTP POST запросы на базовый URL https://api.orcarouter.ai/v1/chat/completions. Установите параметр model в "openai/gpt-4o". Ваш запрос должен включать API ключ (укажите ваш ключ API OrcaRouter в заголовке Authorization). Тело запроса следует стандартному формату chat completions от OpenAI: массив messages с парами role/content, необязательные параметры, такие как temperature, max_tokens, top_p и т.д. Для мультимодальных входных данных включайте части content с типом "text" или "image_url" (или file). Ответ представляет собой JSON объект, содержащий завершение модели. Пример команды curl: curl https://api.orcarouter.ai/v1/chat/completions -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{"model":"openai/gpt-4o","messages":[{"role":"user","content":[{"type":"text","text":"What is in this image?"},{"type":"image_url","image_url":{"url":"https://example.com/image.jpg"}}]}]}'
При вызове GPT-4o через OrcaRouter можно использовать те же параметры, что и в API OpenAI. Часто используемые параметры включают: - temperature (float, 0–2): управляет случайностью. Более низкие значения, например 0.2, делают вывод более детерминированным. - max_tokens (integer, по умолчанию 16384): максимальное количество токенов в ответе. - top_p (float, 0–1): параметр семплирования ядра. - frequency_penalty и presence_penalty: уменьшают повторяемость. - stop (string or array): стоп-последовательности. - stream (boolean): включение потоковой передачи ответов (true/false). - seed (integer): для детерминированного семплирования. Также можно использовать поле "user" для отслеживания отдельных пользователей. Модель поддерживает вызов функций и использование инструментов, хотя это явно не указано в фактах. В OrcaRouter принимаются все стандартные параметры.
Миграция проста, поскольку OrcaRouter предлагает совместимую с OpenAI конечную точку. Шаги: 1. Получите API-ключ от OrcaRouter (зарегистрируйтесь на их сайте). 2. Измените базовый URL с https://api.openai.com/v1 на https://api.orcarouter.ai/v1. 3. Измените идентификатор модели с "gpt-4o" на "openai/gpt-4o". 4. Используйте тот же формат тела запроса. Никаких изменений кода, кроме конечной точки и имени модели, не требуется. 5. Обновите заголовок Authorization, чтобы использовать ваш API-ключ OrcaRouter. Рекомендуется тестирование с одним запросом. OrcaRouter использует те же потоковый и непотоковый режимы. Нет различий в поведении модели, так как это та же базовая модель OpenAI. Ваши существующие подсказки (prompts) и параметры будут работать идентично.
Базовый URL для API OrcaRouter: https://api.orcarouter.ai/v1. Идентификатор конкретной модели для GPT-4o — "openai/gpt-4o". Эта строка должна быть передана в параметре "model" запроса. Например, при вызове конечной точки чат-завершений вы указываете "model": "openai/gpt-4o". OrcaRouter поддерживает эту модель как для потокового, так и для непотокового режима завершений. Если вы используете OpenAI SDK или библиотеку, настроенную на пользовательский базовый URL, просто установите базовый URL на https://api.orcarouter.ai/v1 и укажите ваш ключ API OrcaRouter. Префикс идентификатора модели "openai/" отличает её от моделей других провайдеров на OrcaRouter.
GPT-4o является мультимодальным преемником GPT-4 Turbo. Обе модели имеют контекстное окно в 128 тысяч токенов. Однако GPT-4o добавляет встроенную поддержку изображений и файлов, в то время как GPT-4 Turbo в основном был текстовым (с возможностью обработки зрения только в отдельных версиях). Максимальный объем вывода GPT-4o составляет 16 384 токена, что выше, чем у GPT-4 Turbo, у которого этот показатель обычно равен 4 096 или 8 192 токенам. Цены различаются: GPT-4 Turbo стоит $10,00 за 1 млн входных токенов и $30,00 за 1 млн выходных, что делает GPT-4o значительно дешевле ($2,50/$10,00). Показатель MATH-500 у GPT-4o составляет 75,9, что в целом выше указанных контрольных показателей GPT-4 Turbo, хотя точные оценки Turbo в предоставленных данных отсутствуют. На OrcaRouter обе модели доступны без наценки.
GPT-3.5 Turbo — это более дешёвая и быстрая модель, оптимизированная для простых задач. Её контекстное окно составляет 16 384 токенов, что значительно меньше, чем 128k у GPT-4o. GPT-3.5 не поддерживает ввод изображений — она работает только с текстом. Её стоимость составляет $0.50 за 1M входных и $1.50 за 1M выходных токенов, что примерно в 5 раз дешевле для входных и в 6.6 раз дешевле для выходных данных по сравнению с GPT-4o. На тесте MATH-500 GPT-3.5 Turbo обычно показывает гораздо более низкие результаты (точные цифры не приводятся). GPT-4o лучше подходит для сложных рассуждений, длинных документов и мультимодальных задач. Используйте GPT-3.5 Turbo для высокообъёмных простых взаимодействий. В OrcaRouter вы можете легко переключаться между ними, изменяя идентификатор модели.
Claude 3.5 Sonnet — это конкурирующая модель от Anthropic. Она также имеет контекстное окно в 200 тысяч токенов (больше, чем 128k у GPT-4o) и поддерживает ввод изображений. Цены на Claude 3.5 Sonnet обычно составляют $3,00 за 1 млн входных токенов и $15,00 за 1 млн выходных, что делает GPT-4o дешевле на входе, но дороже на выходе? На самом деле GPT-4o стоит $2,50 за вход против $3,00 — то есть дешевле; $10 за выход против $15 — тоже дешевле. По тестам Claude 3.5 Sonnet показывает схожую производительность в математике и логических рассуждениях, но точные показатели различаются. Обе модели сильны в мультимодальных задачах. Выбор между ними может зависеть от конкретных характеристик производительности или предпочтений в экосистеме. На OrcaRouter обе модели доступны через один и тот же формат API с разными идентификаторами моделей (например, "anthropic/claude-3.5-sonnet").
Llama 3.1 405B — это модель с открытым весом от Meta с 405 миллиардами параметров. Она также поддерживает контекстное окно размером 128k и текстовый ввод, но её мультимодальные возможности менее очевидны (возможно, она не поддерживает изображения нативно). Llama 3.1 405B доступна через OrcaRouter по более низкой цене, обычно около $1.00 за 1M входных и $1.00 за 1M выходных токенов (приблизительно, не предоставлено в фактах). Её оценки бенчмарка MATH-500 не указаны, но, вероятно, они ниже, чем 75.9 у GPT-4o. GPT-4o является проприетарной моделью и предлагает лучшие мультимодальные рассуждения «из коробки» и, возможно, более высокую точность в сложных задачах. Llama 3.1 405B — хороший выбор для пользователей, которые хотят получить открытую модель или нуждаются в самостоятельном размещении. На OrcaRouter вы можете сравнить обе модели бок о бок.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| Ввод / 1M токенов | $2.50 |
|---|---|
| Вывод / 1M токенов | $10.00 |
| Чтение кэша / 1M | $1.25 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
О чём говорят разработчики на этой неделе
GET /api/public/models/openai/gpt-4oОткрыть @misc{orcarouter_gpt_4o,
title = {GPT-4o API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o}
}OpenAI. (2024). GPT-4o API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o