OpenAI GPT-4-0613: 8K контекст, 13.1 AA Coding, текстовая модель за $30/$60 за 1M токенов
OpenAI GPT-4-0613 — это конкретная контрольная точка большой языковой модели GPT-4, выпущенная компанией OpenAI в июне 2023 года. Она работает исключительно с текстовыми входами и генерирует…
GPT-4-0613 превосходно справляется с задачами, требующими глубоких рассуждений, точной генерации языка и строгого соблюдения сложных инструкций. Типичные случаи использования включают генерацию и проверку кода на таких языках, как Python, JavaScript и C++, а также отладку существующих кодовых баз. Модель способна анализировать и обобщать большие текстовые корпусы, создавать структурированные отчеты и составлять подробные технические или юридические документы. Эта модель также эффективно разбивает многоэтапные задачи на четкие последовательные шаги, что делает ее полезной для планирования и решения проблем. Хотя она в основном работает на английском языке, она может обрабатывать несколько других языков с разной степенью надежности. Для задач, не требующих такого уровня сложности, более маленькие или дешевые модели могут предложить более экономически эффективное решение.
GPT-4-0613 — это премиальная модель с более высокой стоимостью за токен. Она не идеальна для задач с большим объемом и низкой сложностью, таких как простая текстовая классификация, базовые чат-взаимодействия или прямой перевод. Для таких нагрузок такие модели, как OpenAI GPT-3.5 Turbo или другие легковесные альтернативы, могут обеспечить адекватную производительность при значительно меньшей стоимости. Кроме того, если вашему приложению не требуется полное контекстное окно в 8192 токена или максимальная длина вывода используется редко, более дешевая модель с меньшим контекстом может быть более подходящей. Всегда оценивайте компромисс между качеством вывода и стоимостью для вашего конкретного случая использования, чтобы определить, оправдана ли модель GPT-4-0613.
GPT-4-0613 в основном обучался на английском языке, но продемонстрировал способности во многих других языках, включая французский, испанский, немецкий, китайский и арабский. Его производительность на неанглийских языках в целом высока для структурированных задач, таких как перевод, реферирование и ответы на вопросы, но может показывать меньшую точность и менее естественную формулировку по сравнению с английским. Сильные стороны модели в рассуждении и следовании инструкциям распространяются на многоязычные контексты, но пользователям следует тестировать конкретные неанглийские сценарии, чтобы подтвердить пригодность. Для приложений, требующих высокой точности на языке, отличном от английского, рассмотрите возможность дополнения языковыми моделями или дополнительной валидацией.
GPT-4-0613 соблюдает системные сообщения и инструкции пользователя, что делает его подходящим для приложений, требующих строгого соблюдения форматирования, тона или структуры. Он может генерировать вывод в JSON, Markdown или других заданных форматах, а также следовать многошаговым инструкциям с сохранением контекста. Модель особенно надежна для задач, требующих пошагового рассуждения или цепочки подсказок. Однако, как и все большие модели, она может иногда неверно интерпретировать неоднозначные инструкции или создавать вывод, отклоняющийся от желаемого формата. Рекомендуется давать четкие, явные инструкции и, по возможности, включать примеры для направления поведения модели.
Оценка AA Coding benchmark в 13.1 для GPT-4-0613 отражает его производительность в специализированной оценке написания кода. Хотя точная методология этого бенчмарка не описана в предоставленных фактах, более высокий балл, как правило, указывает на лучшую точность и надежность в генерации кода, решении задач программирования и понимании структур кода. Эта оценка позиционирует GPT-4-0613 как сильный вариант для задач кодирования, таких как исправление ошибок, реализация алгоритмов и объяснение кода. Важно отметить, что оценки бенчмарков являются ориентировочными и могут не полностью отражать реальную производительность в конкретных задачах кодирования. Для достижения наилучших результатов пользователям следует оценивать модель на собственных наборах данных.
Задержка для GPT-4-0613 не указана в предоставленных фактах, но как высокопроизводительная модель она обычно имеет более высокое время ответа по сравнению с меньшими моделями, такими как GPT-3.5 Turbo или GPT-4o mini. Скорость инференса зависит от таких факторов, как длина входных и выходных данных, сложность запроса и инфраструктура. При использовании OrcaRouter на задержку также могут влиять состояние сети и пропускная способность провайдера. Для приложений реального времени, где критически важна низкая задержка, рекомендуется протестировать модель при ожидаемой нагрузке и, возможно, использовать более быструю и дешевую модель для менее требовательных частей рабочего процесса.
Основные преимущества GPT-4-0613 заключаются в её логическом рассуждении, способности следовать сложным многошаговым инструкциям и высокой точности в таких задачах, как генерация кода и анализ данных. Она выдаёт хорошо структурированные и связные результаты даже для длинных запросов, что делает её подходящей для составления объёмных документов или отчётов. Модель демонстрирует сильную согласованность на протяжении нескольких витков диалога, что полезно для разговорных агентов, которым необходимо поддерживать контекст. Её результат в 13,1 балла по шкале AA Coding подчёркивает надёжность для задач, связанных с программированием. Эти качества делают её предпочтительным выбором для приложений, где точность и глубина имеют первостепенное значение, даже при более высокой стоимости.
GPT-4-0613 имеет несколько ограничений. Он работает только с текстом и не может обрабатывать изображения, аудио или видео. Его контекстное окно ограничено 8192 токенами, что может быть недостаточно для очень длинных документов или многошаговых разговоров с обширной историей. Модель иногда может выдавать правдоподобные, но неверные сведения (галлюцинации), особенно по темам, выходящим за пределы её обучающих данных. Цена относительно высока по сравнению с альтернативами, что делает её менее экономичной для высокообъёмных приложений. Кроме того, будучи снимком от июня 2023 года, она может не знать о событиях или знаниях после этой даты. Пользователям следует проверять критически важные результаты и рассматривать использование генерации с дополнением на основе поиска (RAG), чтобы основывать ответы на актуальной информации.
GPT-4-0613 тарифицируется по прямой ставке провайдера без наценки через OrcaRouter. Стоимость составляет $30.00 за 1 миллион входных токенов и $60.00 за 1 миллион выходных токенов. Входные токены включают весь текст, предоставленный в запросе пользователя, включая системные сообщения, историю переписки и текущий запрос пользователя. Выходные токены — это текст, сгенерированный моделью в ответ. Как входные, так и выходные токены учитываются в общем объёме использования и оплачиваются соответствующим образом. Дополнительные комиссии платформы помимо ставки за токен отсутствуют. Пользователям выставляется счёт на основе фактического количества токенов, обработанных за каждый вызов API.
Поскольку выходные токены оцениваются вдвое дороже входных ($60 против $30 за 1M токенов), приложения, генерирующие длинные ответы, могут стать значительно дороже тех, у которых короткие выводы. Например, запрос с 10 000 входных токенов и 2 000 выходных токенов будет стоить $0.30 за входные и $0.12 за выходные, всего $0.42. Если бы выходные составляли 8 000 токенов, стоимость выросла бы до $0.30 + $0.48 = $0.78. Для управления затратами рассмотрите возможность ограничения параметра max_tokens до минимально необходимой длины для вашего варианта использования. Кроме того, более короткие системные подсказки и урезанная история беседы уменьшают количество входных токенов.
В доступных фактах о GPT-4-0613 через OrcaRouter не предоставлено информации о кэшировании токенов или оптовых скидках. Это означает, что каждый вызов тарифицируется на основе фактически обработанных токенов без какого-либо предопределенного механизма кэширования, который снижал бы стоимость повторяющихся запросов. Пользователям следует напрямую связаться с OrcaRouter, чтобы узнать о возможных функциях кэширования или корпоративных ценовых соглашениях. Также возможно, что OrcaRouter предлагает варианты оптимизации затрат, не описанные здесь. Пока исходите из предположения, что все токены оплачиваются по указанным ценам за токен без специальных скидок.
При использовании GPT-4-0613 основной компромисс заключается между качеством вывода и стоимостью. Для задач, требующих высокой точности и рассуждений, премиальная цена часто оправдана. Однако для более простых или массовых обработок более дешевые альтернативы, такие как GPT-3.5 Turbo или GPT-4o mini, могут снизить затраты до 90%. Также учитывайте соотношение ввода-вывода: если ваш рабочий процесс требует очень длинных входных данных (например, полные документы), но коротких выходных, то стоимость ввода будет доминировать. И наоборот, длинные выходные данные быстро увеличат стоимость вывода. Оцените, необходимы ли конкретные сильные стороны модели (например, точность кодирования) для вашей задачи, и протестируйте подмножество ваших данных перед тем, как переходить к крупномасштабному использованию.
Для вызова GPT-4-0613 через OrcaRouter используйте совместимый с OpenAI API endpoint с base_url https://api.orcarouter.ai/v1. Установите параметр модели "openai/gpt-4-0613" в вашем запросе. Для аутентификации потребуется API-ключ от OrcaRouter. Формат запроса соответствует документации OpenAI по чат-завершениям, поддерживая такие параметры, как messages (массив системных и пользовательских сообщений), temperature (от 0 до 2), top_p, max_tokens (до 8192), n (количество завершений), stop (последовательности для остановки генерации) и stream (логическое значение для потоковой передачи). Пример использования библиотеки openai на Python: import openai; openai.api_base = "https://api.orcarouter.ai/v1"; openai.api_key = "your_orcarouter_key"; response = openai.ChatCompletion.create(model="openai/gpt-4-0613", messages=[{"role":"user","content":"Hello"}]).
GPT-4-0613 поддерживает стандартные параметры завершения чата OpenAI. Основные параметры включают temperature (по умолчанию 1), который управляет случайностью — меньшие значения делают вывод более детерминированным; top_p (по умолчанию 1) для выборки по ядру; max_tokens (по умолчанию задаётся конечной точкой, максимум 8192) для ограничения длины вывода; n (количество завершений, генерируемых на один запрос); и stop (строки, останавливающие генерацию). Также можно использовать presence_penalty и frequency_penalty для поощрения или предотвращения повторения тем. Потоковая передача поддерживается установкой stream=True, что выдаёт токены инкрементально. Все параметры ведут себя идентично собственному API OpenAI, что обеспечивает бесшовную миграцию. Для лучших результатов установите max_tokens не больше необходимого для контроля затрат и используйте temperature от 0 до 0,5 для задач, требующих фактологической точности.
Для перехода с прямого API OpenAI на OrcaRouter требуется внести всего два изменения в ваш код: обновить base_url на https://api.orcarouter.ai/v1 и изменить идентификатор модели на "openai/gpt-4-0613". Вашу существующую логику аутентификации следует обновить для использования ключа API OrcaRouter вместо ключа OpenAI. Все знакомые параметры (messages, temperature, max_tokens и т.д.) остаются без изменений. Например, используя библиотеку openai для Python, установите openai.api_base = "https://api.orcarouter.ai/v1" и openai.api_key = "your_orcarouter_key". Затем вызовите openai.ChatCompletion.create(model="openai/gpt-4-0613", ...). API OrcaRouter спроектирован как замена без изменений, поэтому дальнейшие модификации кода не требуются. Протестируйте с небольшим запросом, чтобы подтвердить связь и биллинг.
Лимиты скорости для GPT-4-0613 через OrcaRouter не указаны в доступных фактах. Для аутентификации требуется ключ API, предоставляемый OrcaRouter. Этот ключ необходимо включать в заголовок запроса (например, Authorization: Bearer <key>). Точные лимиты скорости могут зависеть от вашего плана OrcaRouter или уровня учетной записи. Для производственного использования обратитесь в OrcaRouter за подробной информацией о максимальном количестве запросов в минуту (RPM) и токенов в минуту (TPM). При отсутствии конкретных лимитов рекомендуется реализовать экспоненциальную задержку в случае ошибок превышения лимита скорости. Также обратите внимание, что ваш ключ API должен храниться в безопасности и не раскрываться в клиентском коде.
GPT-4-0613 — это более поздний снимок, чем GPT-4-0314, выпущенный в июне 2023 года по сравнению с мартом 2023 года. OpenAI заявила, что июньское обновление повышает надежность, снижает вероятность генерации запрещенного контента и обеспечивает лучшее следование инструкциям. Обе модели имеют одинаковое окно контекста (8192 токена) и структуру ценообразования. Результат теста 13.1 по AA Coding характерен для GPT-4-0613, в то время как GPT-4-0314 может иметь несколько иные показатели производительности. На практике многие пользователи сообщают, что GPT-4-0613 более последователен и менее склонен к уклончивым ответам или отказам на безвредные запросы. Если вы в настоящее время используете GPT-4-0314, переход на GPT-4-0613 является простым и, вероятно, выгодным.
GPT-4o — это мультимодальная модель OpenAI, которая может обрабатывать текст, изображения и аудио, и она быстрее и дешевле, чем GPT-4-0613. Цены на GPT-4o составляют $5 за 1 млн входных токенов и $15 за 1 млн выходных токенов, что делает ее значительно более экономичной. GPT-4-0613, будучи только текстовой, не может обрабатывать не текстовые входные данные. Однако GPT-4-0613 может предлагать немного более обдуманные рассуждения для сложных задач, связанных только с текстом, так как это та же базовая модель, что и GPT-4, но без мультимодальной интеграции. Для приложений, требующих понимания изображений или минимальной задержки, GPT-4o часто является лучшим выбором. Для чистых текстовых задач, где максимальная точность имеет первостепенное значение, а стоимость менее критична, GPT-4-0613 остается жизнеспособным вариантом.
GPT-3.5 Turbo — это значительно более дешевая и быстрая альтернатива GPT-4-0613, стоимостью примерно $3 за 1 млн входных токенов и $6 за 1 млн выходных токенов. Она оптимизирована для диалогов и простых инструкций, но уступает GPT-4-0613 в глубине рассуждений, точности кодирования и способности следовать инструкциям. Тест AA Coding и задачи сложных рассуждений показывают явный разрыв в производительности в пользу GPT-4-0613. Для высоконагруженных приложений с простыми требованиями GPT-3.5 Turbo более экономична. Для критически важной генерации кода, многоэтапного анализа или тонких языковых задач GPT-4-0613 обеспечивает существенное улучшение качества, которое оправдывает более высокую стоимость. Рассмотрите возможность использования GPT-3.5 Turbo для простых или итеративных подзадач в рамках более крупного рабочего процесса, чтобы сбалансировать стоимость и качество.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="openai/gpt-4-0613",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Ввод / 1M токенов | $30.00 |
|---|---|
| Вывод / 1M токенов | $60.00 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
О чём говорят разработчики на этой неделе
GET /api/public/models/openai/gpt-4-0613Открыть @misc{orcarouter_gpt_4_0613,
title = {openai/gpt-4-0613 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-0613}
}openai. (n.d.). openai/gpt-4-0613 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-0613