GPT-4o(“o”代表“omni”)是OpenAI最新的AI模型,支持文本和图像输入并输出文本。它在保持[GPT-4 Turbo](/models/openai/gpt-4-turbo)智能水平的同时,速度是其两倍...
GPT-4o (2024-05-13) 是OpenAI推出的多模态语言模型,可通过OrcaRouter的API访问。它能够处理文本、图像和文件,适合融合视觉与文本数据的任务。该模型拥有128,000个令牌的上下文窗口,能处理大型文档、长对话或代码库而无需截断。对于需要强大推理能力的开发者和研究人员(其在MATH-500基准测试中取得79.1分),GPT-4o将会很实用。它专为对数学和逻辑问题高精度…
GPT-4o 可以分析作为输入提供的图像。它能描述视觉内容,回答关于物体、图像内文本以及空间关系的问题,还能从扫描文档或照片中提取并转录文字。由于它直接处理图像,你无需单独的OCR或视觉模型。图像会被分词以适应上下文窗口。例如,用户可以上传图表的截图,并让模型解读趋势。模型的理解不仅限于简单的标题;它能对内容进行推理、比较多张图像,并结合视觉线索和文本指令。此功能已集成到同一API调用中,使用与纯文本请求相同的消息格式。在OrcaRouter上,你可以在内容数组中发送base64编码的数据或URL形式的图像。模型ID仍为"openai/gpt-4o-2024-05-13"。
GPT-4o 接受文件作为输入。支持的格式包括 PDF、Microsoft Office 文档(Word、Excel、PowerPoint)、文本文件和图像格式。对于 PDF 和 Office 文件,模型会提取文本内容并分析布局。它不会直接渲染复杂的格式,但会读取文本内容。这对于处理报告、合同、电子表格或演示文稿而无需手动提取非常有帮助。文件内容会被分词并计入输入 token 总数。模型可以回答关于文件内容的问题、进行总结或对表格数据进行计算。使用文件时,您需要通过相应的 OpenAI API 字段将其作为消息内容的一部分包含进来。OrcaRouter 会无修改地传输这些文件。请注意,模型的能力取决于提取文本的质量;PDF 中重度扫描的图像可能无法完全读取,除非它们包含嵌入的文本层。
GPT-4o 是一款高端模型,其成本高于 GPT-4o-mini 或早期 GPT-3.5 变体等替代方案。如果您的任务不需要多模态能力(例如纯文本任务)、大上下文(最高 128K)或 MATH-500(79.1)所衡量的数学推理水平,那么更便宜的模型可能更经济。例如,简单的分类、短文本生成或基础聊天可由低成本模型处理,这些模型仍能产出可接受的质量。此外,如果您的应用对延迟敏感且小型模型速度更快,那么权衡之下可能更倾向于速度而非绝对准确性。最后,如果您很少需要处理图像或文件,那么多模态附加能力便无必要。OrcaRouter 提供多种模型,您可以选择最佳性价比。请根据基准评分和定价评估您的用例需求,以确定 GPT-4o 的优势是否值得额外成本。
GPT-4o 每个请求最多可生成16,384个token。这一限制较为宽松,适用于长文回答、详细代码或多段落分析。然而,输出token的计费标准为每百万个15美元,因此较长的输出会增加成本。你可以通过API调用中的max_tokens参数控制输出长度。如果预计需要极长的生成内容,建议考虑分批或拆分请求。16,384的限制适用于完整补全内容,包括推理步骤或(如请求了)思维链。对于需要扩展思考的非常复杂的任务,可能需要多次调用。在OrcaRouter上,输出token数量会在API响应的usage字段中报告,因此你可以精确追踪成本。OrcaRouter不会施加额外限制,模型的原生上限适用。
GPT-4o 在 MATH-500 基准测试中获得了 79.1 分。MATH-500 包含 500 道具有挑战性的数学题,涵盖代数、几何、数论和概率等多个主题。79.1 的分数意味着该模型正确回答了 79.1% 的问题。这是一个强劲的结果,表明其具备稳健的数学推理能力,尤其对于多模态模型而言。该基准测试既考察问题解决能力,也考察逐步推理能力。这一分数有助于指导对数学辅导、科学计算或逻辑谜题等应用场景的预期。需要注意的是,基准测试成绩并不能保证在实际任务中取得相同结果;可能需要领域特定的微调或提示工程。在评估该模型时,请将其 MATH-500 分数与您正在评估的其他模型进行对比。OrcaRouter 未提供额外的基准数据,因此这是该模型唯一可参考的数据点。
延迟受多个因素影响:输入长度、预期输出长度、OpenAI服务器的当前负载,以及应用程序与OrcaRouter之间的网络路径。OrcaRouter不会在底层服务商响应时间之外增加显著开销。对于中等输入(几千个token)和短输出(少于1,000个token)的典型请求,响应通常在几秒内到达。较长的输出(接近16,384个token)自然需要更多时间,因为模型是顺序生成token的。图像输入也会因分词和处理而增加延迟。你可以通过减少输出长度、使用更短的提示或批量请求来优化延迟。OrcaRouter提供标准API端点,如果需要,可通过流式方式异步返回结果。对于实时交互式应用,建议使用流模式(stream: true),以便在token到达时立即开始处理。模型事实中未提供具体的延迟数值,因此以上为定性估计。
优势:支持多模态输入(文本、图像、文件),拥有128K超大上下文窗口,数学推理能力强(MATH-500得分为79.1),输出令牌上限高(16,384个)。可高效处理长文档和多轮对话。API采用标准OpenAI兼容格式,便于集成。局限:相较于小型模型成本更高。未针对无需多模态或大上下文支持的任务进行优化。未提供非英语语言性能或特定安全基准测试信息。对于复杂场景或低分辨率图像,图像理解能力可能有限。此外,模型在训练分布之外的问题上可能产生错误答案。没有公开的延迟保证。对于要求极低延迟或极低成本的用户,其他模型可能更合适。MATH-500的79.1分基准表明其在最难数学问题上仍有改进空间。请评估这些权衡是否与您的应用需求相匹配。
GPT-4o 按 token 计费,输入和输出 token 采用不同费率。输入 token 每 100 万 token 收费 5.00 美元,输出 token 每 100 万 token 收费 15.00 美元。这是供应商费率,由 OrcaRouter 以零加成直接传递。每次请求的费用 = (输入 token 数/1e6 × 5) + (输出 token 数/1e6 × 15)。例如,一次对话使用 4,000 个输入 token 和 200 个输出 token,费用为 (0.004×5 美元) + (0.0002×15 美元) = 0.02 美元 + 0.003 美元 = 0.023 美元。API 调用本身不收取额外费用;您只需为消耗的 token 付费。定价会根据供应商变更动态更新;OrcaRouter 会传递未来的任何调整。由于无加成,用户享受与直接 OpenAI 客户相同的费率,同时享受 OrcaRouter 统一管理和计费的便利。请注意,图片和文件也会被分词并计入输入 token 数,相比纯文本输入通常会增加成本。
不。OrcaRouter 不提供折扣、缓存令牌或针对重复输入的降价。每个令牌均按标准供应商费率计费。没有单独的缓存费用,也没有高流量的额外费用。每百万个令牌 5 美元/15 美元是统一费率。需要极高吞吐量的用户可以咨询定制方案,但标准服务不包含批量折扣。此外,没有任何隐藏费用,例如连接费或月最低消费。定价透明,直接与令牌使用量挂钩。为了优化成本,请考虑减少输入大小(例如,精简历史记录、使用更短的提示)和输出长度(例如,设置较低的 max_tokens)。同时,仅在必要时使用模型的功能(多模态、大上下文)也有助于控制成本。如果您的应用程序包含每次完全相同的重复提示,在应用层进行缓存可以减少令牌使用量,但 OrcaRouter 本身不提供此类功能。
GPT-4o 的价格较高。对于许多任务,一个更便宜的模型(例如 GPT-4o-mini 或 GPT-3.5-turbo)可能就足够了。可以通过评估复杂性和所需精度来进行权衡。如果你的任务涉及简单的提取或分类,且上下文有限,更便宜的模型可能以更低成本达到类似的效果。反之,如果任务需要对图像、长文档的细微理解,或高数学精度(MATH-500 得分 79.1,高于更便宜模型的较低分数),GPT-4o 可能值得支付溢价。在代表性样本上进行 A/B 测试,以比较质量和成本。另外请注意,每百万 token 的价格无论文本长度如何都相同;较短的请求更便宜。如果你的工作流经常使用完整的 128K 上下文,那么该请求的输入 token 成本可能很高;请确保确实需要该上下文。OrcaRouter 提供使用指标,以便你监控和优化。
要在OrcaRouter上调用GPT-4o,请使用兼容OpenAI的API端点:base_url = "https://api.orcarouter.ai/v1"。将模型参数设置为"openai/gpt-4o-2024-05-13"。你需要从OrcaRouter获取一个API密钥。请求格式遵循标准的OpenAI Chat Completions API:包含角色(system、user、assistant)的messages数组,可选的图片和文件内容,以及temperature、max_tokens、top_p、frequency_penalty、presence_penalty和stop等参数。例如,简单的文本请求通过POST发送到/chat/completions。对于图片,在用户消息中通过type "image_url"包含内容。对于文件,也将其作为内容的一部分包含(具体格式遵循OpenAI规范)。响应将包含助手的消息、使用统计(prompt_tokens、completion_tokens、total_tokens)以及其他元数据。除了标准的Content-Type和Authorization头之外,无需特殊头信息。集成方式与直接使用OpenAI完全相同。
所有标准的OpenAI Chat Completions参数均受支持:messages(必需)、model(必需,设置为"openai/gpt-4o-2024-05-13")、temperature(0–2,默认1)、top_p(0–1,默认1)、n(生成数,默认1)、stop(字符串或字符串列表)、max_tokens(默认16,384,上限16,384)、presence_penalty(−2到2,默认0)、frequency_penalty(−2到2,默认0)、logit_bias(令牌ID到偏置值的映射)、user(用于滥用监控的字符串)、stream(布尔值,默认false)以及functions/tools(用于函数调用)。对于多模态输入,messages content可以是内容部分的数组,类型为"text"或"image_url"。此外,根据OpenAI文档,你还可以包含"file"类型内容(例如用于PDF附件)。OrcaRouter会将这些参数直接传递给提供商,不做任何修改。请确保不要超过128K令牌的上下文窗口。API会返回针对无效请求、速率限制或身份验证失败的标准错误码。
迁移很直接,因为OrcaRouter的API完全兼容OpenAI。你只需要改动两处:将base URL从https://api.openai.com/v1改为https://api.orcarouter.ai/v1,将模型ID从"gpt-4o-2024-05-13"改为"openai/gpt-4o-2024-05-13"。用OrcaRouter的API密钥替换你的OpenAI密钥。所有使用OpenAI Python/Node库或原始HTTP请求的现有代码无需其他修改即可运行。消息格式、参数名称和响应结构完全相同。对于接受base URL参数的库,只需将其设置为OrcaRouter端点即可。如果你之前使用OpenAI的客户端,可以实例化时将base_url设置为OrcaRouter端点。无需更改提示工程或缓存逻辑。OrcaRouter同样支持流式传输(stream: true)和函数调用,与之前完全一致。可以通过发送少量请求进行测试,以验证行为是否匹配。
OrcaRouter不会修改模型的行为。它纯粹作为一个网关,将您的请求转发到OpenAI的服务器,并原样返回响应。OrcaRouter不应用任何额外的预处理、后处理或内容过滤。关于数据处理:OrcaRouter仅在计费和运营监控所需范围内存储或记录提示和完成数据。通过OrcaRouter使用模型时,适用OpenAI自身的数据政策。根据所提供的事实,未提及OrcaRouter超出标准API日志的数据保留。用户应查阅OrcaRouter的隐私政策和OpenAI的政策以了解数据处理方式。如果您有严格的数据驻留要求,请与OrcaRouter咨询可用选项。没有迹象表明OrcaRouter与其他客户共享数据。唯一需要修改的是模型ID;不会注入任何自定义指令。
GPT-4o 与 GPT-4o-mini 的主要区别在于上下文窗口大小、多模态能力、基准测试性能以及成本。GPT-4o 提供 128K 上下文窗口,并支持图像和文件输入。GPT-4o-mini(基于 OpenAI 的产品)通常拥有较小的上下文窗口(例如某些版本为 128K 或 16K),且可能不支持所有模态。在 MATH-500 上,GPT-4o 得分为 79.1;GPT-4o-mini 得分会较低。定价方面:GPT-4o 每百万 tokens 成本为 $5/$15,而 GPT-4o-mini 则显著更便宜(例如某些版本每百万 tokens 为 $0.15/$0.60)。因此,GPT-4o-mini 适用于对成本要求优先的简单任务,而 GPT-4o 更适合复杂推理、长上下文及多模态任务。在两者之间做选择时,需考虑准确性要求以及是否需要视觉或文件处理能力。OrcaRouter 以不同 ID 提供这两种模型。如果你的工作负载很少使用图像或大上下文,GPT-4o-mini 可能是更具经济优势的选择。
GPT-4o (2024-05-13) 是一个多模态模型,拥有128K上下文窗口,而较旧的GPT-4版本(如gpt-4-0613)通常只有8K或32K上下文且为纯文本(某些后期版本通过单独的视觉端点支持图像)。GPT-4o的定价(每百万token $5/$15)通常低于GPT-4 Turbo高峰时期的定价(例如每百万token $10/$30)。基准性能:提供的MATH-500分数79.1是GPT-4o的成绩;GPT-4在提供的事实中没有官方的MATH-500分数,但已知在类似的数学基准测试中得分较低。GPT-4o还提供了更高的输出限制(16K token),相比之下较旧的GPT-4输出限制为4K或8K(取决于版本)。总体而言,GPT-4o在多模态、长上下文应用中提供了更好的价值。然而,较旧的GPT-4模型可能针对特定任务进行了微调;建议使用你自己的数据进行评估。通过OrcaRouter,可以访问这两个模型系列。
直接比较需要此处未提供的模型具体数据。总体而言,两个模型在推理和多模态能力上均具竞争力。GPT-4o 拥有 128K 上下文窗口,与 Claude(Sonnet 版)的 200K 上下文窗口相近。二者均支持图像处理。基准测试分数存在差异:GPT-4o 在 MATH-500 基准测试中得分为 79.1;Claude 3.5 Sonnet 在该项基准测试中未提供分数。定价方面:GPT-4o 为每百万 tokens 5/15 美元;Claude Sonnet 通常定价为每百万 tokens 约 3/15 美元(可能变动)。因此,GPT-4o 的输入成本更高。性能差异取决于任务类型:部分用户认为 Claude 在长文写作方面更优,而 GPT-4o 在数学与编程方面表现突出。在没有控制变量的评估条件下,建议在代表性样本上对两者进行测试。OrcaRouter 同时提供这两种模型,您只需更改模型 ID 即可轻松对比。最终,最佳模型取决于您对准确性、延迟和成本的具体要求。本数据未包含 Claude 的得分,因此该比较仍属定性分析。
Llama 3(例如 Llama 3 70B)是开源模型,可自行托管,而 GPT-4o 是专有模型,需通过 API 访问。GPT-4o 支持多模态输入(文本、图像、文件),拥有 128K 上下文;Llama 3 通常仅支持文本(除非经过微调以支持视觉),上下文较小(例如 8K 或 32K)。基准测试分数:GPT-4o 的 MATH-500 得分为 79.1;Llama 3 70B 在类似数学基准测试中得分约 70–75(事实中未提供,但属于常识)。成本:GPT-4o 的 API 按固定每 token 计费;自托管 Llama 3 涉及基础设施成本(GPU、电力),在高使用量下可能更低。延迟:基于 API 的 GPT-4o 在突发工作负载下可能更快;自托管模型若预留容量,可提供更稳定的延迟。灵活性:Llama 3 可微调;GPT-4o 不可微调。对于希望避免供应商锁定或完全在本地处理敏感数据的用户,开源模型具有吸引力。OrcaRouter 提供对两种类型的访问:您可以通过 API 使用 GPT-4o,也可在可用时通过 OrcaRouter 访问开源模型。
兼容 OpenAI——沿用你现有的 SDK
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-05-13",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamtemperaturetool_choicetoolstop_logprobstop_pweb_search_options| 输入 / 1M tokens | $5.00 |
|---|---|
| 输出 / 1M tokens | $15.00 |
| 货币 | USD |
基于标价的估算
仅为估算——实际 Token 数取决于提供商的分词器。
本周开发者的讨论
@misc{orcarouter_gpt_4o_2024_05_13,
title = {GPT-4o (2024-05-13) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-05-13}
}OpenAI. (2024). GPT-4o (2024-05-13) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-05-13