OpenAI 的 gpt-3.5-turbo-1106 通过 OrcaRouter：16K 上下文，46.2 MMLU-Pro，每 1M Tokens $1/$2，零加成定价。
gpt-3.5-turbo-1106 是 OpenAI 于 2023 年 11 月发布的 GPT-3.5 Turbo 模型的一个特定快照。它是一个纯文本模型，即只能接受和生成文本输入及输出，不支持图像或音频。其上下文窗口为 16,384 个 token，最大输出限制为 4,096 个 token。在 MMLU-Pro 基准测试中，该模型的得分为 46.2。1106…
该模型在通用文本生成任务中表现出色：回答问题、参与对话、总结文档、翻译文本、生成创意写作和提供解释。它支持函数调用，能够根据提供的函数模式输出结构化数据并与外部工具或API交互。它还能处理多轮对话，上下文窗口可达16K tokens。对于需要高精度的实体查询、代码生成或结构化推理任务，它表现良好，但偶尔可能产生比大型模型略不精确的输出。
gpt-3.5-turbo-1106 中的函数调用功能允许模型根据您在请求中提供的函数定义生成结构化的 JSON 输出。当您包含一个包含名称、描述和参数模式的函数列表时，模型可以通过返回一个 function_call 对象来决定调用一个或多个函数。这对于构建需要查询数据库、调用 API 或执行操作的代理非常有用。与早期版本相比，该功能在 1106 快照中得到了改进，使其更加可靠，并减少了冗余的工具使用。OrcaRouter 支持所有与 OpenAI 兼容的函数调用参数。
如果你的用例涉及非常简单且大量处理的任务，可以考虑更便宜的模型，如gpt-3.5-turbo-0125（价格相同但更新），或通过OrcaRouter提供的更小规模的开源模型。另一方面，如果你需要显著更强的推理能力、事实准确性、多模态输入（图像、音频）或更大的上下文窗口（128K tokens），请考虑升级到gpt-4o或gpt-4-turbo。对于大多数仅文本应用且每token成本是主要关注点时，gpt-3.5-turbo-1106是一个平衡的选择。
MMLU-Pro 是大规模多任务语言理解基准测试的一个变体，包含57个学科，题目更具挑战性。得分46.2表示模型正确回答了46.2%的测试题目。这是一个中等水平的得分，反映了模型在多个领域的通用知识。作为对比，像GPT-4这样更大的模型在类似基准测试中通常得分超过80。这个得分有助于设定预期：gpt-3.5-turbo-1106具备一定能力，但在深度推理或专业知识方面并非最先进的模型。
本模型未提供其他基准测试分数，但公开信息显示，gpt-3.5-turbo-1106 在 MMLU、HumanEval（代码生成）和摘要任务上，相对于其尺寸级别表现出色。它通常被认为是其成本层级中性能最佳的开放权重模型之一。用户可预期其在常见 NLP 任务上有良好表现，但也需认识到它在复杂推理、数学和多步骤指令方面可能落后于 GPT-4。在事实一致性方面，该模型可能生成看似合理但错误的答案，因此对于关键应用建议进行验证。
未提供具体的延迟数值。然而，作为参数量相对较小（与GPT-4相比）的纯文本模型，gpt-3.5-turbo-1106通常具有较低的延迟输出，在中等负载下，简短响应常可在不到一秒内完成。其吞吐量较高，结合流式传输时适用于实时应用。OrcaRouter的基础设施确保与OpenAI端点的可靠连接。为获得最准确的延迟预期，用户应使用OrcaRouter API针对自身用例进行基准测试。
关键限制包括：最大输出为4,096个token，限制了生成长度；不具备多模态能力（无法处理图像或音频）；在模糊事实方面容易产生幻觉；复杂问题的推理深度有限。模型的16K上下文窗口虽然还算宽裕，但小于某些替代方案（例如128K）。其知识截止日期也比后续快照更早（2023年1月）。在面对对抗性或模糊提示时，可能会产生偏见或不安全的输出。开发人员应在生产环境中实施适当的护栏措施和人工监督。
通过OrcaRouter使用openai/gpt-3.5-turbo-1106的定价按提供商费率计费，零加价。具体来说，输入词元每百万个收费1.00美元，输出词元每百万个收费2.00美元。此定价适用于所有请求，包括流式请求。无额外平台费用。费用根据提示（输入）和生成响应（输出）中的词元数量计算。缓存与非缓存请求均按相同费率计费。您可以通过OrcaRouter仪表盘跟踪使用情况。
对于需要大量短交互的应用（如聊天机器人对话），每条消息的成本很低，因为每个请求消耗的令牌数少。对于需要长提示或生成长回复的任务，成本随令牌数线性增长。与GPT-4（可能贵10-30倍）相比，gpt-3.5-turbo-1106对于大规模应用来说更为经济。但如果一个任务能用更便宜的模型以更少的令牌解决，那可能会更加成本效益。OrcaRouter的零加价定价确保你只需支付OpenAI收取的费用。
OrcaRouter上未提及此模型的特定缓存或折扣计划。所有请求均按标准提供商费率计费。某些平台提供提示缓存以降低重复输入的成本，但OrcaRouter的文档未显示此模型具备该功能。用户应据此规划其token使用量。对于极高流量，或许值得直接联系OrcaRouter咨询批量折扣，尽管目前未公布任何此类折扣。零加价定价本身已经提供了透明的成本基准。
要发起请求，请向 `https://api.orcarouter.ai/v1/chat/completions` 发送一个 POST 请求，请求体为 JSON 格式，其中包含 `model` 字段设置为 `'openai/gpt-3.5-turbo-1106'`，以及一个 `messages` 数组（包含 `role` 和 `content`）。在 `Authorization` 头中带上你的 OrcaRouter API 密钥（格式：`Bearer <key>`）。可选参数包括 `temperature`、`max_tokens`、`top_p`、`frequency_penalty`、`presence_penalty`、`stop`、`stream` 和 `functions`。响应遵循 OpenAI 的聊天补全格式。使用 Python 的 openai 库示例：`client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key')`。
该模型支持与 OpenAI 的 gpt-3.5-turbo-1106 相同的参数。关键参数包括：messages（必需的对象数组，包含 role、content，可选 name）、max_tokens（默认为无限但上限为 4096）、temperature（0-2，默认 1）、top_p（0-1，默认 1）、n（输出选项数，默认 1）、stream（布尔值）、stop（字符串或最多包含 4 个字符串的数组）、presence_penalty（-2 到 2）、frequency_penalty（-2 到 2）、logit_bias（token ID 到偏置的映射）、user（用于最终用户标识的字符串）、functions（函数对象数组）、function_call（auto/none 或特定函数）。所有这些均通过 OrcaRouter 提供支持。
迁移只需对现有的基于 OpenAI 的代码进行两处修改。首先，将基础 URL 从 https://api.openai.com/v1 改为 https://api.orcarouter.ai/v1。其次，用 OrcaRouter API 密钥替换你的 OpenAI API 密钥。请求和响应格式完全相同，因此无需更改负载结构。更新这两个设置后，所有现有的聊天补全、函数调用和流式传输逻辑将继续正常工作。你还可以使用相同的 OpenAI 客户端库（例如 Python openai、Node.js openai），只需传入新的 base_url 和 api_key 即可。
OrcaRouter 返回与 OpenAI API 兼容的标准 HTTP 状态码和错误消息。常见错误：401（未授权）、429（超出速率限制）、500（服务器错误）。OrcaRouter 会根据您的套餐强制执行速率限制；详情请参阅 OrcaRouter 文档。由于底层模型由 OpenAI 托管，来自提供商的错误会透明地传递（例如，400 表示参数无效，503 表示过载）。建议对 429 和 5xx 错误实现指数退避。流式错误通过截断的流发出信号；请监听最后一个数据块中的 finish_reason。
0125快照是GPT-3.5 Turbo的更新版本，于2025年1月发布。它提供相同的定价和纯文本模式，但知识截止日期更新，且可能在一致性和事实准确性方面有所改进。两个模型共享相同的16K上下文窗口和4K输出限制。由于版本较新，一般建议在新项目中使用gpt-3.5-turbo-0125而不是1106版本，但1106快照仍可兼容使用。除了1106版本的46.2 MMLU-Pro分数外，两个模型均未提供基准测试分数；用户可根据具体用例自行测试两者。
gpt-4o是OpenAI能力更强的模型，支持文本、图像和音频输入，拥有128K上下文窗口和16K最大输出令牌。它在推理基准测试上得分显著更高，并且对于复杂任务更加可靠。然而，其成本也大幅提高：每令牌成本大约是gpt-3.5-turbo-1106的10-15倍。对于不需要高精度和多模态能力的应用，gpt-3.5-turbo-1106能提供更好的成本效益。如果你需要高级功能，通过OrcaRouter升级到gpt-4o只需将模型ID改为'openai/gpt-4o'即可。
其他提供商的类似模型包括Anthropic的Claude 3 Haiku（纯文本，速度和成本相近）和Google的Gemini 1.5 Flash。每种模型都有不同的API格式，但可以通过OrcaRouter访问。gpt-3.5-turbo-1106被广泛采用并集成到许多工具中，其函数调用支持已成熟。然而，像Claude 3 Haiku这样的模型可能在相近价格下提供更大的上下文窗口（200K），而Gemini 1.5 Flash则提供多模态能力。选择取决于生态系统兼容性、特定基准性能以及延迟要求。OrcaRouter允许你在同一API格式下尝试不同的模型。
当您需要一个可靠、经济高效的文本模型，与现有工具广泛兼容并支持函数调用时，请选择 gpt-3.5-turbo-1106。它非常适合每个请求相对简短且不需要深度推理的高吞吐量应用。如果您需要多模态输入、更大的上下文窗口或对复杂主题更高的事实准确性，则应避免使用它。如果您需要最新的知识截止日期，请优先选择 gpt-3.5-turbo-0125。为了获得极致性能，请选择 gpt-4o。OrcaRouter 的模型目录允许在这些选项之间轻松切换，无需更改代码。
兼容 OpenAI——沿用你现有的 SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| 输入 / 1M tokens | $1.00 |
| 输出 / 1M tokens | $2.00 |
| 货币 | USD |
基于标价的估算
仅为估算——实际 Token 数取决于提供商的分词器。
@misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106