OpenAI的gpt-3.5-turbo-1106經由OrcaRouter：16K上下文，46.2 MMLU-Pro，$1/$2每100萬個token，零加價定價。
gpt-3.5-turbo-1106 是 OpenAI 於 2023 年 11 月推出的 GPT-3.5 Turbo 模型特定快照。它是一個純文字模型，僅接受和生成文字輸入與輸出，不處理圖片或音訊。其上下文視窗為 16,384 個 token，最大輸出限制為 4,096 個 token。在 MMLU-Pro 基準測試中，該模型獲得 46.2 分。1106…
此模型擅長通用文字生成任務：回答問題、進行對話、摘要文件、翻譯文字、創作寫作及提供說明。它支援函式呼叫，可根據提供的函式架構輸出結構化資料，並與外部工具或API互動。它也能處理多輪對話，上下文視窗最高可達16K tokens。對於需要高準確度的事實查詢、程式碼生成或結構化推理任務，此模型表現良好，但偶爾可能產生較不精確的輸出，不如較大型模型。
gpt-3.5-turbo-1106 中的函數呼叫 (function calling) 功能允許模型根據您在請求中提供的函數定義，產生結構化的 JSON 輸出。當您加入一份函數清單（包含名稱、描述與參數模式），模型可以藉由回傳一個 function_call 物件，決定呼叫一或多個函數。這對於建構需要查詢資料庫、呼叫 API 或執行動作的代理程式十分實用。與較早版本相比，此功能在 1106 快照中獲得改善，變得更可靠，並減少不必要的工具使用。OrcaRouter 支援所有與 OpenAI 相容的函數呼叫參數。
如果您的使用案例涉及非常簡單但大量密集的任務，可以考慮更便宜的模型，例如 gpt-3.5-turbo-0125（價格相同但更新），或透過 OrcaRouter 提供的較小開源模型。另一方面，如果需要顯著更強的推理能力、事實準確性、多模態輸入（圖像、音訊）或更大的上下文窗口（128K tokens），可以考慮升級到 gpt-4o 或 gpt-4-turbo。對於大多數純文字應用，gpt-3.5-turbo-1106 是一個平衡的選擇，尤其是當每 token 成本是主要考量時。
MMLU-Pro 是大型多任務語言理解基準的變體，包含 57 個學科，並提供更具挑戰性的問題集。得分 46.2 表示模型正確回答了 46.2% 的測試問題。這是一個中等分數，反映了模型在跨領域的通用知識。相較之下，像 GPT-4 這樣的大型模型在類似基準上通常得分超過 80。此分數有助於設定期望：gpt-3.5-turbo-1106 能力不錯，但在深度推理或專業知識方面並非最先進的。
此模型未提供其他基準測試分數，但公開資訊顯示，gpt-3.5-turbo-1106 在 MMLU、HumanEval（程式碼生成）以及摘要任務上相對於其體量級別表現優異。整體而言，它被視為在其成本級別中表現最佳的開放權重模型之一。使用者可預期其在常見 NLP 任務上表現良好，但需注意其於複雜推理、數學與多步驟指令方面可能落後於 GPT-4。在事實一致性上，模型可能產出看似合理但錯誤的答案，因此在關鍵應用中建議進行驗證。
具體延遲數據並未提供。然而，作為一個參數量相對較小（與GPT-4相比）的純文字模型，gpt-3.5-turbo-1106通常能提供低延遲輸出，在中等負載下，短回應常能在不到一秒內完成。其吞吐量高，搭配串流功能時適用於即時應用。OrcaRouter的基礎設施確保了與OpenAI端點之間的穩定連線。為獲得最準確的延遲預期，使用者應透過OrcaRouter API對自身使用情境進行基準測試。
主要限制包括：最大輸出4096個token，限制了生成長度；缺乏多模態能力（無法處理圖像或音頻）；傾向於對冷門事實產生幻覺；以及對複雜問題的推理深度有限。該模型的16K上下文窗口雖然算大，但比某些替代方案（例如128K）小。它的知識截止日期也比後來的快照版本更早（2023年1月）。面對對抗性或模糊的提示，它可能產生偏見或不安全的輸出。開發者應在生產環境中實施適當的防護機制和人工監督。
針對 openai/gpt-3.5-turbo-1106 透過 OrcaRouter 的定價，以供應商費率計費，無任何加價。具體而言，輸入 Token 每 100 萬個收費 1.00 美元，輸出 Token 每 100 萬個收費 2.00 美元。此計費方式適用於所有請求，包括串流在內。無其他平台費用。費用根據提示（輸入）與生成回應（輸出）中的 Token 數量計算。快取與未快取的請求均以相同費率計費。您可透過 OrcaRouter 儀表板追蹤使用量。
對於需要大量短互動的應用（例如聊天機器人對話），每則訊息的成本很低，因為每次請求僅消耗少量token。對於涉及長提示或生成長回應的任務，成本則隨token數量線性增長。與GPT-4（可能昂貴10到30倍）相比，gpt-3.5-turbo-1106在大量使用時更經濟實惠。然而，若某項任務能透過較便宜的模型以更少的token完成，則可能更具成本效益。OrcaRouter的零加成定價確保您只需支付OpenAI的收費。
此型號在OrcaRouter上並未提及特定的快取或折扣方案。所有請求均按標準供應商費率計費。部分平台提供提示快取功能以降低重複輸入的成本，但OrcaRouter的文件並未指出該型號支援此功能。使用者應據此規劃其令牌用量。對於極高用量，或許值得直接聯繫OrcaRouter查詢是否有批量折扣，但目前並未公告任何折扣方案。零加成定價本身已提供透明的成本基準。
若要發出請求，請向 https://api.orcarouter.ai/v1/chat/completions 發送 POST 請求，JSON 主體中包含 model 欄位設為 'openai/gpt-3.5-turbo-1106'，以及一個 messages 陣列（包含 role 與 content）。請在 Authorization 標頭（Bearer <key>）中包含您的 OrcaRouter API 金鑰。可選參數包括 temperature、max_tokens、top_p、frequency_penalty、presence_penalty、stop、stream 和 functions。回應遵循 OpenAI 的聊天完成格式。使用 Python openai 庫的範例：client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key')。
此模型支援與OpenAI的gpt-3.5-turbo-1106相同的參數。主要參數包括：messages（必要，物件陣列，包含role、content，可選name）、max_tokens（預設無限，但上限為4096）、temperature（0-2，預設1）、top_p（0-1，預設1）、n（選擇數量，預設1）、stream（布林值）、stop（字串或最多4個字串的陣列）、presence_penalty（-2至2）、frequency_penalty（-2至2）、logit_bias（token ID到偏置的映射）、user（用於終端用戶識別的字串）、functions（函式物件陣列）、function_call（auto/none或特定函式）。這些全部透過OrcaRouter支援。
遷移只需對您現有的 OpenAI 程式碼進行兩項修改。首先，將基礎 URL 從 https://api.openai.com/v1 改為 https://api.orcarouter.ai/v1。其次，將您的 OpenAI API 金鑰替換為 OrcaRouter API 金鑰。請求和回應格式完全相同，因此不需要變更負載結構。更新這兩項設定後，所有用於聊天補全、函式呼叫和串流的現有邏輯都將繼續運作。您也可以透過傳遞新的 base_url 和 api_key，使用相同的 OpenAI 用戶端程式庫（例如 Python openai、Node.js openai）。
OrcaRouter 返回與 OpenAI API 相容的標準 HTTP 狀態碼和錯誤訊息。常見錯誤：401（未授權）、429（超出速率限制）、500（伺服器錯誤）。OrcaRouter 根據您的方案實施速率限制；詳細資訊請參閱 OrcaRouter 文件。由於底層模型由 OpenAI 託管，來自提供者的錯誤會透明地傳遞（例如，400 表示無效參數，503 表示過載）。建議對 429 和 5xx 錯誤實施指數退避。串流錯誤由截斷的串流發出信號；監聽最後一個區塊中的 finish_reason。
0125 快照是 GPT-3.5 Turbo 的較新版本，於 2025 年 1 月發布。它提供相同的定價和純文字模式，但包含更近期的知識截止日期，可能還有改進的一致性與事實準確性。兩個模型共享相同的 16K 上下文視窗和 4K 輸出限制。由於其新穎性，一般建議在新專案中使用 gpt-3.5-turbo-0125 而非 1106 版本，但 1106 快照仍保留以確保相容性。除 1106 的 46.2 MMLU-Pro 分數外，兩個模型均未提供基準測試分數；使用者可針對自身特定使用情境測試兩者。
gpt-4o 是 OpenAI 功能更強大的模型，支援文字、圖像和音訊輸入，具有 128K 的上下文視窗與 16K 的最大輸出 Token。它在推理基準測試中得分顯著更高，且對複雜任務更可靠。然而，其成本也大幅增加：每 Token 的價格約為 gpt-3.5-turbo-1106 的 10 到 15 倍。對於不需要高精確度與多模態能力的應用，gpt-3.5-turbo-1106 能提供更好的成本效益。若您需要進階功能，透過 OrcaRouter 升級至 gpt-4o 非常簡單，只需將模型 ID 改為 'openai/gpt-4o' 即可。
其他供應商的類似模型包括Anthropic的Claude 3 Haiku（純文字，速度與成本相近）和Google的Gemini 1.5 Flash。每種模型都有不同的API格式，但可透過OrcaRouter存取。gpt-3.5-turbo-1106已被廣泛採用並整合至許多工具中，其函式呼叫支援已相當成熟。然而，像Claude 3 Haiku這類模型可能以相似價格提供更大的上下文視窗（200K），而Gemini 1.5 Flash則提供多模態能力。選擇取決於生態系統相容性、特定基準測試效能以及延遲需求。OrcaRouter讓您能在同一API格式下嘗試不同的模型。
當你需要一個可靠且具成本效益的文字模型，能廣泛相容現有工具並支援函式呼叫時，請選擇 gpt-3.5-turbo-1106。它非常適合每個請求相對簡短且不需要深度推理的高流量應用。若你需要多模態輸入、更大的上下文視窗，或是在複雜主題上要求更高的事實準確性，則應避免使用。如果你需要最新的知識截止日期，請偏好 gpt-3.5-turbo-0125。若要追求極致效能，則選擇 gpt-4o。OrcaRouter 的模型目錄讓你能在不修改程式碼的情況下輕鬆切換這些選項。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| 輸入 / 1M tokens | $1.00 |
| 輸出 / 1M tokens | $2.00 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
@misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106