OpenAI的GPT‑4 Turbo，支援128K上下文、文字/圖像輸入，透過OrcaRouter的API存取。
openai/gpt-4-turbo-2024-04-09 是 OpenAI 的 GPT-4 Turbo 模型的一個特定版本，於 2024 年 4 月 9 日發布。它接受文字和圖像輸入，並提供 128,000 個 token 的上下文窗口，使其能夠在單次請求中處理非常長的對話或文件。該模型每次調用最多可產生 4,096 個輸出 token。它在 MATH-500 基準測試中獲得了 73.7…
此模型可執行多種自然語言任務：摘要、翻譯、問答、程式碼生成與創意寫作。憑藉其128K token的上下文，可一次性分析完整書籍或大型程式碼庫。同時支援影像處理，因此能針對照片、圖表或掃描文件回答問題。本模型在MATH-500（73.7）上的優異表現，顯示其能逐步解決複雜數學問題。為獲得最佳效果，請提供清晰指示，並使用系統訊息設定行為。可透過OrcaRouter的API（網址：https://api.orcarouter.ai/v1）以模型ID「openai/gpt-4-turbo-2024-04-09」存取此模型。
GPT-4 Turbo 功能強大但相對昂貴，每百萬輸入 tokens 收費 10 美元，每百萬輸出 tokens 收費 30 美元。對於不需要深度推理或大量上下文的任務，像 GPT-3.5 Turbo 這類較輕量的模型（每百萬 tokens 價格約 0.5–1.5 美元）可能就足夠了，而且經濟實惠得多。例如簡單的文字分類、基本聊天機器人或短篇內容生成。此外，如果你的應用不需要多模態輸入或非常大的上下文視窗，較小的模型可以降低延遲與成本。OrcaRouter 允許你透過更改 API 呼叫中的模型 ID 來切換不同模型。
是的，GPT-4 Turbo（2024-04-09）除了文字之外，也接受圖片輸入。你可以在 API 請求中將圖片以 base64 編碼資料或 URL 的形式提供。模型可以解讀照片、圖表、圖形以及圖片中的文字（例如螢幕截圖）。這使其適合於視覺任務，例如圖片說明、視覺問答，以及包含掃描頁面的文件分析。使用圖片時，token 成本會包含圖片的視覺 token——通常每張圖片消耗的 token 與其解析度成正比。確切的 token 計算方式由 OpenAI 定義；詳情請參閱其文件。透過 OrcaRouter，你可以傳送與 OpenAI API 相同的請求格式。
128K token 的上下文窗口（約96,000字）非常適合需要理解極長序列的任務。例如，在一次 API 呼叫中處理整本書或冗長的法律文件、分析完整的程式碼庫，或維護涵蓋數百輪對話的歷史記錄。它也支援如 "chain-of-thought" 提示等技術，用於長推理軌跡。然而，請注意，模型注意力機制的複雜度可能會增加極長輸入的延遲。對於大多數生產應用，8K–32K 的上下文窗口通常已足夠；僅在您的任務確實需要擴展記憶體時，才充分利用完整的 128K。
MATH-500基準測試包含500道具挑戰性的數學問題，涵蓋代數、幾何、數論等領域。73.7的分數表示GPT-4 Turbo正確解決了約73.7%的問題。這是一個強勁的表現，使其在數學推理方面躋身頂尖模型之列。作為對比，早期的GPT-4模型在類似數學基準測試中得分較低。該分數表明該模型能夠可靠地處理逐步推理，這對於輔導系統、自動化數學檢查和複雜數據分析非常有用。請注意，表現可能因問題領域而異；該模型在高度專業或模糊的問題上仍可能出錯。
OpenAI 並未公佈此模型的確切延遲數據。通常，GPT-4 Turbo 比原始 GPT-4 更快，但比 GPT-3.5 Turbo 或 GPT-4o Mini 等小型模型慢。實際響應時間取決於輸入長度、輸出長度、請求量以及伺服器負載。OrcaRouter 優化了到 OpenAI 端點的路由，但除了網路跳躍之外不會增加額外延遲。對於延遲敏感的應用，建議使用總 Token 用量較低的更快模型。如果您需要即時回應，可以透過 OrcaRouter 的 API 測試該模型，並衡量特定工作負載的效能。
如同所有大型語言模型，GPT-4 Turbo 有時會產生不正確或無意義的資訊（幻覺）。它也可能囉嗦，產生比必要更長的答案。雖然擅長數學，但在近期事件的準確性上可能有困難（訓練數據截止日期未指定；假設知識截至2024年初）。該模型不像較新版本那樣支援函式呼叫，但接受請求格式中的工具使用模式。它也不保證跨呼叫的格式一致性。對於安全關鍵任務，務必驗證輸出。OrcaRouter 按原樣提供模型，不進行額外過濾。
OrcaRouter 以零加成方式傳遞 OpenAI 的定價。成本為每 100 萬個輸入 Token 10.00 美元，每 100 萬個輸出 Token 30.00 美元。輸入 Token 包括文字和圖片 Token（圖片 Token 數量由 OpenAI 的演算法決定）。輸出 Token 則是由模型產生的 Token。由於沒有加成，您看到的價格就是 OpenAI 的實際收費。計費依據 OrcaRouter 記錄的 Token 使用量。沒有額外費用或最低消費限制。您可以在 OrcaRouter 儀表板中監控使用情況並設定支出上限。
OrcaRouter 不為此模型提供令牌快取功能；每次 API 請求均根據實際令牌數量計費。目前沒有用量折扣或承諾用量折扣。定價嚴格按照上述的每個令牌計算。為降低成本，您可以最佳化提示詞以減少令牌使用量（例如縮短系統訊息、截斷不必要的上下文）。或者，對於不需要 GPT-4 Turbo 完整功能的任務，可以考慮使用 OrcaRouter 上提供的較便宜模型，例如 GPT-3.5 Turbo 或 GPT-4o Mini。
輸出 token 的費用是輸入 token 的三倍（每百萬個 $30 vs. $10）。因此，生成較長的回應會顯著增加總成本。對於成本敏感的應用，請考慮將 max_tokens 參數限制在最小必要長度。此外，請注意，包含許多圖片的提示可能會消耗大量輸入 token（每個圖片可能消耗數百個 token）。在擴展之前務必估算 token 使用量。單個 128K token 的輸入僅輸入部分就需要 $1.28，再加上 128K 輸出的 $3.84（如果生成）。實際上，典型請求使用的 token 數量遠少於此。
您可以使用 OpenAI 的 tokenizer 或 OrcaRouter 內建的 token 計數功能。對於文字，1 個 token 約等於 0.75 個英文單詞。對於圖片，token 消耗取決於圖片尺寸與細節層級；OpenAI 的文件提供了計算公式。您也可以發送一個小型測試請求，然後檢查 API 回應中的 usage 欄位（包含 prompt_tokens、completion_tokens 和 total_tokens）。將這些數字乘以每個 token 的價格即可得出成本。OrcaRouter 也會在日誌中顯示每次請求的成本。請注意，最大輸出為 4,096 個 token，因此每次請求的輸出成本上限為 $0.12288（4,096 * $30/1,000,000）。
使用 OrcaRouter 的 OpenAI 相容 API 端點：https://api.orcarouter.ai/v1。將模型參數設為 "openai/gpt-4-turbo-2024-04-09"。在 Authorization 標頭（Bearer your_key）中放入您的 OrcaRouter API 金鑰。請求格式與 OpenAI 的 Chat Completions API 完全相同。使用 openai 函式庫的 Python 範例：設定 openai.base_url = "https://api.orcarouter.ai/v1" 以及 openai.api_key = "orcarouter_key"，然後呼叫 openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...])。您可以傳入標準參數，例如 temperature、top_p、max_tokens（最多 4096）。
所有標準的 OpenAI Chat Completions 參數皆受支援，包括：temperature（0-2，預設 1）、top_p（0-1，預設 1）、max_tokens（最多 4096）、n（輸出數量）、stop 序列、frequency_penalty、presence_penalty 和 logit_bias。對於多模態請求，請包含一個類型為 "text" 和 "image_url" 的內容陣列。OrcaRouter 會直接將這些參數傳遞給 OpenAI 的 API。請注意，某些進階功能（如 function calling）可能可以運作，但此模型版本並未正式文件化；請測試以確認。您也可以透過設定 stream=True 來串流回應，這會回傳伺服器推送事件。
遷移非常簡單：將基礎URL從 https://api.openai.com/v1 改為 https://api.orcarouter.ai/v1，並將您的API金鑰替換為您的OrcaRouter金鑰。將模型名稱更新為「openai/gpt-4-turbo-2024-04-09」。所有訊息格式、系統提示、工具定義等均保持不變。OrcaRouter作為一個透明閘道器，因此回應與OpenAI會回傳的內容完全相同（前提是模型和參數相同）。您可以透過發送幾個請求並比較輸出結果來測試遷移。不需要對您的提示工程進行任何更改。
與原始GPT-4（2023年3月發布）相比，GPT-4 Turbo帶來了多項改進：更大的上下文視窗（128K對比8K/32K）、更低的定價（每百萬token $10/$30 對比約$30/$60），以及更快的回應速度。MATH-500得分為73.7，明顯高於早期GPT-4在同類基準測試中的表現。然而，有些用戶反映，GPT-4 Turbo在遵循格式指令方面可能比GPT-4略不穩定。對於大多數任務，建議優先選擇GPT-4 Turbo，除非你特別需要GPT-4的行為模式。透過OrcaRouter，你可以同時存取兩個模型並直接比較輸出結果。
GPT-4o（OpenAI 後續的多模態模型）提供原生的多模態能力、更快的速度，以及改進的視覺理解表現。它還擁有 128K 的上下文窗口。一般來說，GPT-4o 比 GPT-4 Turbo 更便宜（每百萬個 Token 需花費 $5/$15）。在 MATH-500 上，GPT-4o 通常得分更高。如果你需要原本 GPT-4 Turbo 的特定行為，或者已經為它優化過提示詞，GPT-4 Turbo 仍然是個不錯的選擇。在 OrcaRouter 上，你可以透過變更模型 ID 來切換這些模型。我們建議根據你的使用情境測試兩者，以決定哪個能在準確性與成本之間取得更佳的平衡。
如果您需要一個可靠、高效能且擁有極大上下文視窗的模型，並願意為卓越的推理能力支付更高費用，請選擇 openai/gpt-4-turbo-2024-04-09。它在數學任務上表現尤其出色（MATH-500 73.7）。若您的應用需要多模態輸入，GPT-4 Turbo 和 GPT-4o 都支援，但 GPT-4o 可能更快且更便宜。對於簡單的文字任務，請考慮使用 GPT-3.5 Turbo 或 GPT-4o Mini。OrcaRouter 提供廣泛的模型目錄；在做出決定前，請根據您的特定資料評估成本、延遲和品質。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| 輸入 / 1M tokens | $10.00 |
| 輸出 / 1M tokens | $30.00 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
@misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09