2024-08-06 版本的 GPT-4o 在結構化輸出方面提升了效能，並能在 respone_format 中提供 JSON schema。更多資訊請見[此處](https://openai.com/index/introducing-structured-outputs-in-the-api/)。GPT-4o（「o」代表「omni」）是...
GPT-4o (2024-08-06) 是 OpenAI 的 GPT-4o 模型的一個版本，於 2024 年 8 月發布。它是一個多模態大型語言模型，可以處理文字、圖像和檔案輸入。該模型通過 OrcaRouter 的 OpenAI 相容 API 存取，該 API 為多個提供商提供單一終端點。擁有 128,000 個 token 的上下文視窗和最多 16,384 個 token…
該模型的核心優勢在於數學推理與多模態理解能力。其MATH-500得分為79.5，顯示出逐步解決複雜數學題的強大能力。它能解讀圖片、圖表與圖形，提供準確的描述或分析。128K的上下文窗口使其能處理大量資訊，例如一整本書或一系列附帶文字的圖片。它也支援檔案上傳，便於從試算表中提取資料或讀取程式碼檔案等任務。這些能力基於OpenAI的持續優化，該模型廣泛應用於生產環境中。
GPT-4o (2024-08-06) 在需要結合視覺與文字資訊的任務上表現出色，例如透過圖表解數學題、分析使用者介面截圖以回報錯誤、從掃描文件中擷取資料，以及詳細解說複雜圖表。當除錯或程式碼生成的情境包含錯誤或檔案結構的螢幕截圖時，此模型也同樣有效。教育應用程式可從其逐步推理中受益。對於純文字且簡單的任務，例如基本問答或短文本摘要，使用較便宜的模型如 GPT-4o mini 就足夠了。此模型應保留給高價值、多模態或需要大量推理的工作流程使用。
對於不需使用視覺、文件處理或高級推理的任務，採用體積較小、價格較低的模型更具成本效益。舉例來說，簡單聊天應用程式、短篇內容生成或分類任務可由 GPT-4o mini 或 GPT-3.5 Turbo 這類模型處理。若您的應用程式僅處理文字，且不需要 128K 上下文視窗，則較小的上下文模型可減少延遲與成本。此外，如果您的資料不涉及圖片或文件，純文字模型便已足夠。請評估任務的複雜度是否值得 GPT-4o 較高的每 token 價格。OrcaRouter 提供一系列價格不同的模型，以配合各種使用情境。
是的，該模型支援文件輸入。您可以上傳PDF、Word文件、試算表、圖片和程式碼檔案等。模型會提取並理解這些文件中的內容，將其視為上下文的一部分。例如，它能讀取PDF中的文字、解讀CSV中的數字，或分析.py檔案中的原始碼。當結合圖像輸入時，還可以處理帶有嵌入式圖表的混合媒體文件。這對於自動化資料提取、文件審閱和程式碼分析特別實用。請注意，文件處理會計入128,000個標記的上下文窗口，因此大型檔案可能佔用較多空間。
在MATH-500基準測試中，GPT-4o（2024-08-06）取得了79.5分。MATH-500是MATH資料集的一個子集，包含500道具有挑戰性的競賽級數學問題，涵蓋代數、幾何、數論和概率等主題。79.5的分數表示大約五分之四的問題回答正確。這使其躋身數學推理能力最強的模型之列。雖然沒有提供其他基準測試的分數，但這一指標顯示了模型在逐步邏輯推導和算術方面的實力。用戶可以期待它在教學、驗證和問題生成等數學密集型應用中表現可靠。
在可用資料中，並未提供MATH-500以外的具體基準測試分數。然而，GPT-4o作為一個模型系列，廣泛被認為在包括MMLU（大規模多任務語言理解）、HumanEval（程式碼生成）以及多種視覺語言任務在內的一系列標準基準測試中表現卓越。2024年8月的版本可能包含改進推理與指令遵循能力的更新。由於缺乏確切數據，用戶應參考OpenAI發表的評估資料以獲取最新資訊。就實務而言，該模型在結合文字與視覺能力方面，被視為開放API模型中的頂尖水準。
沒有提供此模型的具體延遲或吞吐量數據。一般來說，GPT-4o 設計上比早期的 GPT-4 變體更快，同時保持品質。延遲取決於因素如輸入長度、輸出長度、並發請求以及後端基礎設施。通過 OrcaRouter 訪問時，請求會被路由到 OpenAI 的伺服器，回應時間與直接 API 調用相似。用戶可以通過使用必要的上下文最小化並設定合理的 max_tokens 限制來進行優化。對於即時應用，建議用代表性的工作負載進行測試。OrcaRouter 不會引入超出網路路由的額外延遲。
優勢：強大的數學推理能力（MATH-500 79.5）、多模態輸入（文字、圖片、檔案）、大型 128K 上下文視窗，以及高輸出 Token 上限（16,384）。特別適合複雜推理、視覺理解，以及需要長程上下文的任務。限制：與較小模型相比成本較高；對於簡單或低延遲任務可能並非最佳；在模糊或格式不佳的輸入上準確度可能不一；視覺能力在扭曲或低解析度圖片上可能表現不佳。此外，與所有大型語言模型一樣，它可能產生聽起來合理但錯誤的答案，尤其是在訓練資料範圍以外的領域。可透過驗證輸出與提示工程來降低風險。
GPT-4o（2024-08-06）的定價根據 Token 用量計算。輸入 Token 每百萬個收費 $2.50 美元，輸出 Token 每百萬個收費 $10.00 美元。此為供應商（OpenAI）費率，OrcaRouter 不額外加價——您支付的費用與直接呼叫 OpenAI 完全相同。Token 計數依據傳送與接收的文字量。圖片與檔案輸入則根據其大小及處理複雜度消耗對應 Token（圖片 Token 成本依 OpenAI 政策計算）。使用 API 端點無需額外費用。帳單通常按使用週期彙整，您可透過 OrcaRouter 儀表板監控 Token 用量。
無隱藏成本或附加費用。OrcaRouter 以供應商實際費率計費，零加成。所列價格（輸入每百萬個 token $2.50，輸出每百萬個 token $10）已包含所有費用。驗證、連線或支援均無額外收費。然而，圖片與檔案輸入會產生由 OpenAI 定價政策決定的 token 成本，可能超過純文字 token 成本。例如，一張 1080x1080 的圖片可能耗費超出文字 token 的特定 token 數。請查閱 OpenAI 文件以獲取精確的圖片 token 定價。OrcaRouter 會按原成本傳遞這些費用，不加成。根據目前資訊，並無基於快取的折扣。
選擇 GPT-4o (2024-08-06) 而非較便宜的模型（如 GPT-4o mini 或 GPT-3.5 Turbo）需要在效能與成本之間做出取捨。每個 token 的價格較高，因此對於高流量應用，成本會快速累積。然而，若任務需要模型的多模態能力或 128K 的上下文視窗，較便宜的模型可能無法勝任，導致輸出不完整或品質較低。對於僅需簡單推理的文字任務，使用較便宜的模型可以在不犧牲太多品質的情況下降低費用。OrcaRouter 讓你能輕鬆切換不同模型，因此你可以針對每個使用場景進行實驗，以找出最佳的成本效能平衡。
現有資料中未提及此模型有任何快取或折扣機制。OrcaRouter 按供應商費率計費且不加價，因此任何折扣可能來自 OpenAI 自身的定價（例如針對大量使用量的分級折扣，如適用）。OrcaRouter 可能提供其自身的快取功能，但此模型尚未確認。為降低成本，可考慮減少輸入 token 用量，例如截斷對話記錄、使用更簡潔的提示詞，以及透過 max_tokens 參數限制輸出長度。對於重複的相同查詢，可在應用層級實作快取。
若要透過 OrcaRouter 呼叫 GPT-4o (2024-08-06)，請使用基礎 URL `https://api.orcarouter.ai/v1` 並將模型 ID 設為 `"openai/gpt-4o-2024-08-06"`。此 API 與 OpenAI 的客戶端函式庫完全相容。例如，在 Python 中使用 openai 函式庫時，您可以設定 `openai.api_base = "https://api.orcarouter.ai/v1"` 和 `openai.api_key = "your-orcarouter-api-key"`，然後呼叫 `openai.ChatCompletion.create(model="openai/gpt-4o-2024-08-06", messages=[...])`。所有標準參數（如 temperature、max_tokens、top_p 等）皆受支援。有關驗證和速率限制的詳細資訊，請參閱 OrcaRouter 文件。
由於該模型支援 OpenAI 相容 API，因此您可以使用 OpenAI 聊天補全端點提供的完整參數集。主要參數包括：model（設為模型 ID）、messages（角色-內容物件清單）、temperature（0-2）、top_p（0-1）、n（補全數量）、max_tokens（最多 16384）、stop（序列）、frequency_penalty、presence_penalty、logit_bias 及 user（用於用量追蹤）。對於多模態輸入，您需在訊息的 content 中以適當格式包含圖片或 file_url（例如 content: [{type: "text", text: "..."}, {type: "image_url", image_url: {...}}]）。圖片與檔案輸入語法請參閱 OpenAI 文件。
從直接使用 OpenAI API 遷移至 OrcaRouter 需要兩個變更：1) 將基礎 URL 設定為 https://api.orcarouter.ai/v1，以及 2) 將您的 OpenAI API 金鑰替換為 OrcaRouter API 金鑰。訊息格式或參數無需修改程式碼。模型 ID 從 "gpt-4o-2024-08-06" 更改為 "openai/gpt-4o-2024-08-06"。所有既有的處理串流、函式呼叫和回應解析的邏輯保持不變。OrcaRouter 的 API 被設計為可直接替代的解決方案。切換後，您還可以透過相同的介面存取其他提供者的模型，從而輕鬆進行比較和負載平衡。
驗證是透過 OrcaRouter 提供的 API 金鑰來完成。在標頭中包含 "Authorization: Bearer YOUR_ORCAROUTER_API_KEY"。速率限制由 OrcaRouter 管理，可能與 OpenAI 的直接限制不同。請查閱您的 OrcaRouter 方案以了解詳情。如果超出速率限制，您將會收到 HTTP 429 回應。為減輕影響，請實作具備指數退避的重試邏輯。OrcaRouter 也可能允許您透過 user 參數設定每個使用者的速率限制。針對高吞吐量需求，請聯絡 OrcaRouter 支援以安排客製化方案。模型本身沒有單獨的速率限制；它受整體端點限制的約束。
GPT-4o (2024-08-06) 是完整尺寸的旗艦模型，而 GPT-4o mini 則是較小、較便宜的變體。主要差異：GPT-4o 具有 128K 的上下文窗口（而 GPT-4o mini 同樣是 128K，但 mini 的輸出限制通常也只有 16K？實際上 GPT-4o mini 也有 128K 上下文和 16K 輸出，但在推理與視覺能力上較弱。完整模型在 MATH-500 上得分 79.5；GPT-4o mini 在數學基準測試中得分較低。定價：GPT-4o 較昂貴（每 100 萬個 Token $2.50/$10，而 GPT-4o mini 為 $0.15/$0.60）。對於需要高準確度或複雜推理的任務，完整模型是合理的選擇；對於較簡單的任務，mini 則提供了具成本效益的替代方案。
與 GPT-4（例如 GPT-4-0613 或 GPT-4 Turbo）相比，GPT-4o（2024-08-06）提供了多項改進：原生多模態輸入（文字、圖片、檔案），無需額外使用視覺模型；更大的上下文視窗（128K，相較於舊版 GPT-4 的 32K）；以及更快的推理速度。定價也低於早期的 GPT-4 版本，那些版本通常價格較高。舉例來說，GPT-4 Turbo 雖然也有類似的上下文長度，但定價更高。在基準測試方面，MATH-500 分數為 79.5，表現勝過舊版 GPT-4 模型。然而，部分使用者可能覺得早期模型在特定任務上更穩定，因為它們有較長的訓練歷史。總體而言，GPT-4o 是更現代且更高效的後繼版本。
選擇取決於具體需求與供應商偏好。GPT-4o (2024-08-06) 在數學推理（MATH-500 79.5）以及支援文字、圖片和檔案的多模態任務上表現優異。Anthropic 的 Claude 系列在某些版本中可能提供更強的安全功能或更長的上下文視窗，但定價通常較高。Google 的 Gemini 模型具備多模態與大上下文能力，但效能特性可能不同。使用 OrcaRouter，您可以透過單一 API 測試多家供應商。對於需要高數學準確性的任務，GPT-4o 是強力候選；而純文字摘要或低成本任務，其他模型可能更經濟。請根據您的使用情境評估基準評分與定價。
透過 OrcaRouter 使用 GPT-4o 時，你的資料會傳送至 OpenAI 的伺服器進行推論。OrcaRouter 僅轉發你的提示，不會儲存或處理這些提示。OpenAI 的資料使用政策適用——若你對訓練資料使用或資料保留有疑慮，請查閱 OpenAI 的條款。若你需要資料保留在特定司法管轄區內，或避免使用特定供應商，OrcaRouter 允許你每次請求時從多個供應商中選擇。你也可以利用 OrcaRouter 的路由功能，將請求導向符合你合規要求的供應商。請務必查閱 OrcaRouter 及底層供應商的資料處理文件。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-08-06",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| 輸入 / 1M tokens | $2.50 |
| 輸出 / 1M tokens | $10.00 |
| 快取讀取 / 1M | $1.25 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
@misc{orcarouter_gpt_4o_2024_08_06,
title = {GPT-4o (2024-08-06) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06}
}OpenAI. (2024). GPT-4o (2024-08-06) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06