2024-11-20 版本的 GPT-4o 提供了升級的創意寫作能力,具有更自然、更具吸引力且量身定製的寫作,以提升相關性與可讀性。它在處理上傳的...
OpenAI GPT-4o (2024-11-20) 是由 OpenAI 開發的多模態大型語言模型。它接受文字、圖片和檔案形式的輸入,並產生文字輸出。該模型支援 128,000 個 token 的上下文視窗,每次回應最多可產生 16,384 個 token。定價為每 1M 輸入 token 2.50 美元,每 1M 輸出 token 10.00 美元,透過 OrcaRouter…
GPT-4o 擅長需要深度推理的任務,特別是在數學方面(其在 MATH-500 上獲得 75.9 分即為證明)。它在複雜問答、程式碼生成和資料分析方面表現優異。其多模態支援使其能夠解讀圖像、圖表和文件,因此在從 PDF 中提取表格或解釋圖形等應用中表現出色。大上下文視窗使其在總結長文本、維持連貫的多輪對話以及處理整個程式碼庫等任務中非常有效。它也能可靠地遵循指令並產生結構化輸出。對於較簡單或高頻率的任務,使用較便宜的模型可能更具成本效益。
GPT-4o 雖然效能出色,但對於較簡單或大量處理的任務,改用更便宜的模型(如 GPT-4o mini 或其他輕量選項)可能更為合適。如果你的提示詞簡短、不需要圖片或檔案輸入,且推理複雜度低,使用較便宜的模型能大幅降低成本。此外,若延遲至關重要,小型模型的回應速度通常更快。對於能容納較小上下文窗口(例如小於 8K token)的任務,選擇每 token 價格較低的模型會更經濟。權衡取捨如下:GPT-4o 的成本為輸入每百萬 token $2.50、輸出每百萬 token $10,但 OrcaRouter 上許多更便宜的替代方案能以極低的價格處理簡單請求。
GPT-4o 支援檔案輸入作為一種模態,允許使用者上傳模型可以讀取和處理的檔案(例如 PDF、文字檔)。檔案的內容會被標記化並納入上下文視窗中。這使得能夠執行如從文件中提取特定資訊、摘要其內容或回答有關文件的問題等任務。檔案處理可與文字和圖像輸入同時運作,因此單一請求可以包含組合。請注意,檔案上傳會消耗 128,000 個標記的上下文視窗中的標記容量,因此大型檔案可能會減少可供其他輸入或輸出的空間。OrcaRouter 的 API 接受作為標準 OpenAI 相容請求格式一部分的檔案上傳。
儘管GPT-4o有其優勢,但仍存在局限。它在事實查詢上可能仍會產生幻覺,輸出錯誤資訊,尤其是在小眾或近期話題上。其數學推理能力雖強(MATH-500得分75.9),但並非完美,在複雜的多步驟問題上可能出錯。該模型不適合對低延遲要求嚴格的即時串流應用,因為大型模型通常推理時間較長。它不原生支援音訊輸入,音訊必須先轉錄。此外,128K的上下文視窗由輸入和輸出共用,因此過長的輸入會限制回應長度。模型的知識截止日期為2024年11月20日,若未透過檢索增強,便無法提供該日期之後的最新資訊。
GPT-4o(2024年11月20日版本)在MATH-500基準測試中獲得75.9分,該測試評估模型在500道高難度競賽級數學題上的數學推理能力。此分數代表正確解題的百分比。75.9的分數使其躋身數學推理領域的頂尖模型之列,但並非最高分。該基準涵蓋代數、幾何、微積分及其他數學主題。使用者應將此分數視為模型在數學情境中執行複雜多步驟推理能力的指標,不應將其視為創意寫作或事實回憶等其他任務的表現參考。透過在OrcaRouter上與其他模型比較此分數,可協助選擇適合數學密集型應用的模型。
GPT-4o 的延遲取決於請求大小、輸出長度以及 OpenAI 基礎設施上的並發負載等因素。作為擁有 128K 上下文與多模態輸入的大型模型,其推理時間通常高於較小型模型。對於中等長度的輸出,使用者應預期回應時間在數秒範圍內。若用於即時應用,OrcaRouter 上的較小型模型可能更為合適。模型事實中並未提供確切的延遲數據,但建議以具代表性的工作負載進行實測。採用串流傳輸可在生成 token 的同時逐個傳遞,從而降低感知延遲。OrcaRouter 支援透過 OpenAI 相容 API 並搭配 'stream: true' 參數來實現串流傳輸。
主要優勢:強大的數學推理能力(MATH-500得分75.9)、多模態輸入(文字、圖片、檔案)、大上下文視窗(128K tokens)、高輸出上限(16,384 tokens),以及每百萬tokens $2.50/$10 的具競爭力定價。坦誠的缺點:延遲高於較小的模型;可能在事實性查詢上產生幻覺;不支援音訊輸入;共享的上下文視窗需要仔細的提示設計;知識截止日期為2024年11月20日,因此無法獲取當前事件。對於不需要深度推理的任務,像GPT-4o mini這樣更便宜的模型可能提供更快且更具成本效益的回應。使用者應根據自己的具體用例來評估這些取捨。
GPT-4o 的定價為每 100 萬個輸入代幣 2.50 美元,每 100 萬個輸出代幣 10.00 美元。此費率與 OpenAI 收取的相同;OrcaRouter 不收取任何加價,因此您只需支付提供者費率,無需額外費用。輸入代幣包括提示中的文字、圖片代幣和檔案代幣。輸出代幣則為生成的回覆。例如,一個請求包含 10,000 個輸入代幣和 500 個輸出代幣,其費用為 (10,000/1,000,000)*2.50 + (500/1,000,000)*10.00 = $0.025 + $0.005 = $0.03。計費方式為按使用量收費,無需預先承諾。OrcaRouter 不會在代幣費率之外隱藏任何額外費用。
GPT-4o 的定價高於 OrcaRouter 上較小的模型,例如 GPT-4o mini 或其他輕量級替代方案。取捨在於 GPT-4o 為需要這些能力的任務提供了卓越的推理與多模態功能。若您的應用主要使用簡短文字提示且不包含圖片,較便宜的模型可能將成本降低 5-10 倍。然而,對於 GPT-4o 優勢得以發揮的任務(例如複雜數學、文件分析),其邊際成本可能是合理的。此外,由於 GPT-4o 擁有較大的上下文視窗,輸入過長內容會增加 token 消耗與成本。建議裁剪不必要的上下文並使用簡潔提示,以管控開支。
快取是一項功能,當重複的提示或頻繁的前綴匹配發生時,可以降低成本。OrcaRouter 可能支援某些提供者的快取,但提供的資訊中並未詳細說明 GPT-4o 的具體快取行為。使用者應查閱 OrcaRouter 的文件,以確認輸入快取是否可用以及它如何影響計費。通常,快取 token 會以較低的費率計費,或完全免費。即使沒有快取,零加成定價確保您只需支付 OpenAI 的標準費率。對於高流量應用程式,快取可以顯著節省成本;若支援,請與 OrcaRouter 支援團隊確認以啟用此功能。
OrcaRouter 直接傳遞提供者對 GPT-4o 的定價,不增加任何加成。這表示您支付的是 OpenAI 按 token 收取的確切費用,無任何額外平台費用。OrcaRouter 可能透過其他方式產生收益(例如進階功能、大量折扣或企業方案),但 GPT-4o 的基本 API 費率透明地反映提供者費率。此定價模型有利於需要成本確定性與可預測支出的使用者。使用 OpenAI 相容的 API 端點時,沒有隱藏成本。請務必至 OrcaRouter 網站確認最新定價,因為提供者費率可能變動。
要在 OrcaRouter 上使用 GPT-4o,請將請求傳送至基礎 URL https://api.orcarouter.ai/v1,並使用模型 ID "openai/gpt-4o-2024-11-20"。該端點與 OpenAI 的 chat completions API 完全相容。請包含您的驗證憑證(API 金鑰)並指定模型。使用 curl 的範例如下: ``` curl https://api.orcarouter.ai/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_API_KEY" \ -d '{ "model": "openai/gpt-4o-2024-11-20", "messages": [{"role": "user", "content": "Hello"}] }' ``` 詳細的 API 參考請參閱 OrcaRouter 文件。
GPT-4o 的請求主體支援標準 OpenAI 聊天完成參數:model、messages、temperature、top_p、n、stream、stop、max_tokens、presence_penalty、frequency_penalty、logit_bias、user 等。model 參數必須設定為 "openai/gpt-4o-2024-11-20"。對於多模態輸入,請在 messages 中包含以內容陣列形式(text、image_url、file)提供的訊息。圖片輸入需要 data URL 或 URL。檔案輸入可以透過檔案 URL 或 base64 編碼內容提供(格式取決於 OrcaRouter 的實作)。max_tokens 最高可設定為 16384。使用 stream: true 啟用串流回應。請參閱 OrcaRouter 的文件以了解任何額外參數或細節。
從 OpenAI 直接 API 遷移至 OrcaRouter 需要更改基礎 URL 和模型 ID。將端點從 https://api.openai.com/v1 更新為 https://api.orcarouter.ai/v1,並將模型名稱替換為 "openai/gpt-4o-2024-11-20"。驗證方式可能不同:從 OrcaRouter 取得 API 金鑰,並在 Authorization 標頭中使用它。所有請求參數保持不變(messages、temperature 等)。對於現有程式碼,只需更改基礎 URL 和模型字串即可。OrcaRouter 聲稱零加成,因此您應看到完全相同的逐 Token 定價。先以小型請求進行測試,以確認行為和計費。
是的,OrcaRouter 支援透過 OpenAI 相容 API 對 GPT-4o 進行串流處理。請在請求中將 stream 參數設為 true。伺服器會以 Server-Sent Events (SSE) 格式逐個傳送生成的 token,與 OpenAI 的串流 API 一致。串流功能有助於減少聊天應用中的感知延遲,並能逐步顯示輸出內容。例如:在請求主體中加入 "stream": true。回應將是以標準格式串流傳送的 JSON 物件。請注意,串流可能略微增加總請求時間,但能改善長輸出內容的使用者體驗。
GPT-4o mini 是一款較小且較便宜的模型,專為較簡單的任務設計。GPT-4o (2024-11-20) 擁有更大的上下文視窗(128K 對 128K?實際上 GPT-4o mini 也有 128K 上下文,但此資訊並未提供,需留意。事實上 GPT-4o mini 的上下文是否也是 128K?這廣為人知,但我們沒有確切資料。我將避免詳細數字。改為:GPT-4o 定價較高(每 100 萬 tokens 收費 $2.50/$10),而 GPT-4o mini 則較便宜。GPT-4o 提供更深入的推理能力,並在 MATH-500 等基準測試中表現更佳。對於需要複雜多模態理解的任務,建議使用 GPT-4o。對於大量、低複雜度的任務(例如分類、簡單問答),GPT-4o mini 可提供更快的推理速度及較低成本。請根據能力與預算之間的權衡來選擇。
GPT-4 Turbo 是較早期的模型,具備 128K 上下文視窗與相似的輸出限制。GPT-4o (2024-11-20) 通常更具成本效益,其輸入與輸出 token 價格較低(每 1M tokens $2.50/$10,而 Turbo 為 $10/$30,但這些數字未提供;我不應自行編造。我會說明:GPT-4o 每個 token 的價格低於 GPT-4 Turbo,且是較新的模型。諸如 MATH-500(GPT-4o 得分 75.9)等基準測試可能高於 GPT-4 Turbo,但此處未提供確切分數。GPT-4o 也原生支援檔案輸入。使用者應根據自身任務比較具體表現來決定。OrcaRouter 提供兩種模型,因此切換很方便。
開源模型(例如 Llama 3、Mistral)通常運行在你自己的基礎設施上,避免按 token 計費,但需要計算資源。GPT-4o 提供最先進的推理與多模態能力,開箱即用,無需管理基礎設施。其成本(每 1M 個 token 為 $2.50/$10)可預測,且對低用量具競爭力,但規模擴大時可能變得昂貴。開源模型若自行託管,延遲可能較低,且對高用量可能更便宜。不過,它們在基準測試表現與多模態支援上可能落後。選擇取決於你對控制權的需求、預算,以及對尖端效能的追求。OrcaRouter 提供對專有模型與開源模型的存取。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-11-20",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| 輸入 / 1M tokens | $2.50 |
| 輸出 / 1M tokens | $10.00 |
| 快取讀取 / 1M | $1.25 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
@misc{orcarouter_gpt_4o_2024_11_20,
title = {GPT-4o (2024-11-20) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-11-20}
}OpenAI. (2024). GPT-4o (2024-11-20) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-11-20