GPT-4o(「o」代表「omni」)是 OpenAI 最新的人工智慧模型,同時支援文字與圖像輸入,並可輸出文字。它保持了 [GPT-4 Turbo](/models/openai/gpt-4-turbo) 的智慧水準,同時是兩倍...
GPT-4o (2024-05-13) 是 OpenAI 的多模態語言模型,可透過 OrcaRouter 的 API 存取。它能處理文字、圖片與檔案,適合需要結合視覺與文字資料的任務。該模型擁有 128,000 個 token 的上下文窗口,使其能夠在不截斷的情況下處理大型文件、長篇對話或程式碼庫。對於需要強大推理能力(MATH-500 基準測試中獲得 79.1…
GPT-4o 可以分析作為輸入一部分提供的圖像。它可以描述視覺內容、回答關於物體、圖像中的文字以及空間關係的問題。它還可以從掃描的文件或照片中提取並轉錄文字。由於它直接處理圖像,您不需要額外的OCR或視覺模型。圖像會被 tokenize 以符合上下文窗口的大小。例如,使用者可以上傳圖表的螢幕截圖,並要求模型解讀趨勢。模型的理解不僅限於簡單的標題;它可以推理內容、比較多張圖像,並將視覺提示與文字指令結合使用。此功能整合在同一次 API 呼叫中,使用與純文字請求相同的訊息格式。在 OrcaRouter 上,您可以將圖像以 base64 編碼的資料或 URL 的形式放在 content 陣列中傳送。模型 ID 仍為 "openai/gpt-4o-2024-05-13"。
GPT-4o 可接受檔案作為輸入。支援的格式包括 PDF、Microsoft Office 文件(Word、Excel、PowerPoint)、文字檔及圖片格式。對於 PDF 與 Office 檔案,模型會提取文字內容並分析佈局。它不會直接渲染複雜格式,而是讀取文字內容。這有助於處理報告、合約、試算表或簡報,無需手動提取。檔案內容會經過標記化處理,並計入輸入 token 總數。模型可以回答關於檔案內容的問題、進行摘要,或對表格資料執行計算。使用檔案時,請透過適當的 OpenAI API 欄位將其包含在訊息內容中。OrcaRouter 會在不經修改的情況下處理傳輸。請注意,模型的能力取決於提取文字的品質;若 PDF 中的圖片為大量掃描影像,除非內嵌文字圖層,否則可能無法完整讀取。
GPT-4o 是高端模型,成本高於 GPT-4o-mini 或早期 GPT-3.5 等替代方案。若您的任務不需要多模態能力(例如純文字任務)、大型語境(最高 128K),或 MATH-500(79.1)所量測的數學推理水準,則選用較便宜的模型可能更經濟。舉例來說,簡單分類、短篇內容生成或基本對話可由低成本模型處理,仍能產出可接受的品質。此外,若您的應用對延遲敏感,且較小模型速度更快,則取捨可能傾向速度而非絕對準確度。最後,若您鮮少需要處理圖片或檔案,則多模態能力便無用武之地。OrcaRouter 提供一系列模型,讓您能選擇最佳效能價格比。請根據基準分數及定價,評估您使用案例的需求,判斷 GPT-4o 的優勢是否值得額外成本。
GPT-4o 每次請求最多可生成 16,384 個 token。這個上限相當寬裕,足以應付長篇回答、詳細程式碼或多段分析。然而,輸出 token 的計費標準為每百萬個 $15.00 美元,因此輸出越長成本越高。您可以在 API 呼叫中使用 `max_tokens` 參數來控制輸出長度。若預期需要極長的生成內容,建議考慮分批處理或拆解請求。16,384 的上限適用於整個補全內容,包括要求推理步驟或思維鏈的輸出。對於需要深入思考的複雜任務,您可能需要多次呼叫。在 OrcaRouter 上,輸出 token 數量會顯示在 API 回應的 `usage` 欄位中,以便精確追蹤成本。OrcaRouter 不會增加額外限制;模型本身的原始上限即為此數值。
GPT-4o 在 MATH-500 基準測試中獲得 79.1 分。MATH-500 包含 500 道具挑戰性的數學問題,涵蓋代數、幾何、數論和概率等多個主題。79.1 分表示該模型正確回答了 79.1% 的問題。這是一個強勁的成績,顯示出穩健的數學推理能力,尤其是對於多模態模型而言。該基準測試同時考驗問題解決能力和逐步推理能力。這個分數可以引導對涉及數學輔導、科學計算或邏輯謎題等應用的期望。請注意,基準測試的表現並不能保證在真實任務中獲得相同的結果;可能需要領域特定的調整或提示工程。在考慮此模型時,請將其 MATH-500 分數與您評估的其他模型進行比較。OrcaRouter 不提供其他基準測試數據,因此這是此模型提供的唯一參考點。
延遲取決於多個因素:輸入長度、預期輸出長度、OpenAI伺服器的當前負載,以及你的應用程式與OrcaRouter之間的網路路徑。OrcaRouter不會在底層供應商回應時間之外增加顯著負擔。對於中等輸入(數千個token)和短輸出(少於1,000個token)的典型請求,回應通常會在幾秒內到達。較長的輸出(接近16,384個token)自然需要更多時間,因為模型會依序生成token。圖片輸入也會因為標記化和處理而增加延遲。你可以透過減少輸出長度、使用更簡潔的提示詞或批次處理請求來最佳化延遲。OrcaRouter提供標準的API端點,可依需求透過串流非同步回傳結果。對於即時互動應用,請考慮使用串流模式(stream: true),以便在token到達時立即開始處理。模型資訊中未提供具體延遲數值,因此這些為質化估計。
優點:多模態輸入(文字、圖片、檔案)、128K 大上下文視窗、強大的數學推理能力(MATH-500:79.1),以及高輸出 Token 上限(16,384)。能有效處理長文件與多輪對話。API 為標準 OpenAI 相容格式,便於整合。 限制:相比較小模型成本較高。不適合不需要多模態或大上下文的任務。未提供非英語語言的表現或特定安全基準的資訊。對極複雜場景或低解析度圖片的理解能力可能有限。此外,模型在訓練分布外的問題上可能產生錯誤答案。未揭露延遲保證。對於需要極低延遲或極低成本的用戶,其他模型可能更合適。MATH-500 的基準分數 79.1 顯示在最難數學問題上仍有進步空間。請評估這些取捨是否符合您的應用需求。
GPT-4o 按代幣計費,輸入代幣與輸出代幣各有不同費率。輸入代幣為每 100 萬個代幣 5.00 美元,輸出代幣為每 100 萬個代幣 15.00 美元。這些是供應商費率,由 OrcaRouter 以零加價傳遞。每次請求的成本 = (輸入代幣數 / 1e6 * 5) + (輸出代幣數 / 1e6 * 15)。例如,一段對話使用 4,000 個輸入代幣與 200 個輸出代幣,成本為 (0.004 * 5 美元) + (0.0002 * 15 美元) = 0.02 美元 + 0.003 美元 = 0.023 美元。API 呼叫本身不另收費用,您只需為消耗的代幣付費。價格根據供應商變更動態更新;OrcaRouter 會傳遞任何未來調整。由於沒有加價,使用者享有與直接使用 OpenAI 客戶相同的費率,同時享受 OrcaRouter 統一管理與計費的便利。請注意,圖片和檔案會被代幣化並計入輸入代幣數量,相較於純文字輸入往往會增加成本。
不行。OrcaRouter 不提供折扣、緩存令牌或重複輸入的降價方案。每個令牌均按標準供應商費率計費,沒有獨立的緩存費用或大量使用的附加費。每百萬令牌 $5/$15 是固定費率。需要極高吞吐量的用戶可諮詢客製化安排,但標準服務不包含批量折扣。此外,沒有隱藏費用(如連線費或月最低消費)。定價透明,直接與令牌用量掛鉤。若要優化成本,可考慮減少輸入大小(例如縮減歷史記錄、使用更簡潔的提示詞)和輸出長度(例如設定較低的 max_tokens)。此外,僅在必要時使用模型功能(多模態、大上下文)有助於控制成本。如果您的應用程式中有重複且完全相同的提示詞,在應用層進行緩存可減少令牌用量,但 OrcaRouter 本身不提供此功能。
GPT-4o 的價格屬於高階定位。對於許多任務來說,較便宜的模型(例如 GPT-4o-mini 或 GPT-3.5-turbo)可能就已足夠。可透過評估任務的複雜度與所需準確度來取捨。如果您的任務涉及簡單的提取或分類,且上下文有限,那麼較便宜的模型可能以較低的成本達到相似的表現。反之,如果任務需要對圖像、長文檔有細緻的理解,或需要高數學精確度(MATH-500 分數為 79.1,而較便宜模型的分數較低),那麼 GPT-4o 可能值得支付較高的價格。請在具代表性的樣本上進行 A/B 測試,以比較品質與成本。此外,請注意每百萬個 token 的價格相同,與文字長度無關;較短的請求成本較低。如果您的工作流程經常使用完整的 128K 上下文,那麼該請求的輸入 token 成本可能很高;請確保該上下文確實有必要使用。OrcaRouter 提供使用量指標,讓您可以監控並進行最佳化。
要在 OrcaRouter 上呼叫 GPT-4o,請使用與 OpenAI 相容的 API 端點:base_url = "https://api.orcarouter.ai/v1"。將 model 參數設為 "openai/gpt-4o-2024-05-13"。您需要從 OrcaRouter 取得 API 金鑰。請求格式遵循標準的 OpenAI Chat Completions API:messages 陣列包含角色(system、user、assistant)、可選的圖片和檔案內容,以及 temperature、max_tokens、top_p、frequency_penalty、presence_penalty 和 stop 等參數。例如,簡單的文字請求會以 POST 方式發送到 /chat/completions。對於圖片,請將內容作為使用者訊息的一部分,並使用 type "image_url"。對於檔案,也將其作為內容的一部分(具體格式遵循 OpenAI 規範)。回應將包含 assistant 的回覆、使用統計資料(prompt_tokens、completion_tokens、total_tokens)及其他中繼資料。除了標準的 Content-Type 和 Authorization 標頭外,不需要特殊標頭。整合方式與直接使用 OpenAI 完全相同。
所有標準的 OpenAI Chat Completions 參數均受支援:messages(必要)、model(必要,設為 "openai/gpt-4o-2024-05-13")、temperature(0–2,預設 1)、top_p(0–1,預設 1)、n(回覆數量,預設 1)、stop(字串或字串列表)、max_tokens(預設 16,384,上限 16,384)、presence_penalty(−2 至 2,預設 0)、frequency_penalty(−2 至 2,預設 0)、logit_bias(token ID 對應偏置值的映射)、user(用於濫用監控的字串)、stream(布林值,預設 false),以及 functions/tools(用於函式呼叫)。對於多模態輸入,messages 的 content 可以是內容部分的陣列,其 type 為 "text" 或 "image_url"。此外,根據 OpenAI 的文件,您也可以包含類型為 "file" 的內容(例如用於 PDF 附件)。OrcaRouter 會將這些參數直接傳遞給提供者,不做修改。請確保不超過 128K token 的上下文視窗。API 會針對無效請求、速率限制或驗證失敗回傳標準的錯誤代碼。
遷移非常簡單,因為 OrcaRouter 的 API 完全兼容 OpenAI。您只需變更兩項設定:將基礎 URL 從 https://api.openai.com/v1 改為 https://api.orcarouter.ai/v1,以及將模型 ID 從 "gpt-4o-2024-05-13" 改為 "openai/gpt-4o-2024-05-13"。您來自 OrcaRouter 的 API 金鑰將取代 OpenAI 金鑰。所有使用 OpenAI Python/Node 程式庫或原始 HTTP 請求的現有程式碼,無需其他修改即可運作。訊息格式、參數名稱以及回應結構完全相同。對於接受 base_url 參數的程式庫,只需將其設定為 OrcaRouter 端點即可。如果您原本使用 OpenAI 的客戶端,可以在初始化時將 base_url 設為 OrcaRouter 端點。無需變更提示工程或快取邏輯。OrcaRouter 同樣支援串流(stream: true)與函式呼叫,行為與先前一致。您可以透過少量請求進行測試,以驗證行為是否相符。
OrcaRouter 不會修改模型的行為。它純粹作為一個閘道,將您的請求轉發至 OpenAI 的伺服器,並原樣回傳回應。OrcaRouter 不執行任何額外的預處理、後處理或內容過濾。關於數據處理:OrcaRouter 不會儲存或記錄提示或完成數據,超出計費和營運監控所需的部分。OpenAI 自身的數據政策適用於透過 OrcaRouter 使用模型。根據提供的事實,並未提及 OrcaRouter 在標準 API 日誌記錄之外保留數據。使用者應查閱 OrcaRouter 的隱私權政策和 OpenAI 的政策,以了解數據處理方式。如果您有嚴格的數據駐留要求,請諮詢 OrcaRouter 了解可用選項。沒有跡象顯示 OrcaRouter 與其他客戶共享數據。唯一需要的修改是模型 ID;不會注入自訂指令。
GPT-4o 與 GPT-4o-mini 的主要差異在於上下文視窗大小、多模態能力、基準測試表現及成本。GPT-4o 提供 128K 上下文視窗,並支援圖片與檔案輸入。GPT-4o-mini(基於 OpenAI 的產品)通常擁有較小的上下文(例如某些版本為 128K 或 16K),且可能不支援所有模態。在 MATH-500 上,GPT-4o 得分 79.1;GPT-4o-mini 的分數則較低。定價方面:GPT-4o 每百萬個令牌收費 $5/$15,而 GPT-4o-mini 則便宜許多(例如某些版本每百萬個令牌 $0.15/$0.60)。因此,GPT-4o-mini 適合對成本要求較高的簡單任務,而 GPT-4o 則更適合複雜推理、長上下文及多模態任務。在選擇時,需考慮精確度需求以及是否需要視覺或檔案處理功能。OrcaRouter 以不同的 ID 提供這兩種模型。若您的工作負載很少使用圖片或長上下文,GPT-4o-mini 可能是經濟上更佳的選擇。
GPT-4o (2024-05-13) 是一個多模態模型,具有128K的上下文窗口,而較舊的GPT-4版本(例如gpt-4-0613)通常具有8K或32K的上下文,並且僅限文字(部分後續版本透過獨立的視覺端點支援圖片)。GPT-4o的定價(每百萬個token $5/$15)通常低於GPT-4 Turbo在高峰期的定價(例如每百萬個token $10/$30)。基準測試表現:所提供的MATH-500分數79.1是GPT-4o的;在所提供的事實中,GPT-4沒有官方的MATH-500分數,但已知其在類似數學基準測試中得分較低。GPT-4o也提供更高的輸出限制(16K token),相較於較舊的GPT-4(依版本不同為4K或8K)。整體而言,GPT-4o為多模態、長上下文應用提供了更好的價值。然而,較舊的GPT-4模型可能已針對特定任務進行微調;請在您自己的資料上進行評估。透過OrcaRouter,兩個模型系列都可以存取。
直接比較需要此處未提供的模型特定事實。一般來說,兩種模型在推理與多模態能力上均有競爭力。GPT-4o 擁有 128K 上下文視窗,與 Claude(Sonnet)的 200K 上下文類似。兩者皆支援圖片。基準測試分數有所不同:GPT-4o 的 MATH-500 分數為 79.1;Claude 3.5 Sonnet 在該基準上的分數未提供。價格方面:GPT-4o 為每百萬 Token $5/$15;Claude Sonnet 的價格通常約為每百萬 Token $3/$15(可能變動)。因此,GPT-4o 的輸入成本較高。效能差異取決於任務:部分使用者認為 Claude 在長篇寫作上表現更佳,而 GPT-4o 擅長數學與程式設計。若無控制評估,建議在代表性樣本上測試兩種模型。OrcaRouter 提供兩種模型,因此您可以透過更改模型 ID 輕鬆進行比較。最終,最佳模型取決於您對準確性、延遲與成本的具體需求。所提供的事實未包含 Claude 的分數,因此此比較仍屬定性分析。
Llama 3(例如 Llama 3 70B)是一個開源模型,可以自行託管,而 GPT-4o 是專有模型,透過 API 存取。GPT-4o 支援多模式輸入(文字、圖片、檔案),具有 128K 上下文,而 Llama 3 通常僅支援文字(除非針對視覺進行微調),且上下文較小(例如 8K 或 32K)。基準測試分數:GPT-4o 的 MATH-500 分數為 79.1;Llama 3 70B 在類似數學基準測試中的分數約為 70–75(事實中未提供,但為一般知識)。成本:GPT-4o 的 API 每 token 成本是固定的;自行託管 Llama 3 涉及基礎設施成本(GPU、電力),在高用量時可能較低。延遲:基於 API 的 GPT-4o 對於突發工作負載可能更快;自行託管模型若保留容量則可提供穩定的延遲。靈活性:Llama 3 可以進行微調;GPT-4o 則無法。對於希望避免供應商鎖定或完全在地端處理敏感資料的使用者,開源模型具有吸引力。OrcaRouter 提供對兩種模型的存取:您可以透過 API 使用 GPT-4o,也可以透過 OrcaRouter(若可用)存取開源模型。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-05-13",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamtemperaturetool_choicetoolstop_logprobstop_pweb_search_options| 輸入 / 1M tokens | $5.00 |
|---|---|
| 輸出 / 1M tokens | $15.00 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
本週開發者的討論
@misc{orcarouter_gpt_4o_2024_05_13,
title = {GPT-4o (2024-05-13) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-05-13}
}OpenAI. (2024). GPT-4o (2024-05-13) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-05-13