來自OpenAI的經濟實惠文本嵌入模型,適合語意搜尋與分群,經由OrcaRouter存取且零加價。
openai/text-embedding-3-small 是 OpenAI 於 2024 年 1 月發布的嵌入模型。它生成能捕捉語義意義的文字向量表示,從而實現比較與相似度計算。該模型僅處理文字,最多可接受 8,192 個 token 的輸入。預設輸出維度為 512,但您可以請求較小的維度,最低至 256 或 128,以犧牲精確度來換取速度與儲存空間。它被設計為較大的…
這個模型在需要捕捉整體意義而非細微細節的任務上表現強勁。它廣泛用於語義搜索,其中查詢被嵌入並與文檔嵌入的語料庫進行匹配。它也能很好地用於聚類——在沒有明確標籤的情況下將相似文本分組——以及分類,當嵌入被輸入線性分類器時。在檢索增強生成(RAG)管道中,它能高效地編碼查詢和文檔,實現基於相似度的快速檢索。其8,192個token的上下文允許它在單次嵌入調用中處理較長的段落,例如研究摘要或客戶反饋。
如果您的使用案例涉及非常短的文字(例如單詞或短語),或者您更注重速度而非準確度,可以考慮探索 OrcaRouter 上其他提供者所提供的更輕量級模型,例如維度較低或專為特定語言優化的模型。此外,如果您的任務極其粗略——例如只需區分少數幾個廣泛類別——那麼一個較簡單的模型可能就已足夠。然而,openai/text-embedding-3-small 已經是 OpenAI 中最經濟實惠的選項之一。對於嵌入品質直接影響下游性能(例如搜尋排名)的應用,與免費替代方案相比,微額的成本增加往往能證明更好結果的合理性。
OpenAI的text-embedding-3-small已展現出強大的跨語言能力,在MTEB的多語言子集等多語言基準測試中表現優異。它能嵌入數十種語言的文字,並為不同語言中相似的內容生成可比較的向量。這使得該模型適用於全球性應用,例如國際產品推薦或多語言支援工單路由。然而,針對特定領域(如法律、醫療、程式碼),領域適應的嵌入模型可能達到更高的準確度。若您的資料高度專業化,建議將此模型與其他替代方案進行基準測試,以確保最佳效能。
根據公開可取得的結果,openai/text-embedding-3-small 在 MTEB 基準測試(Massive Text Embedding Benchmark)上的平均分數約為 62%。這顯示該模型在分類、聚類、配對分類與重新排序等多種任務中表現穩健。雖然它落後於較大的 text-embedding-3-large(得分約 65%),但每個 token 的成本大約只有大型變體的十分之一。此模型在聚類和語義相似度任務上尤其出色。對於需要高精確度的 STS(語義文本相似度)任務,小型模型仍具競爭力。
嵌入請求的延遲取決於輸入長度和並發負載。在 OrcaRouter 上,模型通過 OpenAI 的基礎設施提供服務,因此典型延遲與直接調用 OpenAI API 相當。對於平均長度(100-200 tokens)的單個查詢,響應時間通常低於 200ms。通過在一個 API 調用中批次處理多個文本,可以提高吞吐量。該模型支援批次處理,而 OrcaRouter 傳遞與 OpenAI API 相同的批次處理參數。對於高容量工作負載,每個 token 的低成本使得在預算內嵌入數百萬條記錄變得可行。
儘管具備諸多優勢,openai/text-embedding-3-small 仍有其局限性。其預設的 512 維向量相較於 1,536 維的大型變體,可能會遺漏部分細微資訊,尤其在需要精細語義區分的任務上。在處理需要深度領域知識或接近 8,192 個 token 的長篇文件時,若文本內容雜亂或結構不佳,模型的表現可能會下降。此外,由於它是一個通用模型,在處理程式碼搜尋或生物醫學概念提取等專門任務時,其表現可能不如專用模型。針對這些特定需求,OrcaRouter 提供了其他模型的存取途徑。
openai/text-embedding-3-small 的定價為每百萬輸入代幣 0.02 美元,每百萬輸出代幣 0.02 美元。由於該模型僅產出嵌入向量(輸出代幣為向量表示,而非文字),輸出代幣數量與輸入成比例。實際上,您需按相同費率支付輸入與輸出代幣的費用。OrcaRouter 以零加價方式傳遞提供商的實際費率,因此總成本即為每百萬輸入代幣 0.02 美元與每百萬輸出代幣 0.02 美元。無任何額外平台費用或隱藏收費。這使得該模型成為大規模文字嵌入中最具成本效益的選項之一。
相較於 OpenAI 的 text-embedding-3-large(每 100 萬個輸入 token 0.13 美元),小型模型便宜了 6.5 倍。對許多應用來說,效能下降幅度不大,使得小型模型更具成本效益。與舊版的 ada-002(現已棄用)相比,小型模型不僅更便宜,功能也更強大。在 OrcaRouter 上,您還可以找到價格更低的第三方嵌入模型;然而,這些模型可能無法提供與 OpenAI 生態系統相同的品質或相容性。OrcaRouter 的零加成模型確保您只需支付直接使用時的金額,沒有任何溢價。
OrcaRouter 可能實作快取機制以減少重複的 API 呼叫。如果您多次發送相同的輸入文字,平台可能會傳回快取的嵌入向量,而不會產生額外的 token 成本。然而,在提供的資訊中並未詳細說明快取政策。為降低費用,您可以在客戶端使用傳回的嵌入向量來實作自己的快取層。由於 token 成本已經非常低,除非您有極重複的查詢,否則快取帶來的節省幅度有限。如需伺服器端快取行為的詳細資訊,請聯絡 OrcaRouter 支援團隊。
若要透過OrcaRouter使用openai/text-embedding-3-small,請將base URL設定為https://api.orcarouter.ai/v1,並將模型ID指定為'openai/text-embedding-3-small'。此API與OpenAI的嵌入端點完全相容,因此您可以使用OpenAI Python函式庫或任何HTTP客戶端,並採用相同的請求格式。例如,在Python中:client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key'); response = client.embeddings.create(model='openai/text-embedding-3-small', input='Your text here')。回應包含嵌入向量與使用細節。
此 API 支援與 OpenAI 的嵌入端點相同的參數。必要參數:'model' 設為 'openai/text-embedding-3-small',以及 'input'(字串或字串陣列)。可選參數:'dimensions'(整數,128 到 512,預設 512)以縮小輸出向量的尺寸。較小的維度可加速後續處理並減少儲存空間,同時保留大部分語義資訊。'user' 參數可用於按客戶進行速率限制。OrcaRouter 也接受標準標頭,例如 Authorization 和 Content-Type。對於批次請求,請傳入字串陣列作為輸入;API 會按對應順序回傳嵌入列表。
如果您目前使用 OpenAI 的嵌入 API,遷移到 OrcaRouter 非常簡單。將基礎 URL 從 https://api.openai.com/v1 改為 https://api.orcarouter.ai/v1,並將模型名稱更新為 'openai/text-embedding-3-small'。無需其他程式碼修改。您現有的客戶端程式庫(Python、Node.js、curl 等)將完全一樣地運作。OrcaRouter 支援使用 API 金鑰的相同驗證機制。這個切換讓您無需重新調整嵌入管道即可享有零加價定價。請確保您的金鑰有權限在 OrcaRouter 上存取該模型。
主要差異在於尺寸、成本與效能。text-embedding-3-large 預設輸出 1,536 維度,而小型版本為 512 維度,且每 100 萬輸入 token 成本為 0.13 美元——貴了 6.5 倍。在 MTEB 基準測試中,大型模型得分約 65%,小型約 62%。對大多數應用而言,小型模型提供更佳的性價比。當需要最高精確度,例如精細相似度搜尋,或無法承受任何召回率下降時,可能偏好大型模型。OrcaRouter 提供兩種模型,因此您可以在自己的資料上測試兩者。
OpenAI 先前的嵌入模型 text-embedding-ada-002 現已棄用,官方管道不再提供。相較於 ada-002,text-embedding-3-small 在 MTEB 上的平均表現更佳(62% 對比 ~61%),支援更長的上下文(8,192 對比 2,048 個 token),且在當前定價下成本顯著降低(每 1M 輸入 token 費用 $0.02 對比 $0.10)。新模型還引入了 dimensions 參數,可進一步優化成本與儲存。若你的工作流程仍在使用 ada-002,應遷移至 text-embedding-3-small 以獲得更好的品質與更低的成本。
OrcaRouter 託管來自多家提供者的嵌入模型,這些模型在價格、維度和品質上各異。例如,有些模型提供免費方案或較低的每 token 成本。然而,這些模型通常具有較小的上下文視窗(例如 512 tokens)或較低的基準評分。openai/text-embedding-3-small 在成本、上下文長度和品質之間取得了平衡。如果你的資料具有高度領域特定性,那麼一個定制模型(例如程式碼或法律專用模型)可能會超越它。OrcaRouter 的目錄讓你比較效能和定價。這個小型模型是通用英文和多語言任務中可靠的預設選擇。
開源嵌入模型(例如來自 Hugging Face 的模型)可以自行託管,在高用量時可能降低成本。然而,要達到與 OpenAI API 相當的延遲與可靠性,需要自行建置基礎設施、維護與專業知識。透過 OrcaRouter 存取的 openai/text-embedding-3-small 則無需基礎設施開銷,提供穩定的運作時間,並與 OpenAI 生態系統相容。對於中小規模的工作負載,考量工程時間後,託管 API 通常更具經濟效益。而對於極大規模的部署(數十億個嵌入向量),自行託管模型可能變得更便宜,但品質能否保持一致則無法保證。
相容 OpenAI——沿用你現有的 SDK
https://api.orcarouter.ai/v1dimensionsencoding_format| 輸入 / 1M tokens | $0.020 |
|---|---|
| 輸出 / 1M tokens | $0.020 |
| 貨幣 | USD |
基於標價的估算
僅為估算——實際 Token 數取決於供應商的分詞器。
本週開發者的討論
@misc{orcarouter_text_embedding_3_small,
title = {openai/text-embedding-3-small API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-small}
}openai. (n.d.). openai/text-embedding-3-small API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-small