Nhúng văn bản chất lượng cao qua OrcaRouter với giá $0.13/M tokens, không phụ phí, lên đến 3072 chiều.
OpenAI text-embedding-3-large là mô hình embedding quy mô lớn thuộc thế hệ thứ ba trong dòng sản phẩm embedding văn bản của OpenAI. Mô hình chuyển đổi đầu vào văn bản thành các biểu diễn vector dày…
text-embedding-3-large vượt trội trong các tác vụ tương đồng ngữ nghĩa, phân loại văn bản, phân cụm và truy xuất thông tin. Đầu ra có chiều cao cho phép phân biệt tinh tế giữa các văn bản tương tự. Đây là lựa chọn phổ biến để xây dựng cơ sở dữ liệu vector cho RAG, nơi chất lượng truy xuất phụ thuộc vào độ chính xác của embedding. Mô hình cũng hoạt động tốt trên suy luận ngôn ngữ tự nhiên và phát hiện trùng lặp. Tuy nhiên, mô hình không được thiết kế cho các tác vụ sinh như hoàn thiện văn bản hay hội thoại—hãy sử dụng GPT-4 hoặc các mô hình ngôn ngữ khác cho những tác vụ đó.
Mô hình có thể xuất ra các embedding với số chiều từ 256 đến 3072. Số chiều được thiết lập thông qua tham số `dimensions` trong yêu cầu API. Sử dụng số chiều thấp hơn giúp giảm lưu trữ và tính toán đầu cuối, nhưng có thể làm mất một phần độ trung thực ngữ nghĩa. Số chiều mặc định là 3072, mang lại khả năng phân biệt cao nhất. Không hỗ trợ số chiều nằm ngoài khoảng này. Đối với hầu hết các nhiệm vụ truy xuất, số chiều từ 1024 đến 2048 là sự cân bằng tốt giữa độ chính xác và chi phí.
Nếu ứng dụng của bạn nhạy cảm với độ trễ hoặc bạn đang nhúng hàng tỷ văn bản, chi phí $0.13 cho mỗi 1M token có thể tăng lên. Hãy cân nhắc text-embedding-3-small ($0.02/M token) hoặc các mô hình mã nguồn mở như embeddings dựa trên BERT cho ngân sách thấp hơn. text-embedding-3-large là lựa chọn tốt nhất khi độ chính xác truy xuất là tối quan trọng, chẳng hạn như trong tìm kiếm pháp lý, y tế hoặc khoa học, nơi việc bỏ sót một tài liệu liên quan có hậu quả lớn.
OpenAI hiện không cung cấp tinh chỉnh (fine-tuning) cho dòng text-embedding-3. Mô hình được sử dụng như một bộ mã hóa cố định. Để thích ứng với một lĩnh vực cụ thể, bạn có thể áp dụng các chiến lược tăng cường truy xuất, chẳng hạn như thêm các đoạn văn đặc thù lĩnh vực vào cơ sở dữ liệu vector của bạn. Ngoài ra, bạn có thể sử dụng các embeddings như các đặc trưng cho một bộ phân loại hạ nguồn được huấn luyện trên dữ liệu có nhãn của bạn. Quy trình làm việc này phổ biến trong các môi trường doanh nghiệp.
text-embedding-3-large đạt được kết quả hiện đại trên Chuẩn Đánh giá Nhúng Văn bản Khổng lồ (MTEB) qua các tác vụ như phân cụm, phân loại và xếp hạng lại. Mặc dù điểm số chính xác không được cung cấp ở đây, mô hình này luôn đứng trong các cấp cao nhất trong số các mô hình nhúng công khai. Phiên bản 3072 chiều của nó mang lại độ chính xác cao nhất, trong khi các chiều thấp hơn đánh đổi một chút giảm hiệu suất để giảm lưu trữ và tính toán. Nó vượt trội so với người tiền nhiệm, text-embedding-ada-002, trong hầu hết các tác vụ.
Độ trễ phụ thuộc vào số lượng token đầu vào và tải mô hình. Đối với một văn bản ngắn (dưới 100 token), mô hình thường phản hồi trong vòng dưới 200ms qua OrcaRouter. Các văn bản dài hơn (8000 token) có thể mất 1-2 giây. Tính đồng thời và kích thước lô ảnh hưởng đến thông lượng—các yêu cầu theo lô (nhiều văn bản trong một lệnh gọi API) có thể đạt được thông lượng cao hơn. OrcaRouter không thêm chi phí phụ trội ngoài thời gian phản hồi của nhà cung cấp.
Mô hình không được thiết kế để hỗ trợ đa ngôn ngữ ngoài tiếng Anh (mặc dù nó xử lý được một số ngôn ngữ khác, hiệu suất thấp hơn). Nó cũng thiếu khả năng tuân theo hướng dẫn tích hợp sẵn — nó hoàn toàn là một bộ mã hóa. Giới hạn 8192 token có nghĩa là các tài liệu cực kỳ dài phải được chia nhỏ. Ngoài ra, các embedding có thể mã hóa các thiên kiến nhân khẩu học có trong dữ liệu huấn luyện, vì vậy các ứng dụng hạ nguồn cần được kiểm tra tính công bằng. Cuối cùng, nó không cung cấp khả năng giải thích cho các phán đoán tương tự của nó.
text-embedding-3-large vượt trội đáng kể so với mô hình ada-002 cũ hơn trên chuẩn MTEB, đặc biệt là các tác vụ yêu cầu phân biệt chi tiết. Mô hình mới hơn cũng giới thiệu tham số `dimensions`, cho phép giảm kích thước vector mà không cần huấn luyện lại. Giá cao hơn một chút ($0.13 vs $0.10 mỗi 1M token cho ada-002), nhưng sự cải thiện về độ chính xác thường biện minh cho chi phí trong các kịch bản truy xuất quan trọng. Đối với các trường hợp sử dụng đơn giản, ada-002 vẫn là một lựa chọn thay thế có chi phí thấp hơn khả thi.
Chi phí là $0.13 cho mỗi 1 triệu token đầu vào, tính theo giá của nhà cung cấp và không có phụ phí. Token đầu ra cũng là $0.13 cho mỗi 1 triệu token, tuy nhiên đối với các mô hình embedding, token đầu ra không đáng kể vì mô hình trả về một vector. Token đầu vào bao gồm văn bản bạn gửi. Không có phí bổ sung nào khi sử dụng API của OrcaRouter. Điều này làm cho tổng chi phí chính xác bằng với những gì OpenAI tính phí, không có chi phí ẩn hay phụ phí tăng giá theo giới hạn tốc độ.
Mức giá $0.13 cho mỗi 1M token là giá nhà cung cấp tiêu chuẩn. OrcaRouter không cung cấp chiết khấu trên giá nhà cung cấp. Tuy nhiên, việc sử dụng kích thước đầu ra nhỏ hơn (ví dụ: 1024) không ảnh hưởng đến số lượng token—bạn trả tiền cho mỗi token đầu vào bất kể kích thước. Đối với người dùng có khối lượng rất lớn, OpenAI có thể cung cấp chiết khấu cam kết sử dụng thông qua các thỏa thuận tùy chỉnh, mà bạn có thể tận dụng độc lập.
OrcaRouter không lưu trữ các phản hồi nhúng. Mỗi yêu cầu được chuyển tiếp đến nhà cung cấp theo thời gian thực và tính phí tương ứng. Nếu bạn liên tục nhúng các văn bản giống hệt nhau, bạn sẽ bị tính phí mỗi lần. Để tiết kiệm chi phí, hãy triển khai lớp lưu trữ đệm riêng ở phía máy khách, lưu trữ các nhúng cho các truy vấn thường xuyên. Điều này đặc biệt hiệu quả đối với các bộ dữ liệu tĩnh như mô tả sản phẩm hoặc nội dung FAQ.
OrcaRouter chuyển các yêu cầu đến nhà cung cấp mà không có điều tiết nhân tạo, nhưng nhà cung cấp vẫn áp dụng giới hạn tốc độ riêng. Đối với text-embedding-3-large, giới hạn điển hình là khoảng 3000–5000 yêu cầu mỗi phút cho gói tiêu chuẩn. Bạn có thể tăng giới hạn bằng cách liên hệ trực tiếp với OpenAI. OrcaRouter tự động thử lại khi gặp lỗi 429, nhưng việc thử lại quá nhiều có thể phát sinh thêm chi phí. Hãy theo dõi việc sử dụng của bạn để ở trong giới hạn.
Gửi một yêu cầu POST đến https://api.orcarouter.ai/v1/embeddings với tham số model được đặt là "openai/text-embedding-3-large". Bao gồm một chuỗi đầu vào hoặc một mảng các chuỗi. Tùy chọn đặt tham số `dimensions` thành giá trị từ 256 đến 3072. Bạn có thể cung cấp khóa API người dùng trong header Authorization (Bearer token). Phản hồi tuân theo cấu trúc tương tự như API Embeddings của OpenAI, chứa danh sách đối tượng với embeddings và số lượng token đã sử dụng.
Các tham số chính bao gồm `model` (bắt buộc: "openai/text-embedding-3-large"), `input` (một chuỗi hoặc mảng các chuỗi, mỗi chuỗi tối đa 8192 token), và `dimensions` (số nguyên, tùy chọn, mặc định là 3072). OrcaRouter cũng hỗ trợ tham số `user` để theo dõi mức sử dụng theo từng người dùng cuối. Các tham số khác của OpenAI Embeddings API như `encoding_format` (float hoặc base64) cũng được hỗ trợ. Tham khảo tài liệu của OpenAI để biết đầy đủ các tham số.
Thay đổi URL cơ sở từ https://api.openai.com/v1 thành https://api.orcarouter.ai/v1 và cập nhật ID mô hình từ "text-embedding-3-large" thành "openai/text-embedding-3-large". Mã nguồn hiện tại của bạn sử dụng thư viện OpenAI Python hoặc HTTP sẽ hoạt động mà không cần sửa đổi khác. API của OrcaRouter hoàn toàn tương thích, vì vậy không cần thay đổi định dạng nội dung yêu cầu. Đảm bảo bạn có khóa API OrcaRouter.
Vâng. Truyền một mảng các chuỗi làm tham số `input`. API sẽ trả về một mảng các embedding theo cùng thứ tự. Cách này hiệu quả hơn so với gửi từng yêu cầu riêng lẻ nhờ giảm chi phí overhead. Để thông lượng tối ưu, hãy gộp các văn bản có độ dài tương tự nhau để giảm thời gian chờ. Mô hình hỗ trợ tối đa 2048 chuỗi mỗi lô (hãy kiểm tra giới hạn của nhà cung cấp) và tổng số token đầu vào trong lô không được vượt quá 2048000 token mỗi phút.
Phiên bản nhỏ chỉ sử dụng 512 chiều và có giá $0.02 cho mỗi 1 triệu token—rẻ hơn khoảng 6,5 lần. Nó nhanh hơn và tiết kiệm bộ nhớ hơn nhưng hy sinh độ chính xác, đặc biệt trong các tác vụ ngữ nghĩa chi tiết. Đối với phân cụm đơn giản hoặc tìm kiếm dựa trên mức độ tương đồng chủ đề, mô hình nhỏ có thể đáp ứng. text-embedding-3-large được khuyến nghị cho các tác vụ truy xuất quan trọng nơi độ thu hồi (recall) là quan trọng nhất.
all-MiniLM-L6-v2 là một mô hình miễn phí, được lưu trữ cục bộ với 384 chiều và tốc độ cao. Mô hình này hoạt động tốt trên nhiều tác vụ nhưng không đạt được hiệu suất bằng text-embedding-3-large trên các benchmark phức tạp như MTEB. Sự đánh đổi nằm ở chi phí so với chất lượng: các mô hình mã nguồn mở có chi phí bằng 0 cho mỗi token nhưng yêu cầu phần cứng tính toán. text-embedding-3-large cung cấp độ chính xác vượt trội, trong khi chi phí $0.13/M token có thể hợp lý cho các hệ thống sản xuất ưu tiên chất lượng truy xuất.
Các mô hình embed-v3 của Cohere cũng hỗ trợ kích thước biến đổi và khả năng đa ngôn ngữ. Chúng có thể so sánh với các benchmark tiếng Anh nhưng có thể xử lý văn bản không phải tiếng Anh tốt hơn. Giá cả tương tự (khoảng $0.10–0.15 trên 1 triệu token). Sự lựa chọn thường phụ thuộc vào sở thích hệ sinh thái và yêu cầu đa ngôn ngữ cụ thể. text-embedding-3-large có cửa sổ ngữ cảnh lớn hơn (8192 so với 512 của Cohere) và được tích hợp tốt hơn với các công cụ của OpenAI.
Hãy cân nhắc các giải pháp thay thế nếu trường hợp sử dụng của bạn yêu cầu hỗ trợ đa ngôn ngữ ngoài tiếng Anh, cần triển khai tại chỗ vì quyền riêng tư dữ liệu, hoặc yêu cầu độ trễ cực thấp ở thông lượng cao. Đối với các tác vụ như sinh văn bản, hãy sử dụng GPT-4. Đối với embeddings văn bản-hình ảnh, hãy sử dụng CLIP hoặc các mô hình đa phương thức. text-embedding-3-large là một bộ mã hóa tiếng Anh đa năng; nếu lĩnh vực của bạn mang tính chuyên môn cao, hãy khám phá các mô hình nguồn mở đã được tinh chỉnh.
Tương thích OpenAI — giữ nguyên SDK bạn đang dùng
https://api.orcarouter.ai/v1dimensionsencoding_format| Đầu vào / 1M tokens | $0.130 |
|---|---|
| Đầu ra / 1M tokens | $0.130 |
| Tiền tệ | USD |
Ước tính theo giá niêm yết
Chỉ là ước tính — số token thực tế phụ thuộc vào bộ tách token của nhà cung cấp.
Điều các nhà phát triển đang nói tuần này
GET /api/public/models/openai/text-embedding-3-largeMở @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large