OpenAI's gpt-3.5-turbo-1106 qua OrcaRouter: ngữ cảnh 16K, 46.2 MMLU-Pro, $1/$2 mỗi 1M token, định giá không chênh lệch.
gpt-3.5-turbo-1106 là một phiên bản cụ thể của mô hình GPT-3.5 Turbo của OpenAI, được phát hành vào tháng 11 năm 2023. Đây là mô hình chỉ xử lý văn bản, nghĩa là chỉ chấp nhận và tạo ra đầu vào và…
Mô hình này xuất sắc trong các tác vụ sinh văn bản đa năng: trả lời câu hỏi, tham gia hội thoại, tóm tắt tài liệu, dịch văn bản, viết sáng tạo và cung cấp giải thích. Nó hỗ trợ gọi hàm, cho phép xuất dữ liệu có cấu trúc và tương tác với các công cụ hoặc API bên ngoài dựa trên lược đồ hàm được cung cấp. Nó cũng có thể xử lý các cuộc hội thoại nhiều lượt với cửa sổ ngữ cảnh lên tới 16K token. Đối với các tác vụ yêu cầu độ chính xác cao về truy vấn thực tế, sinh mã hoặc suy luận có cấu trúc, mô hình hoạt động tốt nhưng đôi khi có thể cho ra kết quả kém chính xác hơn so với các mô hình lớn hơn.
Tính năng gọi hàm trong gpt-3.5-turbo-1106 cho phép mô hình tạo ra đầu ra JSON có cấu trúc dựa trên các định nghĩa hàm mà bạn cung cấp trong yêu cầu. Khi bạn bao gồm một danh sách các hàm có tên, mô tả và lược đồ tham số, mô hình có thể quyết định gọi một hoặc nhiều hàm bằng cách trả về một đối tượng function_call. Điều này hữu ích cho việc xây dựng các tác nhân cần truy vấn cơ sở dữ liệu, gọi API hoặc thực hiện các hành động. Tính năng này đã được cải thiện trong bản snapshot 1106 so với các phiên bản trước, giúp nó đáng tin cậy hơn và giảm việc sử dụng công cụ dư thừa. OrcaRouter hỗ trợ tất cả các tham số gọi hàm tương thích với OpenAI.
Nếu trường hợp sử dụng của bạn liên quan đến các tác vụ rất đơn giản với khối lượng rất lớn, bạn có thể cân nhắc một mô hình rẻ hơn như gpt-3.5-turbo-0125 (cùng giá nhưng mới hơn) hoặc các mô hình nguồn mở nhỏ hơn được cung cấp qua OrcaRouter. Mặt khác, nếu bạn cần khả năng suy luận tốt hơn đáng kể, tính xác thực, đầu vào đa phương thức (hình ảnh, âm thanh) hoặc cửa sổ ngữ cảnh lớn hơn (128K token), hãy cân nhắc nâng cấp lên gpt-4o hoặc gpt-4-turbo. gpt-3.5-turbo-1106 là lựa chọn cân bằng cho hầu hết các ứng dụng chỉ dùng văn bản, nơi chi phí trên mỗi token là mối quan tâm chính.
MMLU-Pro là một biến thể của chuẩn đánh giá Massive Multitask Language Understanding bao gồm 57 chủ đề với bộ câu hỏi khó hơn. Điểm số 46.2 cho thấy mô hình đã trả lời đúng 46.2% số câu hỏi kiểm tra. Đây là điểm số trung bình, phản ánh kiến thức tổng quát của mô hình trên nhiều lĩnh vực khác nhau. Để so sánh, các mô hình lớn hơn như GPT-4 thường đạt điểm trên 80 trong các chuẩn tương tự. Điểm số này giúp đặt ra kỳ vọng: gpt-3.5-turbo-1106 có khả năng nhưng không phải là tiên tiến nhất cho suy luận sâu hoặc kiến thức chuyên ngành.
Không có điểm benchmark nào khác được cung cấp cho mô hình này, nhưng thông tin công khai cho thấy gpt-3.5-turbo-1106 hoạt động mạnh mẽ trên các nhiệm vụ MMLU, HumanEval (sinh mã) và tóm tắt so với các mô hình cùng kích thước. Nó thường được coi là một trong những mô hình trọng số mở hoạt động tốt nhất trong tầm giá của mình. Người dùng nên kỳ vọng hiệu suất tốt trên các tác vụ NLP phổ biến nhưng cần lưu ý rằng mô hình có thể thua kém GPT-4 trong suy luận phức tạp, toán học và các hướng dẫn đa bước. Về tính nhất quán thực tế, mô hình có thể đưa ra các câu trả lời có vẻ hợp lý nhưng không chính xác, vì vậy cần xác minh lại đối với các ứng dụng quan trọng.
Các con số về độ trễ cụ thể không được cung cấp. Tuy nhiên, với tư cách là một mô hình chỉ hỗ trợ văn bản và có số lượng tham số tương đối nhỏ (so với GPT-4), gpt-3.5-turbo-1106 thường mang lại độ trễ đầu ra thấp, thường hoàn thành các phản hồi ngắn trong vòng chưa đầy một giây dưới tải trung bình. Thông lượng có thể cao, phù hợp cho các ứng dụng thời gian thực khi kết hợp với tính năng streaming. Cơ sở hạ tầng của OrcaRouter đảm bảo kết nối đáng tin cậy đến các endpoint của OpenAI. Để có kỳ vọng chính xác nhất về độ trễ, người dùng nên tự đánh giá các trường hợp sử dụng của mình thông qua OrcaRouter API.
Những hạn chế chính bao gồm: giới hạn đầu ra tối đa 4,096 token, làm hạn chế độ dài sinh ra; không có khả năng đa phương thức (không thể xử lý hình ảnh hoặc âm thanh); xu hướng ảo giác về các sự kiện ít phổ biến; và độ sâu suy luận hạn chế cho các vấn đề phức tạp. Cửa sổ ngữ cảnh 16K của mô hình, mặc dù hào phóng, nhưng nhỏ hơn so với một số giải pháp thay thế (ví dụ, 128K). Mô hình cũng có mốc kiến thức thấp hơn so với các bản chụp sau (tháng 1 năm 2023). Trên các lời nhắc đối nghịch hoặc mơ hồ, mô hình có thể tạo ra đầu ra thiên vị hoặc không an toàn. Các nhà phát triển nên triển khai các biện pháp bảo vệ phù hợp và sự giám sát của con người cho sử dụng sản xuất.
Giá cho openai/gpt-3.5-turbo-1106 qua OrcaRouter được tính theo giá của nhà cung cấp, không có phụ phí. Cụ thể, token đầu vào có giá $1.00 cho mỗi 1 triệu token và token đầu ra có giá $2.00 cho mỗi 1 triệu token. Điều này áp dụng cho tất cả các yêu cầu, bao gồm cả streaming. Không có thêm phí nền tảng nào. Phí được tính dựa trên số lượng token trong lời nhắc (đầu vào) và phản hồi được tạo ra (đầu ra). Cả yêu cầu đã lưu trong bộ nhớ đệm và chưa lưu đều được tính phí với cùng một mức giá. Bạn có thể theo dõi mức sử dụng qua bảng điều khiển OrcaRouter.
Đối với các ứng dụng yêu cầu nhiều tương tác ngắn (ví dụ: hội thoại chatbot), chi phí mỗi tin nhắn thấp vì mỗi yêu cầu tiêu thụ ít token. Đối với các tác vụ liên quan đến prompt dài hoặc tạo phản hồi dài, chi phí tăng tuyến tính theo số lượng token. So với GPT-4 (có thể đắt hơn 10-30 lần), gpt-3.5-turbo-1106 kinh tế hơn cho khối lượng lớn. Tuy nhiên, nếu một tác vụ có thể được giải quyết với ít token hơn bằng cách sử dụng mô hình rẻ hơn, điều đó có thể còn tiết kiệm hơn nữa. Định giá không phụ phí của OrcaRouter đảm bảo bạn chỉ trả tiền theo mức phí OpenAI tính.
Không có chương trình giảm giá hay lưu trữ đệm (caching) cụ thể nào được đề cập cho mô hình này trên OrcaRouter. Tất cả các yêu cầu đều được tính phí theo mức giá tiêu chuẩn của nhà cung cấp. Một số nền tảng có cung cấp tính năng lưu trữ đệm lời nhắc (prompt caching) để giảm chi phí cho các đầu vào lặp lại, nhưng tài liệu của OrcaRouter không cho thấy tính năng như vậy cho mô hình này. Người dùng nên lên kế hoạch sử dụng token phù hợp. Đối với khối lượng rất lớn, có thể đáng để liên hệ trực tiếp với OrcaRouter để hỏi về giảm giá theo khối lượng, mặc dù không có thông báo nào về điều này. Bản thân mức giá không chênh lệch (zero-markup) đã cung cấp một mức cơ sở chi phí minh bạch.
Để thực hiện một yêu cầu, hãy gửi một yêu cầu POST tới https://api.orcarouter.ai/v1/chat/completions với nội dung JSON chứa trường model được đặt là 'openai/gpt-3.5-turbo-1106', và một mảng messages (với role và content). Bao gồm khóa API OrcaRouter của bạn trong header Authorization (Bearer <key>). Các tham số tùy chọn bao gồm temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream và functions. Phản hồi tuân theo định dạng chat completion của OpenAI. Ví dụ sử dụng thư viện openai Python: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Mô hình này hỗ trợ các tham số giống như OpenAI's gpt-3.5-turbo-1106. Các tham số chính bao gồm: messages (mảng bắt buộc các đối tượng với role, content, tùy chọn name), max_tokens (mặc định vô hạn nhưng giới hạn ở 4096), temperature (0-2, mặc định 1), top_p (0-1, mặc định 1), n (số lượng lựa chọn, mặc định 1), stream (boolean), stop (chuỗi hoặc mảng tối đa 4 chuỗi), presence_penalty (-2 đến 2), frequency_penalty (-2 đến 2), logit_bias (bản đồ ID token tới độ lệch), user (chuỗi xác định người dùng cuối), functions (mảng các đối tượng hàm), function_call (auto/none hoặc hàm cụ thể). Tất cả đều được hỗ trợ thông qua OrcaRouter.
Việc chuyển đổi chỉ yêu cầu hai thay đổi đối với mã dựa trên OpenAI hiện tại của bạn. Đầu tiên, thay đổi base URL từ https://api.openai.com/v1 thành https://api.orcarouter.ai/v1. Thứ hai, thay thế khóa API OpenAI của bạn bằng khóa API OrcaRouter. Định dạng yêu cầu và phản hồi giống hệt nhau, do đó không cần thay đổi cấu trúc payload. Sau khi cập nhật hai cài đặt này, tất cả logic hiện có cho chat completions, function calling và streaming sẽ tiếp tục hoạt động. Bạn cũng có thể sử dụng các thư viện client OpenAI tương tự (ví dụ: Python openai, Node.js openai) bằng cách truyền base_url và api_key mới.
OrcaRouter trả về mã trạng thái HTTP và thông báo lỗi tiêu chuẩn tương thích với API của OpenAI. Các lỗi phổ biến: 401 (không được ủy quyền), 429 (vượt quá giới hạn tốc độ), 500 (lỗi máy chủ). Giới hạn tốc độ được OrcaRouter thực thi dựa trên gói dịch vụ của bạn; để biết chi tiết, hãy tham khảo tài liệu của OrcaRouter. Vì mô hình cơ bản được lưu trữ bởi OpenAI, các lỗi từ nhà cung cấp được truyền lại một cách minh bạch (ví dụ: 400 cho tham số không hợp lệ, 503 cho quá tải). Nên triển khai backoff theo cấp số nhân cho lỗi 429 và 5xx. Lỗi streaming được báo hiệu bằng luồng bị cắt ngắn; hãy lắng nghe finish_reason trong chunk cuối cùng.
Bản snapshot 0125 là phiên bản mới hơn của GPT-3.5 Turbo, được phát hành vào tháng 1 năm 2025. Nó có cùng mức giá và chế độ chỉ văn bản, nhưng bao gồm giới hạn kiến thức gần đây hơn và khả năng cải thiện độ nhất quán cũng như độ chính xác thực tế. Cả hai mô hình đều có cùng cửa sổ ngữ cảnh 16K và giới hạn đầu ra 4K. gpt-3.5-turbo-0125 thường được khuyến nghị hơn phiên bản 1106 cho các dự án mới do tính mới mẻ, nhưng bản snapshot 1106 vẫn khả dụng vì lý do tương thích. Không có điểm chuẩn nào được cung cấp cho cả hai mô hình ngoài mức 46.2 MMLU-Pro cho phiên bản 1106; người dùng có thể thử nghiệm cả hai cho trường hợp sử dụng cụ thể của mình.
gpt-4o là mô hình mạnh hơn của OpenAI, hỗ trợ đầu vào văn bản, hình ảnh và âm thanh, với cửa sổ ngữ cảnh 128K và tối đa 16K token đầu ra. Mô hình này đạt điểm cao hơn đáng kể trên các chuẩn đánh giá lập luận và đáng tin cậy hơn cho các tác vụ phức tạp. Tuy nhiên, nó đắt hơn đáng kể: chi phí mỗi token cao gấp khoảng 10-15 lần so với gpt-3.5-turbo-1106. Đối với các ứng dụng không yêu cầu độ chính xác cao và đa phương thức, gpt-3.5-turbo-1106 mang lại hiệu quả chi phí tốt hơn. Nếu bạn cần các khả năng nâng cao, việc nâng cấp lên gpt-4o thông qua OrcaRouter rất đơn giản bằng cách thay đổi model ID thành 'openai/gpt-4o'.
Các mô hình tương đương từ các nhà cung cấp khác bao gồm Claude 3 Haiku của Anthropic (chỉ văn bản, tốc độ và chi phí tương tự) và Gemini 1.5 Flash của Google. Mỗi mô hình có định dạng API khác nhau nhưng đều có thể truy cập thông qua OrcaRouter. gpt-3.5-turbo-1106 được áp dụng rộng rãi và tích hợp vào nhiều công cụ. Khả năng gọi hàm của nó đã trưởng thành. Tuy nhiên, các mô hình như Claude 3 Haiku có thể cung cấp cửa sổ ngữ cảnh lớn hơn (200K) với mức giá tương tự, trong khi Gemini 1.5 Flash cung cấp khả năng đa phương thức. Sự lựa chọn phụ thuộc vào khả năng tương thích hệ sinh thái, hiệu suất chuẩn cụ thể và yêu cầu về độ trễ. OrcaRouter cho phép bạn thử các mô hình khác nhau dưới cùng một định dạng API.
Chọn gpt-3.5-turbo-1106 khi bạn cần một mô hình văn bản đáng tin cậy, tiết kiệm chi phí, tương thích rộng rãi với các công cụ hiện có và hỗ trợ gọi hàm. Mô hình này lý tưởng cho các ứng dụng khối lượng lớn, nơi mỗi yêu cầu tương đối ngắn và không yêu cầu suy luận sâu. Tránh sử dụng nếu bạn cần đầu vào đa phương thức, cửa sổ ngữ cảnh lớn hơn, hoặc độ chính xác cao hơn về mặt thực tế đối với các chủ đề phức tạp. Nếu bạn cần ngưỡng kiến thức mới nhất, hãy ưu tiên gpt-3.5-turbo-0125. Để có hiệu suất tối ưu, hãy chọn gpt-4o. Danh mục mô hình của OrcaRouter cho phép chuyển đổi dễ dàng giữa các tùy chọn này mà không cần thay đổi mã.
Tương thích OpenAI — giữ nguyên SDK bạn đang dùng
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Đầu vào / 1M tokens | $1.00 |
| Đầu ra / 1M tokens | $2.00 |
| Tiền tệ | USD |
Ước tính theo giá niêm yết
Chỉ là ước tính — số token thực tế phụ thuộc vào bộ tách token của nhà cung cấp.
GET /api/public/models/openai/gpt-3.5-turbo-1106Mở @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106