gpt-3.5-turbo-1106 dari OpenAI melalui OrcaRouter: konteks 16K, 46.2 MMLU-Pro, $1/$2 per 1M token, harga tanpa markup.
gpt-3.5-turbo-1106 adalah snapshot spesifik dari model GPT-3.5 Turbo OpenAI, yang dirilis pada November 2023. Model ini hanya teks, artinya hanya menerima dan menghasilkan input serta output teks,…
Model ini unggul dalam tugas generasi teks tujuan umum: menjawab pertanyaan, terlibat dalam dialog, merangkum dokumen, menerjemahkan teks, menghasilkan tulisan kreatif, dan memberikan penjelasan. Ini mendukung pemanggilan fungsi, memungkinkannya mengeluarkan data terstruktur dan berinteraksi dengan alat atau API eksternal berdasarkan skema fungsi yang disediakan. Ini juga dapat menangani percakapan multi-putaran dengan jendela konteks hingga 16K token. Untuk tugas yang memerlukan akurasi tinggi pada kueri faktual, generasi kode, atau penalaran terstruktur, model ini berkinerja baik tetapi kadang-kadang dapat menghasilkan output yang kurang presisi dibandingkan model yang lebih besar.
Pemanggilan fungsi di gpt-3.5-turbo-1106 memungkinkan model menghasilkan output JSON terstruktur berdasarkan definisi fungsi yang Anda berikan dalam permintaan. Ketika Anda menyertakan daftar fungsi dengan nama, deskripsi, dan skema parameter, model dapat memutuskan untuk memanggil satu atau lebih fungsi dengan mengembalikan objek function_call. Ini berguna untuk membangun agen yang perlu melakukan kueri basis data, memanggil API, atau melakukan tindakan. Fitur ini ditingkatkan dalam snapshot 1106 dibandingkan dengan versi sebelumnya, membuatnya lebih andal dan mengurangi penggunaan alat yang berlebihan. OrcaRouter mendukung semua parameter pemanggilan fungsi yang kompatibel dengan OpenAI.
Jika kasus penggunaan Anda melibatkan tugas-tugas yang sangat sederhana dengan volume yang sangat tinggi, Anda mungkin ingin mempertimbangkan model yang lebih murah seperti gpt-3.5-turbo-0125 (harga sama tetapi lebih baru) atau model open-source yang lebih kecil yang ditawarkan melalui OrcaRouter. Di sisi lain, jika Anda membutuhkan penalaran, faktualitas, masukan multimodal (gambar, audio) yang jauh lebih baik, atau jendela konteks yang lebih besar (128K token), pertimbangkan untuk meningkatkan ke gpt-4o atau gpt-4-turbo. gpt-3.5-turbo-1106 adalah pilihan yang seimbang untuk sebagian besar aplikasi berbasis teks di mana biaya per token menjadi perhatian utama.
MMLU-Pro adalah varian dari tolok ukur Massive Multitask Language Understanding yang mencakup 57 subjek dengan kumpulan pertanyaan yang lebih menantang. Skor 46,2 menunjukkan bahwa model tersebut menjawab dengan benar 46,2% dari pertanyaan uji. Ini adalah skor moderat, mencerminkan pengetahuan umum model di berbagai domain. Sebagai perbandingan, model yang lebih besar seperti GPT-4 biasanya mencapai skor di atas 80 pada tolok ukur serupa. Skor ini membantu menetapkan ekspektasi: gpt-3.5-turbo-1106 mumpuni tetapi belum menjadi yang terdepan untuk penalaran mendalam atau pengetahuan khusus.
Tidak ada skor benchmark lain yang disediakan untuk model ini, tetapi informasi yang tersedia secara publik menunjukkan bahwa gpt-3.5-turbo-1106 berkinerja kuat pada MMLU, HumanEval (generasi kode), dan tugas peringkasan relatif terhadap kelas ukurannya. Model ini umumnya dianggap sebagai salah satu model dengan bobot terbuka terbaik untuk tingkat biayanya. Pengguna harus mengharapkan kinerja yang baik pada tugas NLP umum tetapi mengakui bahwa model ini mungkin tertinggal dari GPT-4 dalam penalaran kompleks, matematika, dan instruksi multi-langkah. Untuk konsistensi faktual, model ini dapat menghasilkan jawaban yang masuk akal tetapi salah, sehingga verifikasi disarankan untuk aplikasi kritis.
Angka latensi spesifik tidak disediakan. Namun, sebagai model teks saja dengan jumlah parameter yang relatif kecil (dibandingkan dengan GPT-4), gpt-3.5-turbo-1106 umumnya menawarkan output latensi rendah, sering kali menyelesaikan respons pendek dalam waktu kurang dari satu detik dalam beban sedang. Throughput bisa tinggi, sehingga cocok untuk aplikasi real-time jika digabungkan dengan streaming. Infrastruktur OrcaRouter memastikan koneksi yang andal ke titik akhir OpenAI. Untuk ekspektasi latensi yang paling akurat, pengguna harus melakukan benchmarking pada kasus penggunaan mereka sendiri menggunakan API OrcaRouter.
Keterbatasan utama meliputi: output maksimum 4.096 token, yang membatasi panjang generasi; tidak memiliki kemampuan multimodal (tidak dapat memproses gambar atau audio); kecenderungan untuk berhalusinasi pada fakta yang tidak jelas; dan kedalaman penalaran yang terbatas untuk masalah kompleks. Jendela konteks model sebesar 16K, meskipun cukup besar, lebih kecil dibandingkan beberapa alternatif (misalnya, 128K). Model ini juga memiliki batas pengetahuan yang lebih rendah daripada cuplikan terbaru (Januari 2023). Pada prompt yang adversarial atau ambigu, model ini dapat menghasilkan keluaran yang bias atau tidak aman. Pengembang harus menerapkan pagar pengaman yang sesuai dan pengawasan manusia untuk penggunaan produksi.
Pricing untuk openai/gpt-3.5-turbo-1106 melalui OrcaRouter ditagihkan berdasarkan tarif penyedia tanpa markup. Secara spesifik, token masukan dikenakan biaya $1,00 per 1 juta token, dan token keluaran dikenakan biaya $2,00 per 1 juta token. Ini berlaku untuk semua permintaan, termasuk streaming. Tidak ada biaya platform tambahan. Biaya dihitung berdasarkan jumlah token dalam prompt (masukan) dan respons yang dihasilkan (keluaran). Permintaan yang di-cache maupun tidak di-cache ditagihkan dengan tarif yang sama. Anda dapat melacak penggunaan melalui dasbor OrcaRouter.
Untuk aplikasi yang membutuhkan banyak interaksi singkat (misalnya, percakapan chatbot), biaya per pesan rendah karena setiap permintaan hanya menghabiskan sedikit token. Untuk tugas yang melibatkan prompt panjang atau menghasilkan respons panjang, biaya meningkat secara linear seiring jumlah token. Dibandingkan dengan GPT-4 (yang bisa 10-30 kali lebih mahal), gpt-3.5-turbo-1106 lebih ekonomis untuk volume besar. Namun, jika suatu tugas dapat diselesaikan dengan lebih sedikit token menggunakan model yang lebih murah, itu bisa lebih hemat biaya. Penetapan harga tanpa markup OrcaRouter memastikan Anda hanya membayar sesuai tarif OpenAI.
Tidak ada program caching atau diskon khusus yang disebutkan untuk model ini di OrcaRouter. Semua permintaan ditagih dengan tarif penyedia standar. Beberapa platform menawarkan prompt caching untuk mengurangi biaya input berulang, tetapi dokumentasi OrcaRouter tidak menunjukkan fitur tersebut untuk model ini. Pengguna harus merencanakan penggunaan token mereka dengan tepat. Untuk volume yang sangat tinggi, mungkin ada baiknya menghubungi OrcaRouter secara langsung untuk menanyakan tentang diskon volume, meskipun tidak ada yang diiklankan. Harga tanpa markup itu sendiri sudah memberikan dasar biaya yang transparan.
Untuk membuat permintaan, kirimkan permintaan POST ke https://api.orcarouter.ai/v1/chat/completions dengan badan JSON yang berisi bidang model yang diatur ke 'openai/gpt-3.5-turbo-1106', dan array messages (dengan peran dan konten). Sertakan kunci API OrcaRouter Anda di header Authorization (Bearer <key>). Parameter opsional meliputi temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream, dan functions. Respons mengikuti format chat completion OpenAI. Contoh menggunakan pustaka Python openai: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Model ini mendukung parameter yang sama dengan gpt-3.5-turbo-1106 milik OpenAI. Parameter kunci meliputi: messages (array objek wajib dengan role, content, opsional name), max_tokens (default tak terbatas tetapi dibatasi hingga 4096), temperature (0-2, default 1), top_p (0-1, default 1), n (jumlah pilihan, default 1), stream (boolean), stop (string atau array hingga 4 string), presence_penalty (-2 hingga 2), frequency_penalty (-2 hingga 2), logit_bias (peta ID token ke bias), user (string untuk identifikasi pengguna akhir), functions (array objek fungsi), function_call (auto/none atau fungsi spesifik). Semuanya didukung melalui OrcaRouter.
Migrasi hanya memerlukan dua perubahan pada kode berbasis OpenAI Anda yang sudah ada. Pertama, ubah URL dasar dari https://api.openai.com/v1 menjadi https://api.orcarouter.ai/v1. Kedua, ganti kunci API OpenAI Anda dengan kunci API OrcaRouter. Format permintaan dan respons identik, sehingga tidak perlu perubahan pada struktur payload. Setelah memperbarui kedua pengaturan ini, semua logika yang ada untuk penyelesaian obrolan, pemanggilan fungsi, dan streaming akan terus berfungsi. Anda juga dapat menggunakan pustaka klien OpenAI yang sama (mis., Python openai, Node.js openai) dengan meneruskan base_url dan api_key yang baru.
OrcaRouter mengembalikan kode status HTTP standar dan pesan kesalahan yang kompatibel dengan API OpenAI. Kesalahan umum: 401 (tidak sah), 429 (batas permintaan terlampaui), 500 (kesalahan server). Batas permintaan diberlakukan oleh OrcaRouter berdasarkan paket Anda; untuk detailnya, lihat dokumentasi OrcaRouter. Karena model yang mendasarinya dihosting oleh OpenAI, kesalahan dari penyedia diteruskan secara transparan (misalnya, 400 untuk parameter tidak valid, 503 untuk kelebihan beban). Disarankan untuk menerapkan exponential backoff untuk kesalahan 429 dan 5xx. Kesalahan streaming ditandai dengan aliran yang terpotong; dengarkan finish_reason di chunk terakhir.
Cuplikan 0125 adalah versi yang lebih baru dari GPT-3.5 Turbo, dirilis pada Januari 2025. Ia menawarkan harga yang sama dan modalitas teks saja, tetapi mencakup batas pengetahuan yang lebih terkini dan mungkin peningkatan konsistensi serta akurasi faktual. Kedua model berbagi jendela konteks 16K dan batas keluaran 4K yang sama. gpt-3.5-turbo-0125 umumnya direkomendasikan dibandingkan versi 1106 untuk proyek baru karena kebaruannya, tetapi cuplikan 1106 tetap tersedia untuk alasan kompatibilitas. Tidak ada skor tolok ukur yang diberikan untuk kedua model di luar 46,2 MMLU-Pro untuk 1106; pengguna dapat menguji keduanya untuk kasus penggunaan spesifik mereka.
gpt-4o adalah model OpenAI yang lebih canggih yang mendukung input teks, gambar, dan audio, serta memiliki jendela konteks 128K dan maksimal output 16K token. Skornya jauh lebih tinggi pada tolok ukur penalaran dan lebih andal untuk tugas-tugas kompleks. Namun, harganya jauh lebih mahal: kira-kira 10-15x biaya per token dari gpt-3.5-turbo-1106. Untuk aplikasi yang tidak memerlukan akurasi tinggi dan multimodalitas, gpt-3.5-turbo-1106 menawarkan efisiensi biaya yang lebih baik. Jika Anda membutuhkan kemampuan lanjutan, meningkatkan ke gpt-4o melalui OrcaRouter sangat mudah dengan mengubah ID model menjadi 'openai/gpt-4o'.
Model sebanding dari penyedia lain termasuk Claude 3 Haiku milik Anthropic (hanya teks, kecepatan dan biaya serupa) dan Gemini 1.5 Flash milik Google. Masing-masing memiliki format API yang berbeda tetapi dapat diakses melalui OrcaRouter. gpt-3.5-turbo-1106 diadopsi secara luas dan terintegrasi ke dalam banyak alat. Dukungan pemanggilan fungsinya sudah matang. Namun, model seperti Claude 3 Haiku mungkin menawarkan jendela konteks yang lebih besar (200K) dengan harga yang sama, sementara Gemini 1.5 Flash menyediakan kemampuan multimodal. Pilihan tergantung pada kompatibilitas ekosistem, kinerja benchmark spesifik, dan persyaratan latensi. OrcaRouter memungkinkan Anda mencoba model yang berbeda dalam format API yang sama.
Pilih gpt-3.5-turbo-1106 ketika Anda membutuhkan model teks yang andal, hemat biaya, dan kompatibel secara luas dengan alat yang ada serta mendukung pemanggilan fungsi. Model ini ideal untuk aplikasi dengan volume tinggi di mana setiap permintaan relatif pendek dan tidak memerlukan penalaran mendalam. Hindari jika Anda membutuhkan input multimodal, jendela konteks yang lebih besar, atau akurasi faktual yang lebih tinggi pada topik kompleks. Jika Anda membutuhkan batas pengetahuan terbaru, pilih gpt-3.5-turbo-0125. Untuk performa terbaik, pilih gpt-4o. Katalog model OrcaRouter memungkinkan peralihan mudah di antara opsi-opsi ini tanpa perubahan kode.
Kompatibel OpenAI — pakai SDK Anda yang sekarang
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Input / 1M token | $1.00 |
| Output / 1M token | $2.00 |
| Mata uang | USD |
Perkiraan berdasarkan harga daftar
Hanya perkiraan — jumlah token sebenarnya bergantung pada tokenizer penyedia.
GET /api/public/models/openai/gpt-3.5-turbo-1106Buka @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106