GPT‑4 Turbo milik OpenAI dengan konteks 128K, input teks/gambar, diakses melalui API OrcaRouter.
openai/gpt-4-turbo-2024-04-09 adalah versi spesifik dari model GPT-4 Turbo milik OpenAI, yang dirilis pada 9 April 2024. Model ini menerima input teks dan gambar, serta menawarkan jendela konteks…
Model ini dapat melakukan berbagai tugas bahasa alami: peringkasan, penerjemahan, menjawab pertanyaan, pembuatan kode, dan penulisan kreatif. Dengan konteks 128K token, model ini dapat menganalisis seluruh buku atau basis kode besar dalam satu waktu. Model ini juga memproses gambar, sehingga dapat menjawab pertanyaan tentang foto, diagram, atau dokumen pindaian. Performa kuat model pada MATH-500 (73.7) menunjukkan bahwa model ini dapat memecahkan masalah matematika kompleks langkah demi langkah. Untuk hasil terbaik, berikan instruksi yang jelas dan gunakan pesan sistem untuk mengatur perilaku. Model ini diakses melalui API OrcaRouter di https://api.orcarouter.ai/v1 dengan ID model "openai/gpt-4-turbo-2024-04-09".
GPT-4 Turbo sangat kuat tetapi relatif mahal dengan harga $10 per juta token masukan dan $30 per juta token keluaran. Untuk tugas yang tidak memerlukan penalaran mendalam atau konteks yang luas, model yang lebih ringan seperti GPT-3.5 Turbo (dengan harga sekitar $0.5–$1.5 per juta token) mungkin sudah mencukupi dan jauh lebih ekonomis. Contohnya termasuk klasifikasi teks sederhana, chatbot dasar, atau pembuatan konten pendek. Selain itu, jika aplikasi Anda tidak memerlukan input multimodal atau jendela konteks yang sangat besar, model yang lebih kecil dapat mengurangi latensi dan biaya. OrcaRouter memungkinkan Anda untuk beralih antar model dengan mengubah ID model dalam panggilan API.
Ya, GPT-4 Turbo (2024-04-09) menerima input gambar selain teks. Anda dapat menyediakan gambar sebagai data yang dikodekan dengan base64 atau URL dalam permintaan API. Model dapat menafsirkan isi foto, diagram, bagan, dan teks dalam gambar (misalnya, tangkapan layar). Hal ini membuatnya cocok untuk tugas-tugas visi seperti pembuatan keterangan gambar, menjawab pertanyaan visual, dan analisis dokumen yang mencakup halaman yang dipindai. Saat menggunakan gambar, biaya token mencakup token visual gambar—biasanya setiap gambar menggunakan token yang sebanding dengan resolusinya. Perhitungan token yang tepat ditentukan oleh OpenAI; lihat dokumentasi mereka untuk detailnya. Melalui OrcaRouter, Anda mengirim format permintaan yang sama seperti API OpenAI.
Jendela konteks token 128K (sekitar 96,000 kata) sangat ideal untuk tugas yang memerlukan pemahaman urutan yang sangat panjang. Misalnya, memproses seluruh buku atau dokumen hukum yang panjang dalam satu panggilan API, menganalisis repositori kode lengkap, atau mempertahankan riwayat percakapan yang mencakup ratusan putaran. Ini juga memungkinkan teknik seperti prompting "rantai pemikiran" di atas jejak penalaran yang panjang. Namun, perhatikan bahwa kompleksitas perhatian model dapat meningkatkan latensi untuk input yang sangat panjang. Untuk sebagian besar aplikasi produksi, jendela konteks 8K–32K seringkali sudah memadai; gunakan 128K penuh hanya jika tugas Anda benar-benar mendapat manfaat dari memori yang diperluas.
Tolok ukur MATH-500 terdiri dari 500 soal matematika menantang yang mencakup aljabar, geometri, teori bilangan, dan lainnya. Skor 73,7 menunjukkan bahwa GPT-4 Turbo berhasil memecahkan sekitar 73,7% dari soal-soal tersebut. Ini adalah performa yang kuat, menempatkannya di antara model teratas untuk penalaran matematika. Sebagai konteks, model GPT-4 sebelumnya mendapat skor lebih rendah pada tolok ukur matematika serupa. Skor ini menunjukkan bahwa model tersebut dapat menangani penalaran langkah demi langkah secara andal, yang berguna untuk sistem bimbingan belajar, pengecekan matematika otomatis, dan analisis data yang kompleks. Perlu diketahui bahwa performa dapat bervariasi menurut domain soal; model masih mungkin membuat kesalahan pada pertanyaan yang sangat khusus atau ambigu.
Angka latensi yang tepat tidak dipublikasikan oleh OpenAI untuk model ini. Secara umum, GPT-4 Turbo lebih cepat daripada GPT-4 asli tetapi lebih lambat daripada model kecil seperti GPT-3.5 Turbo atau GPT-4o Mini. Waktu respons aktual tergantung pada panjang input, panjang output, volume permintaan, dan beban server. OrcaRouter mengoptimalkan perutean ke titik akhir OpenAI, tetapi tidak menambahkan latensi tambahan di luar lompatan jaringan. Untuk aplikasi yang sensitif terhadap latensi, pertimbangkan untuk menggunakan model yang lebih cepat dengan penggunaan token total yang lebih rendah. Jika Anda memerlukan respons segera, Anda dapat menguji model melalui API OrcaRouter dan mengukur kinerja untuk beban kerja spesifik Anda.
Seperti semua model bahasa besar, GPT-4 Turbo terkadang dapat menghasilkan informasi yang salah atau tidak masuk akal (halusinasi). Model ini juga bisa bertele-tele, menghasilkan jawaban yang lebih panjang dari yang diperlukan. Meskipun kuat dalam matematika, model ini mungkin kesulitan dalam akurasi faktual mengenai peristiwa terkini (batas data pelatihan tidak ditentukan; asumsikan pengetahuan hingga awal tahun 2024). Model ini tidak mendukung pemanggilan fungsi dengan cara yang sama seperti versi yang lebih baru, meskipun menerima pola penggunaan alat dalam format permintaan. Model ini juga tidak menjamin format yang konsisten antar panggilan. Untuk tugas-tugas yang kritis terhadap keselamatan, selalu validasi output. OrcaRouter menyediakan model ini apa adanya tanpa penyaringan tambahan.
OrcaRouter meneruskan harga OpenAI tanpa markup. Biayanya adalah $10,00 per 1 juta token masukan dan $30,00 per 1 juta token keluaran. Token masukan mencakup token teks dan gambar (jumlah token gambar ditentukan oleh algoritma OpenAI). Token keluaran adalah token yang dihasilkan oleh model. Karena tidak ada markup, harga yang Anda lihat adalah biaya persis dari OpenAI. Penagihan didasarkan pada penggunaan token yang dicatat oleh OrcaRouter. Tidak ada biaya tambahan atau minimum. Anda dapat memantau penggunaan Anda di dasbor OrcaRouter dan menetapkan batas pengeluaran.
OrcaRouter tidak menawarkan caching token untuk model ini; setiap permintaan API dikenakan biaya berdasarkan jumlah token aktual. Saat ini tidak ada diskon volume atau diskon penggunaan berkomitmen. Harga ketat per token seperti yang dijelaskan. Untuk mengurangi biaya, Anda dapat mengoptimalkan prompt Anda untuk menggunakan lebih sedikit token (misalnya, pesan sistem yang lebih pendek, memotong konteks yang tidak diperlukan). Atau, untuk tugas yang tidak memerlukan kekuatan penuh dari GPT-4 Turbo, pertimbangkan untuk menggunakan model yang lebih murah yang tersedia di OrcaRouter, seperti GPT-3.5 Turbo atau GPT-4o Mini.
Token output tiga kali lebih mahal daripada token input ($30 vs $10 per juta). Oleh karena itu, menghasilkan respons yang panjang secara signifikan meningkatkan biaya total. Untuk aplikasi yang sensitif terhadap biaya, pertimbangkan untuk membatasi parameter max_tokens ke panjang minimum yang diperlukan. Juga, perhatikan bahwa prompt dengan banyak gambar dapat mengonsumsi sejumlah besar token input (setiap gambar dapat mengonsumsi ratusan token). Selalu perkirakan penggunaan token sebelum melakukan penskalaan. Satu input 128K token akan menghabiskan biaya $1.28 hanya untuk input, ditambah $3.84 untuk output 128K (jika dihasilkan). Dalam praktiknya, permintaan tipikal menggunakan token yang jauh lebih sedikit.
Anda dapat menggunakan tokenizer OpenAI atau penghitungan token terintegrasi OrcaRouter. Untuk teks, 1 token ≈ 0.75 kata dalam bahasa Inggris. Untuk gambar, konsumsi token tergantung pada ukuran gambar dan tingkat detail; dokumentasi OpenAI menyediakan rumus. Anda juga dapat mengirim permintaan sampel kecil dan memeriksa bidang usage dalam respons API (yang mencakup prompt_tokens, completion_tokens, dan total_tokens). Kalikan dengan harga per token untuk mendapatkan biaya. OrcaRouter juga menampilkan biaya per permintaan di log. Ingatlah bahwa output maksimum adalah 4,096 token, sehingga biaya output per permintaan dibatasi pada $0.12288 (4,096 * $30/1,000,000).
Gunakan endpoint API yang kompatibel dengan OpenAI milik OrcaRouter: https://api.orcarouter.ai/v1. Atur parameter model menjadi "openai/gpt-4-turbo-2024-04-09". Sertakan kunci API OrcaRouter Anda di header Authorization (Bearer your_key). Format permintaannya identik dengan API Chat Completions milik OpenAI. Contoh menggunakan Python dengan pustaka openai: setel openai.base_url = "https://api.orcarouter.ai/v1" dan openai.api_key = "orcarouter_key". Kemudian panggil openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]). Anda bisa memberikan parameter standar seperti temperature, top_p, max_tokens (maks 4096).
Semua parameter standar OpenAI Chat Completions didukung, termasuk: temperature (0-2, default 1), top_p (0-1, default 1), max_tokens (hingga 4096), n (jumlah komplesi), urutan stop (stop sequences), frequency_penalty, presence_penalty, dan logit_bias. Untuk permintaan multimodal, sertakan array konten dengan tipe "text" dan "image_url". OrcaRouter meneruskan parameter ini langsung ke API OpenAI. Perhatikan bahwa beberapa fitur lanjutan seperti function calling mungkin berfungsi, tetapi belum didokumentasikan secara resmi untuk versi model ini; uji untuk memastikan. Anda juga dapat melakukan streaming respons dengan mengatur stream=True, yang mengembalikan server-sent events.
Migrasi sangat mudah: ubah URL dasar dari https://api.openai.com/v1 menjadi https://api.orcarouter.ai/v1 dan ganti kunci API Anda dengan kunci OrcaRouter Anda. Perbarui nama model menjadi "openai/gpt-4-turbo-2024-04-09". Semua format pesan, prompt sistem, definisi alat, dll., tetap sama. OrcaRouter berfungsi sebagai gateway transparan, sehingga respons yang diberikan identik dengan yang akan dikembalikan oleh OpenAI (asalkan model dan parameternya sama). Anda dapat menguji migrasi dengan mengirim beberapa permintaan dan membandingkan hasilnya. Tidak ada perubahan yang diperlukan pada rekayasa prompt Anda.
Dibandingkan dengan GPT-4 asli (dirilis Maret 2023), GPT-4 Turbo menawarkan beberapa peningkatan: jendela konteks yang lebih besar (128K vs. 8K/32K), harga lebih rendah ($10/$30 vs. ~$30/$60 per juta token), dan waktu respons lebih cepat. Skor MATH-500 sebesar 73,7 jauh lebih tinggi dibandingkan skor GPT-4 sebelumnya pada tolok ukur serupa. Namun, beberapa pengguna melaporkan bahwa GPT-4 Turbo bisa sedikit kurang konsisten dalam mengikuti instruksi format dibandingkan GPT-4. Untuk sebagian besar tugas, GPT-4 Turbo adalah pilihan yang direkomendasikan kecuali Anda secara spesifik membutuhkan perilaku GPT-4. Melalui OrcaRouter, Anda dapat mengakses kedua model dan membandingkan keluaran secara langsung.
GPT-4o (model multimodal terbaru OpenAI) menawarkan kemampuan multimodal asli, kecepatan lebih cepat, dan pemahaman gambar yang lebih baik. Ia juga memiliki jendela konteks 128K. GPT-4o umumnya lebih murah daripada GPT-4 Turbo ($5/$15 per juta token). Pada MATH-500, GPT-4o biasanya mendapat skor lebih tinggi. GPT-4 Turbo tetap menjadi pilihan yang kuat jika Anda memerlukan perilaku spesifik GPT-4 Turbo asli, atau jika Anda telah mengoptimalkan prompt Anda untuknya. Di OrcaRouter, Anda dapat beralih di antara model-model ini dengan mengubah ID model. Kami merekomendasikan untuk menguji keduanya pada kasus penggunaan Anda untuk menentukan mana yang memberikan keseimbangan akurasi/biaya yang lebih baik.
Pilih openai/gpt-4-turbo-2024-04-09 jika Anda membutuhkan model yang andal, berkinerja tinggi dengan jendela konteks yang sangat besar dan bersedia membayar premi untuk penalaran yang unggul. Model ini sangat kuat untuk tugas matematika (MATH-500 73.7). Jika aplikasi Anda memerlukan input multimodal, baik GPT-4 Turbo maupun GPT-4o mendukungnya, tetapi GPT-4o mungkin lebih cepat dan lebih murah. Untuk tugas teks sederhana, pertimbangkan GPT-3.5 Turbo atau GPT-4o Mini. OrcaRouter menyediakan katalog yang luas; evaluasi biaya, latensi, dan kualitas pada data spesifik Anda sebelum memutuskan.
Kompatibel OpenAI — pakai SDK Anda yang sekarang
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Input / 1M token | $10.00 |
| Output / 1M token | $30.00 |
| Mata uang | USD |
Perkiraan berdasarkan harga daftar
Hanya perkiraan — jumlah token sebenarnya bergantung pada tokenizer penyedia.
GET /api/public/models/openai/gpt-4-turbo-2024-04-09Buka @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09