OpenAI の gpt-3.5-turbo-1106 (OrcaRouter 経由): 16K コンテキスト、46.2 MMLU-Pro、$1/$2 per 1M tokens、zero-markup 価格設定。
gpt-3.5-turbo-1106は、2023年11月に公開されたOpenAIのGPT-3.5 Turboモデルの特定のスナップショットです。これはテキスト専用モデルであり、画像や音声ではなく、テキストの入力と出力のみを受け付け、生成します。コンテキストウィンドウは16,384トークン、最大出力は4,096トークンです。MMLU-Proベンチマークでは、このモデルは46.2のスコアを達成しました…
このモデルは、質問応答、対話、ドキュメントの要約、翻訳、クリエイティブライティング、説明の提供など、汎用的なテキスト生成タスクに優れています。関数呼び出しをサポートしており、提供された関数スキーマに基づいて構造化データを出力したり、外部ツールやAPIと連携することができます。また、最大16Kトークンのコンテキストウィンドウで複数ターンの会話を処理することも可能です。事実に基づくクエリやコード生成、構造化推論など、高い精度が求められるタスクでも良好に動作しますが、大規模モデルと比較すると出力の精度がやや劣る場合もあります。
gpt-3.5-turbo-1106における関数呼び出しにより、リクエストで提供する関数定義に基づいて、モデルが構造化されたJSON出力を生成できます。名前、説明、パラメータスキーマを持つ関数のリストを含めると、モデルはfunction_callオブジェクトを返すことで1つ以上の関数を呼び出すことを決定できます。これは、データベースのクエリ、APIの呼び出し、またはアクションの実行が必要なエージェントを構築する際に役立ちます。この機能は、以前のバージョンと比較して1106スナップショットで改善され、信頼性が向上し、冗長なツール使用が減少しました。OrcaRouterは、OpenAI互換のすべての関数呼び出しパラメータをサポートしています。
もしあなたのユースケースが非常に単純なタスクを大量に扱うものであれば、さらに安価なモデル、例えば gpt-3.5-turbo-0125（同じ価格ですがより新しい）や、OrcaRouter を通じて提供される小規模なオープンソースモデルを検討してもよいでしょう。一方、大幅に優れた推論能力、正確性、マルチモーダル入力（画像、音声）、またはより大きなコンテキストウィンドウ（128K トークン）が必要な場合は、gpt-4o または gpt-4-turbo へのアップグレードを検討してください。gpt-3.5-turbo-1106 は、トークンあたりのコストが主な関心事であるほとんどのテキスト専用アプリケーションにおいて、バランスの取れた選択肢です。
MMLU-Proは、大規模マルチタスク言語理解ベンチマークのバリエーションであり、57の科目を含み、より難しい問題セットを特徴としています。スコア46.2は、モデルがテスト問題の46.2%に正しく回答したことを示しています。これは中程度のスコアであり、多様なドメインにわたるモデルの一般的な知識を反映しています。比較として、GPT-4のような大規模モデルは、同様のベンチマークで通常80以上のスコアを獲得します。このスコアは期待値を設定するのに役立ちます。gpt-3.5-turbo-1106は能力を備えていますが、深い推論や専門知識においては最先端ではありません。
このモデルには他のベンチマークスコアは提供されていませんが、公開情報によると、gpt-3.5-turbo-1106はそのサイズクラスと比較して、MMLU、HumanEval（コード生成）、要約タスクで優れたパフォーマンスを示しています。このモデルは、そのコスト帯において最も性能の高いオープンウェイトモデルの一つと一般に認識されています。ユーザーは一般的なNLPタスクでは良好なパフォーマンスを期待できますが、複雑な推論、数学、多段階指示ではGPT-4に劣る可能性があることを認識すべきです。事実の一貫性に関して、このモデルはもっともらしいが誤った回答を生成する可能性があるため、重要なアプリケーションでは検証が推奨されます。
具体的なレイテンシの数値は提供されていません。ただし、テキスト専用モデルであり、パラメータ数が比較的少ない（GPT-4と比較して）gpt-3.5-turbo-1106は、一般的に低レイテンシでの出力を提供し、中程度の負荷下では短い応答を1秒未満で完了することがよくあります。スループットは高くなる可能性があり、ストリーミングと組み合わせることでリアルタイムアプリケーションに適しています。OrcaRouterのインフラストラクチャは、OpenAIのエンドポイントへの信頼性の高い接続を保証します。最も正確なレイテンシ予測を得るには、ユーザーはOrcaRouter APIを使用して自身のユースケースをベンチマークする必要があります。
主な制限事項として、最大出力トークン数が4,096に制限されており、生成長さが制限されます。マルチモーダル機能はなく（画像や音声を処理できません）、不明瞭な事実に対して幻覚を起こす傾向があります。複雑な問題に対する推論の深さも限られています。このモデルの16Kコンテキストウィンドウは広いとはいえ、一部の代替モデル（例：128K）より小さいです。また、知識のカットオフ日が後のスナップショット（2023年1月）より古いです。敵対的または曖昧なプロンプトに対して、偏ったまたは安全でない出力を生成する可能性があります。開発者は本番環境での使用に適切なガードレールと人間の監視を実装する必要があります。
openai/gpt-3.5-turbo-1106のOrcaRouter経由の料金は、プロバイダー料金そのままで、追加マークアップなしで請求されます。具体的には、入力トークンは100万トークンあたり$1.00、出力トークンは100万トークンあたり$2.00です。これは、ストリーミングを含むすべてのリクエストに適用されます。追加のプラットフォーム料金はありません。料金は、プロンプト（入力）と生成されたレスポンス（出力）のトークン数に基づいて計算されます。キャッシュされたリクエストとキャッシュされていないリクエストの両方が同じレートで請求されます。使用状況はOrcaRouterダッシュボードで追跡できます。
多数の短いインタラクション（例：チャットボットの会話）を必要とするアプリケーションでは、各リクエストが消費するトークン数が少ないため、1メッセージあたりのコストは低くなります。長いプロンプトや長い応答を生成するタスクの場合、コストはトークン数に比例して増加します。GPT-4（10〜30倍高価になる可能性がある）と比較すると、gpt-3.5-turbo-1106はボリュームに対して経済的です。ただし、より安価なモデルを使用して少ないトークンで解決できるタスクであれば、さらにコスト効率が良くなる可能性があります。OrcaRouterのゼロマークアップ価格設定により、OpenAIの請求額のみをお支払いいただくことが保証されます。
このモデルに関して、OrcaRouterでは特定のキャッシュや割引プログラムは言及されていません。すべてのリクエストは標準のプロバイダー料金で請求されます。一部のプラットフォームでは、入力を繰り返す際のコストを削減するためにプロンプトキャッシュを提供していますが、OrcaRouterのドキュメントではこのモデルにそのような機能があるとは示されていません。ユーザーはそれに応じてトークン使用量を計画する必要があります。非常に大量の利用の場合、OrcaRouterに直接連絡してボリュームディスカウントを問い合わせる価値があるかもしれませんが、特に宣伝はされていません。ゼロマークアップの料金自体がすでに透明なコスト基準を提供しています。
リクエストを行うには、JSONボディにmodelフィールドを'openai/gpt-3.5-turbo-1106'に設定し、messages配列（roleとcontentを含む）を指定して、POSTリクエストを https://api.orcarouter.ai/v1/chat/completions に送信してください。AuthorizationヘッダーにOrcaRouter APIキーを含めてください（Bearer <key>）。オプションのパラメーターには、temperature、max_tokens、top_p、frequency_penalty、presence_penalty、stop、stream、functionsがあります。レスポンスはOpenAIのチャット補完形式に従います。Pythonのopenaiライブラリを使用した例：client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key')
このモデルはOpenAIのgpt-3.5-turbo-1106と同じパラメータをサポートしています。主要なパラメータは以下の通りです：messages（必須のオブジェクトの配列、role、content、オプションでnameを含む）、max_tokens（デフォルトは無制限だが4096に制限）、temperature（0-2、デフォルト1）、top_p（0-1、デフォルト1）、n（選択肢の数、デフォルト1）、stream（ブール値）、stop（文字列または最大4つの文字列の配列）、presence_penalty（-2から2）、frequency_penalty（-2から2）、logit_bias（トークンIDからバイアスへのマップ）、user（エンドユーザー識別用の文字列）、functions（関数オブジェクトの配列）、function_call（auto/noneまたは特定の関数）。これらはすべてOrcaRouterを通じてサポートされています。
移行には、既存のOpenAIベースのコードに対して2つの変更のみが必要です。まず、ベースURLをhttps://api.openai.com/v1からhttps://api.orcarouter.ai/v1に変更します。次に、OpenAIのAPIキーをOrcaRouterのAPIキーに置き換えます。リクエストとレスポンスの形式は同一であるため、ペイロード構造の変更は不要です。これら2つの設定を更新した後、チャット完了、関数呼び出し、ストリーミングに関する既存のロジックはすべて引き続き動作します。また、新しいbase_urlとapi_keyを指定することで、同じOpenAIクライアントライブラリ（例：Python openai、Node.js openai）を使用することもできます。
OrcaRouterはOpenAIのAPIと互換性のある標準HTTPステータスコードとエラーメッセージを返します。一般的なエラー：401（認証エラー）、429（レート制限超過）、500（サーバーエラー）。レート制限はOrcaRouterがお客様のプランに基づいて適用します。詳細はOrcaRouterのドキュメントを参照してください。基盤モデルはOpenAIによってホストされているため、プロバイダーからのエラーは透過的に中継されます（例：無効なパラメータには400、過負荷には503）。429および5xxエラーに対しては、指数バックオフを実装することを推奨します。ストリーミングエラーはストリームが途切れることで通知されます。最後のチャンクでfinish_reasonを確認してください。
0125スナップショットは、2025年1月にリリースされたGPT-3.5 Turboの新しいバージョンです。同じ価格設定とテキストのみのモダリティを提供しますが、より新しい知識カットオフと、おそらく改善された一貫性と事実の正確性を含んでいます。両モデルは同じ16Kコンテキストウィンドウと4K出力制限を共有しています。gpt-3.5-turbo-0125は、その新しさから新規プロジェクトでは1106バージョンよりも一般的に推奨されますが、互換性の理由から1106スナップショットは引き続き利用可能です。どちらのモデルも、1106の46.2 MMLU-Proを除いてベンチマークスコアは提供されていません。ユーザーは特定のユースケースに応じて両方をテストすることができます。
gpt-4oはOpenAIのより高性能なモデルで、テキスト、画像、音声の入力をサポートし、128Kのコンテキストウィンドウと16Kの最大出力トークンを持ちます。推論ベンチマークで大幅に高いスコアを記録し、複雑なタスクに対してより信頼性が高くなっています。ただし、コストは大幅に高く、gpt-3.5-turbo-1106と比較してトークンあたりのコストが約10～15倍になります。高い精度やマルチモーダル性が不要なアプリケーションでは、gpt-3.5-turbo-1106の方がコスト効率に優れています。高度な機能が必要な場合は、OrcaRouterを介してモデルIDを「openai/gpt-4o」に変更するだけでgpt-4oにアップグレードできます。
他のプロバイダーによる同等のモデルとして、AnthropicのClaude 3 Haiku（テキストのみ、同等の速度とコスト）やGoogleのGemini 1.5 Flashがあります。それぞれ異なるAPI形式を持ちますが、OrcaRouterを介してアクセスできます。gpt-3.5-turbo-1106は広く採用されており、多くのツールに統合されています。その関数呼び出しサポートは成熟しています。ただし、Claude 3 Haikuなどのモデルは、同様の価格帯でより大きなコンテキストウィンドウ（200K）を提供する可能性があり、一方Gemini 1.5 Flashはマルチモーダル機能を提供します。選択は、エコシステムの互換性、特定のベンチマーク性能、およびレイテンシ要件に依存します。OrcaRouterを使用すると、同じAPI形式で異なるモデルを試すことができます。
信頼性が高く、コスト効率に優れたテキストモデルが必要で、既存のツールとの幅広い互換性があり、関数呼び出しに対応している場合は、gpt-3.5-turbo-1106を選択してください。個々のリクエストが比較的短く、深い推論を必要としない大量のアプリケーションに最適です。マルチモーダル入力、より大きなコンテキストウィンドウ、複雑なトピックに対するより高い事実精度が必要な場合は避けてください。最新の知識カットオフが必要な場合は、gpt-3.5-turbo-0125を推奨します。究極のパフォーマンスを求めるなら、gpt-4oを選択してください。OrcaRouterのモデルカタログを使えば、コードを変更することなく、これらのオプションを簡単に切り替えることができます。
OpenAI 互換——今お使いの SDK のまま
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| 入力 / 1M tokens | $1.00 |
| 出力 / 1M tokens | $2.00 |
| 通貨 | USD |
表示価格に基づく概算
見積もりのみ — 実際のトークン数はプロバイダーのトークナイザーに依存します。
@misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106