gpt-3.5-turbo-1106 d'OpenAI via OrcaRouter : 16K de contexte, 46.2 MMLU-Pro, $1/$2 par million de tokens, tarification sans marge.
gpt-3.5-turbo-1106 est un instantané spécifique du modèle GPT-3.5 Turbo d'OpenAI, mis à disposition en novembre 2023. Il s'agit d'un modèle textuel uniquement, ce qui signifie qu'il accepte et génère…
Ce modèle excelle dans les tâches de génération de texte polyvalentes : répondre à des questions, participer à des dialogues, résumer des documents, traduire du texte, générer des contenus créatifs et fournir des explications. Il prend en charge l'appel de fonctions, ce qui lui permet de produire des données structurées et d'interagir avec des outils externes ou des API basées sur des schémas de fonctions fournis. Il peut également gérer des conversations à plusieurs tours avec une fenêtre de contexte allant jusqu'à 16K tokens. Pour les tâches nécessitant une haute précision sur des requêtes factuelles, la génération de code ou un raisonnement structuré, il fonctionne bien mais peut occasionnellement produire des résultats moins précis que des modèles plus grands.
L'appel de fonctions dans gpt-3.5-turbo-1106 permet au modèle de générer des sorties JSON structurées basées sur les définitions de fonctions que vous fournissez dans la requête. Lorsque vous incluez une liste de fonctions avec des noms, des descriptions et des schémas de paramètres, le modèle peut décider d'appeler une ou plusieurs fonctions en renvoyant un objet function_call. Ceci est utile pour construire des agents qui doivent interroger des bases de données, appeler des API ou effectuer des actions. Cette fonctionnalité a été améliorée dans l'instantané 1106 par rapport aux versions antérieures, la rendant plus fiable et réduisant l'utilisation redondante des outils. OrcaRouter prend en charge tous les paramètres d'appel de fonctions compatibles avec OpenAI.
Si votre cas d'utilisation implique des tâches très simples avec un volume très élevé, vous pourriez envisager un modèle encore moins cher comme gpt-3.5-turbo-0125 (même prix mais plus récent) ou des modèles open source plus petits proposés via OrcaRouter. En revanche, si vous avez besoin d'un raisonnement nettement meilleur, de factualité, d'entrées multimodales (images, audio) ou d'une fenêtre de contexte plus large (128K tokens), envisagez de passer à gpt-4o ou gpt-4-turbo. gpt-3.5-turbo-1106 est un choix équilibré pour la plupart des applications textuelles où le coût par token est une préoccupation primordiale.
MMLU-Pro est une variante du benchmark Massive Multitask Language Understanding qui comprend 57 sujets avec un ensemble de questions plus difficiles. Un score de 46.2 indique que le modèle a correctement répondu à 46.2 % des questions du test. Il s'agit d'un score modéré, reflétant la connaissance générale du modèle dans divers domaines. En comparaison, des modèles plus grands comme GPT-4 obtiennent généralement un score supérieur à 80 sur des benchmarks similaires. Ce score permet de définir les attentes : gpt-3.5-turbo-1106 est capable mais n'est pas à la pointe de la technologie pour le raisonnement approfondi ou les connaissances spécialisées.
Aucun autre score de benchmark n'est fourni pour ce modèle, mais les informations publiquement disponibles montrent que gpt-3.5-turbo-1106 obtient de bonnes performances sur MMLU, HumanEval (génération de code) et les tâches de résumé par rapport à sa catégorie de taille. Il est généralement considéré comme l'un des meilleurs modèles à poids ouverts pour son niveau de coût. Les utilisateurs peuvent s'attendre à de bonnes performances sur les tâches courantes de NLP, mais doivent reconnaître qu'il peut être en retard par rapport à GPT-4 sur le raisonnement complexe, les mathématiques et les instructions multi-étapes. Pour la cohérence factuelle, le modèle peut produire des réponses plausibles mais incorrectes, il est donc recommandé de vérifier pour les applications critiques.
Les chiffres de latence spécifiques ne sont pas fournis. Cependant, en tant que modèle textuel avec un nombre de paramètres relativement faible (comparé à GPT-4), gpt-3.5-turbo-1106 offre généralement une latence faible, complétant souvent des réponses courtes en moins d'une seconde sous charge modérée. Le débit peut être élevé, ce qui le rend adapté aux applications en temps réel lorsqu'il est combiné avec le streaming. L'infrastructure d'OrcaRouter garantit une connexion fiable aux points de terminaison d'OpenAI. Pour des attentes de latence plus précises, les utilisateurs doivent évaluer leurs propres cas d'utilisation à l'aide de l'API OrcaRouter.
Les limitations clés incluent : un maximum de 4 096 tokens en sortie, ce qui restreint la longueur de génération ; aucune capacité multimodale (ne peut pas traiter les images ou l'audio) ; une tendance à halluciner sur des faits obscurs ; et une profondeur de raisonnement limitée pour les problèmes complexes. La fenêtre de contexte de 16K du modèle, bien que généreuse, est plus petite que certaines alternatives (par exemple, 128K). Elle a également un seuil de connaissances inférieur à celui des instantanés ultérieurs (janvier 2023). Sur des invites adversariales ou ambiguës, elle peut produire des résultats biaisés ou non sécurisés. Les développeurs devraient mettre en œuvre des garde-fous appropriés et une supervision humaine pour une utilisation en production.
La tarification pour openai/gpt-3.5-turbo-1106 via OrcaRouter est facturée au tarif du fournisseur sans marge. Plus précisément, les tokens d’entrée coûtent 1,00 $ par million de tokens, et les tokens de sortie coûtent 2,00 $ par million de tokens. Cela s’applique à toutes les requêtes, y compris le streaming. Il n’y a pas de frais de plateforme supplémentaires. Les frais sont calculés en fonction du nombre de tokens dans le prompt (entrée) et la réponse générée (sortie). Les requêtes en cache et hors cache sont facturées au même tarif. Vous pouvez suivre l’utilisation via le tableau de bord OrcaRouter.
Pour les applications nécessitant de nombreuses interactions courtes (par exemple, les conversations avec un chatbot), le coût par message est faible car chaque requête consomme peu de jetons. Pour les tâches impliquant des invites longues ou générant des réponses longues, le coût évolue linéairement avec le nombre de jetons. Comparé à GPT‑4 (qui peut être 10 à 30 fois plus cher), gpt‑3.5‑turbo‑1106 est économique pour le volume. Cependant, si une tâche peut être résolue avec moins de jetons en utilisant un modèle moins cher, cela peut être encore plus rentable. La tarification sans marge d'OrcaRouter garantit que vous ne payez que ce que facture OpenAI.
Aucun programme spécifique de mise en cache ou de réduction n'est mentionné pour ce modèle sur OrcaRouter. Toutes les requêtes sont facturées au tarif standard du fournisseur. Certaines plateformes offrent une mise en cache des prompts pour réduire les coûts des entrées répétées, mais la documentation d'OrcaRouter n'indique pas une telle fonctionnalité pour ce modèle. Les utilisateurs doivent planifier leur utilisation de jetons en conséquence. Pour un volume très élevé, il peut être intéressant de contacter directement OrcaRouter pour se renseigner sur d'éventuelles remises sur le volume, bien qu'aucune ne soit annoncée. La tarification sans marge elle-même fournit déjà une base de coûts transparente.
Pour faire une requête, envoyez une requête POST à https://api.orcarouter.ai/v1/chat/completions avec un corps JSON contenant le champ model défini sur 'openai/gpt-3.5-turbo-1106', et un tableau messages (avec role et content). Incluez votre clé API OrcaRouter dans l'en-tête Authorization (Bearer <key>). Les paramètres optionnels incluent temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream et functions. La réponse suit le format de complétion de chat d'OpenAI. Exemple utilisant la bibliothèque Python openai : client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Ce modèle prend en charge les mêmes paramètres que le gpt-3.5-turbo-1106 d'OpenAI. Les paramètres clés incluent : messages (tableau d'objets obligatoire avec role, content, optionnellement name), max_tokens (infini par défaut mais limité à 4096), temperature (0 à 2, 1 par défaut), top_p (0 à 1, 1 par défaut), n (nombre de choix, 1 par défaut), stream (booléen), stop (chaîne ou tableau jusqu'à 4 chaînes), presence_penalty (-2 à 2), frequency_penalty (-2 à 2), logit_bias (mappage des IDs de tokens vers un biais), user (chaîne pour identification de l'utilisateur final), functions (tableau d'objets de fonction), function_call (auto/none ou fonction spécifique). Tous sont pris en charge via OrcaRouter.
La migration ne nécessite que deux modifications de votre code existant basé sur OpenAI. Premièrement, changez l'URL de base de https://api.openai.com/v1 à https://api.orcarouter.ai/v1. Deuxièmement, remplacez votre clé API OpenAI par une clé API OrcaRouter. Les formats de requête et de réponse sont identiques, donc aucune modification de la structure de la charge utile n'est nécessaire. Après avoir mis à jour ces deux paramètres, toute la logique existante pour les complétions de chat, l'appel de fonctions et le streaming continuera de fonctionner. Vous pouvez également utiliser les mêmes bibliothèques client OpenAI (par exemple, Python openai, Node.js openai) en passant les nouveaux base_url et api_key.
OrcaRouter renvoie des codes d'état HTTP standard et des messages d'erreur compatibles avec l'API d'OpenAI. Erreurs courantes : 401 (non autorisé), 429 (limite de taux dépassée), 500 (erreur serveur). Les limites de taux sont appliquées par OrcaRouter en fonction de votre forfait ; pour plus de détails, consultez la documentation d'OrcaRouter. Puisque le modèle sous-jacent est hébergé par OpenAI, les erreurs du fournisseur sont relayées de manière transparente (par exemple, 400 pour paramètres invalides, 503 pour surcharge). Il est recommandé de mettre en œuvre un backoff exponentiel pour les erreurs 429 et 5xx. Les erreurs de streaming sont signalées par un flux tronqué ; écoutez finish_reason dans le dernier bloc.
L'instantané 0125 est une version plus récente de GPT-3.5 Turbo, publiée en janvier 2025. Il offre les mêmes tarifs et la même modalité textuelle, mais inclut une date de coupure des connaissances plus récente et potentiellement une meilleure cohérence et exactitude factuelle. Les deux modèles partagent la même fenêtre de contexte de 16K et la même limite de sortie de 4K. gpt-3.5-turbo-0125 est généralement recommandé par rapport à la version 1106 pour les nouveaux projets en raison de sa fraîcheur, mais l'instantané 1106 reste disponible pour des raisons de compatibilité. Aucun score de référence n'est fourni pour l'un ou l'autre modèle au-delà de 46,2 MMLU-Pro pour 1106 ; les utilisateurs peuvent tester les deux pour leur cas d'utilisation spécifique.
gpt-4o est le modèle le plus performant d'OpenAI qui prend en charge les entrées texte, image et audio, et dispose d'une fenêtre de contexte de 128K et d'un maximum de 16K tokens de sortie. Il obtient des scores nettement plus élevés dans les benchmarks de raisonnement et est plus fiable pour les tâches complexes. Cependant, il est nettement plus coûteux : environ 10 à 15 fois le coût par token de gpt-3.5-turbo-1106. Pour les applications où une haute précision et la multimodalité ne sont pas requises, gpt-3.5-turbo-1106 offre une meilleure rentabilité. Si vous avez besoin des capacités avancées, la mise à niveau vers gpt-4o via OrcaRouter est simple en changeant l'ID du modèle en 'openai/gpt-4o'.
Les modèles comparables d'autres fournisseurs incluent Claude 3 Haiku d'Anthropic (texte uniquement, vitesse et coût similaires) et Gemini 1.5 Flash de Google. Chacun a des formats d'API différents mais peut être accessible via OrcaRouter. gpt-3.5-turbo-1106 est largement adopté et intégré dans de nombreux outils. Son support d'appel de fonctions est mature. Cependant, des modèles comme Claude 3 Haiku peuvent offrir des fenêtres de contexte plus larges (200K) à des prix similaires, tandis que Gemini 1.5 Flash offre des capacités multimodales. Le choix dépend de la compatibilité de l'écosystème, des performances de référence spécifiques et des exigences de latence. OrcaRouter vous permet d'essayer différents modèles sous le même format d'API.
Choisissez gpt-3.5-turbo-1106 lorsque vous avez besoin d’un modèle de texte fiable et économique, largement compatible avec les outils existants et prenant en charge l’appel de fonctions. Il est idéal pour les applications à volume élevé où chaque requête est relativement courte et ne nécessite pas de raisonnement approfondi. Évitez-le si vous avez besoin d’entrées multimodales, d’un contexte plus large ou d’une exactitude factuelle plus élevée sur des sujets complexes. Si vous avez besoin de la date de mise à jour la plus récente, préférez gpt-3.5-turbo-0125. Pour des performances optimales, sélectionnez gpt-4o. Le catalogue de modèles d’OrcaRouter permet de basculer facilement entre ces options sans modifier le code.
Compatible OpenAI — gardez votre SDK actuel
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Entrée / 1M tokens | $1.00 |
| Sortie / 1M tokens | $2.00 |
| Devise | USD |
Estimation basée sur le tarif public
Estimation seulement — le nombre réel de tokens dépend du tokeniseur du fournisseur.
GET /api/public/models/openai/gpt-3.5-turbo-1106Ouvrir @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106