GPT‑4 Turbo d'OpenAI avec un contexte de 128K, entrée texte/image, accessible via l'API d'OrcaRouter.
openai/gpt-4-turbo-2024-04-09 est une version spécifique du modèle GPT-4 Turbo d'OpenAI, publiée le 9 avril 2024. Il accepte à la fois des entrées textuelles et des images, et offre une fenêtre de…
Le modèle peut effectuer une large gamme de tâches en langage naturel : résumé, traduction, réponse aux questions, génération de code et écriture créative. Avec son contexte de 128K tokens, il peut analyser des livres entiers ou de grandes bases de code en une seule fois. Il traite également les images, il peut donc répondre à des questions sur des photographies, des diagrammes ou des documents scannés. La solide performance du modèle sur MATH-500 (73.7) indique qu'il peut résoudre des problèmes mathématiques complexes étape par étape. Pour de meilleurs résultats, fournissez des instructions claires et utilisez le message système pour définir le comportement. Le modèle est accessible via l'API d'OrcaRouter à l'adresse https://api.orcarouter.ai/v1 avec l'ID de modèle "openai/gpt-4-turbo-2024-04-09".
GPT-4 Turbo est puissant mais relativement coûteux, à 10 $ par million de tokens en entrée et 30 $ par million de tokens en sortie. Pour les tâches qui ne nécessitent pas de raisonnement approfondi ou un contexte étendu, un modèle plus léger comme GPT-3.5 Turbo (au prix d'environ 0,5 $–1,5 $ par million de tokens) peut suffire et être bien plus économique. Parmi les exemples, on trouve la classification de texte simple, les chatbots basiques ou la génération de contenu court. De plus, si votre application n'a pas besoin d'entrées multimodales ou d'une fenêtre de contexte très large, un modèle plus petit peut réduire la latence et les coûts. OrcaRouter vous permet de basculer entre les modèles en changeant l'identifiant du modèle dans l'appel API.
Oui, GPT-4 Turbo (2024-04-09) accepte des entrées d'images en plus du texte. Vous pouvez fournir des images sous forme de données encodées en base64 ou d'URL dans la requête API. Le modèle peut interpréter le contenu de photographies, diagrammes, graphiques et textes dans les images (par exemple, des captures d'écran). Cela le rend adapté aux tâches de vision telles que le sous-titrage d'images, la réponse à des questions visuelles et l'analyse de documents incluant des pages numérisées. Lorsque vous utilisez des images, le coût en tokens inclut les tokens visuels de l'image — généralement chaque image consomme des tokens proportionnellement à sa résolution. Le calcul exact des tokens est défini par OpenAI ; consultez leur documentation pour plus de détails. Via OrcaRouter, vous envoyez le même format de requête que l'API OpenAI.
La fenêtre de contexte de 128 000 jetons (environ 96 000 mots) est idéale pour les tâches nécessitant la compréhension de très longues séquences. Par exemple, traiter un livre entier ou un long document juridique en un seul appel API, analyser un dépôt de code complet, ou conserver un historique de conversation couvrant des centaines d'échanges. Elle permet également des techniques comme le prompting "chain-of-thought" sur de longues traces de raisonnement. Cependant, notez que la complexité d'attention du modèle peut augmenter la latence pour des entrées très longues. Pour la plupart des applications de production, une fenêtre de contexte de 8K–32K est souvent suffisante ; utilisez la totalité des 128K uniquement lorsque votre tâche bénéficie réellement de cette mémoire étendue.
Le benchmark MATH-500 comprend 500 problèmes mathématiques difficiles couvrant l'algèbre, la géométrie, la théorie des nombres, et plus encore. Un score de 73,7 indique que GPT-4 Turbo a correctement résolu environ 73,7 % de ces problèmes. Il s'agit d'une performance solide, le plaçant parmi les meilleurs modèles pour le raisonnement mathématique. Pour contexte, les modèles GPT-4 antérieurs obtenaient des scores inférieurs sur des benchmarks mathématiques similaires. Ce score suggère que le modèle peut gérer de manière fiable un raisonnement étape par étape, ce qui est utile pour les systèmes de tutorat, la vérification automatisée des mathématiques et l'analyse de données complexes. Notez que les performances peuvent varier selon le domaine du problème ; le modèle peut encore commettre des erreurs sur des questions très spécialisées ou ambiguës.
Les chiffres exacts de latence ne sont pas publiés par OpenAI pour ce modèle. Généralement, GPT-4 Turbo est plus rapide que le GPT-4 original mais plus lent que les petits modèles comme GPT-3.5 Turbo ou GPT-4o Mini. Le temps de réponse réel dépend de la longueur de l'entrée, de la longueur de la sortie, du volume de requêtes et de la charge du serveur. OrcaRouter optimise le routage vers les endpoints d'OpenAI, mais n'ajoute pas de latence supplémentaire au-delà du saut réseau. Pour les applications sensibles à la latence, envisagez d'utiliser un modèle plus rapide avec une utilisation totale de jetons plus faible. Si vous avez besoin de réponses immédiates, vous pouvez tester le modèle via l'API d'OrcaRouter et mesurer les performances pour votre charge de travail spécifique.
Comme tous les grands modèles de langage, GPT-4 Turbo peut parfois générer des informations incorrectes ou absurdes (hallucinations). Il peut également être verbeux, produisant des réponses plus longues que nécessaire. Bien que performant en mathématiques, il peut rencontrer des difficultés quant à l'exactitude factuelle des événements récents (date limite des données d'entraînement non spécifiée ; supposer des connaissances jusqu'au début 2024). Le modèle ne prend pas en charge l'appel de fonctions de la même manière que les versions plus récentes, bien qu'il accepte les modèles d'utilisation d'outils dans le format de la requête. Il ne garantit pas non plus un formatage cohérent d'un appel à l'autre. Pour les tâches critiques pour la sécurité, validez toujours les sorties. OrcaRouter fournit le modèle tel quel, sans filtrage supplémentaire.
OrcaRouter transmet le tarif d'OpenAI sans aucune majoration. Le coût est de $10.00 pour 1 million de tokens d'entrée et de $30.00 pour 1 million de tokens de sortie. Les tokens d'entrée incluent à la fois les tokens de texte et d'image (le nombre de tokens d'image est déterminé par l'algorithme d'OpenAI). Les tokens de sortie sont ceux générés par le modèle. En raison de l'absence de majoration, le prix que vous voyez est exactement le montant facturé par OpenAI. La facturation est basée sur l'utilisation des tokens enregistrée par OrcaRouter. Il n'y a pas de frais supplémentaires ni de minimum. Vous pouvez surveiller votre utilisation dans le tableau de bord OrcaRouter et définir des limites de dépenses.
OrcaRouter n'offre pas de mise en cache des jetons pour ce modèle ; chaque requête API est facturée en fonction du nombre réel de jetons. Il n'existe actuellement ni remise sur le volume ni remise pour engagement d'utilisation. La tarification est strictement par jeton, comme décrit. Pour réduire les coûts, vous pouvez optimiser vos invites afin d'utiliser moins de jetons (par exemple, des messages système plus courts, en tronquant le contexte inutile). Sinon, pour les tâches qui ne nécessitent pas toute la puissance de GPT-4 Turbo, envisagez d'utiliser un modèle moins cher disponible sur OrcaRouter, comme GPT-3.5 Turbo ou GPT-4o Mini.
Les tokens de sortie sont trois fois plus chers que les tokens d'entrée ($30 vs. $10 par million). Par conséquent, générer de longues réponses augmente considérablement le coût total. Pour les applications sensibles aux coûts, envisagez de limiter le paramètre max_tokens à la longueur minimale nécessaire. Notez également que les prompts contenant de nombreuses images peuvent consommer un grand nombre de tokens d'entrée (chaque image peut consommer des centaines de tokens). Estimez toujours l'utilisation des tokens avant de passer à l'échelle. Une seule entrée de 128K tokens coûterait 1,28 $ rien que pour l'entrée, plus 3,84 $ pour une sortie de 128K (si générée). En pratique, les requêtes typiques utilisent beaucoup moins de tokens.
Vous pouvez utiliser le tokenizer d'OpenAI ou le comptage de jetons intégré d'OrcaRouter. Pour le texte, 1 jeton ≈ 0,75 mot en anglais. Pour les images, la consommation de jetons dépend de la taille et du niveau de détail de l'image ; la documentation d'OpenAI fournit des formules. Vous pouvez également envoyer un petit échantillon de requête et inspecter le champ usage dans la réponse de l'API (qui inclut prompt_tokens, completion_tokens et total_tokens). Multipliez par les prix par jeton pour obtenir le coût. OrcaRouter affiche également les coûts par requête dans les logs. Gardez à l'esprit que la sortie maximale est de 4 096 jetons, donc le coût de sortie par requête est plafonné à 0,12288 $ (4 096 * 30 $ / 1 000 000).
Utilisez le point de terminaison d'API compatible OpenAI d'OrcaRouter : https://api.orcarouter.ai/v1. Définissez le paramètre model sur "openai/gpt-4-turbo-2024-04-09". Incluez votre clé API OrcaRouter dans l'en-tête Authorization (Bearer your_key). Le format de requête est identique à l'API Chat Completions d'OpenAI. Exemple utilisant Python avec la bibliothèque openai : définissez openai.base_url = "https://api.orcarouter.ai/v1" et openai.api_key = "orcarouter_key". Ensuite, appelez openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]). Vous pouvez passer des paramètres standards comme temperature, top_p, max_tokens (max 4096).
Tous les paramètres standard d’OpenAI Chat Completions sont pris en charge, notamment : temperature (0-2, valeur par défaut 1), top_p (0-1, valeur par défaut 1), max_tokens (jusqu’à 4096), n (nombre de complétions), séquences d’arrêt, frequency_penalty, presence_penalty et logit_bias. Pour les requêtes multimodales, incluez un tableau content de type "text" et "image_url". OrcaRouter transmet ces paramètres directement à l’API d’OpenAI. Notez que certaines fonctionnalités avancées comme function calling peuvent fonctionner mais ne sont pas officiellement documentées pour cette version du modèle ; testez pour confirmer. Vous pouvez également diffuser les réponses en définissant stream=True, ce qui renvoie des événements envoyés par le serveur.
La migration est simple : modifiez l'URL de base de https://api.openai.com/v1 vers https://api.orcarouter.ai/v1 et remplacez votre clé API par votre clé OrcaRouter. Mettez à jour le nom du modèle en "openai/gpt-4-turbo-2024-04-09". Tout le formatage des messages, les invites système, les définitions d'outils, etc., restent identiques. OrcaRouter agit comme une passerelle transparente, donc les réponses sont identiques à celles qu'OpenAI renverrait (tant que le modèle et les paramètres sont les mêmes). Vous pouvez tester la migration en envoyant quelques requêtes et en comparant les résultats. Aucune modification de votre ingénierie d'invite n'est nécessaire.
Comparé au GPT-4 original (sorti en mars 2023), GPT-4 Turbo offre plusieurs améliorations : une fenêtre de contexte plus grande (128K contre 8K/32K), un prix inférieur ($10/$30 contre ~$30/$60 par million de tokens) et des temps de réponse plus rapides. Le score MATH-500 de 73.7 est significativement plus élevé que les scores précédents de GPT-4 sur des benchmarks similaires. Cependant, certains utilisateurs rapportent que GPT-4 Turbo peut être légèrement moins cohérent dans le respect des instructions de format par rapport à GPT-4. Pour la plupart des tâches, GPT-4 Turbo est le choix recommandé, sauf si vous avez spécifiquement besoin du comportement de GPT-4. Via OrcaRouter, vous pouvez accéder aux deux modèles et comparer directement les résultats.
GPT-4o (le dernier modèle multimodal d'OpenAI) offre des capacités multimodales natives, des vitesses plus rapides et une meilleure compréhension visuelle. Il dispose également d'une fenêtre de contexte de 128K. GPT-4o est généralement moins cher que GPT-4 Turbo (5$/15$ par million de tokens). Sur MATH-500, GPT-4o obtient généralement des scores plus élevés. GPT-4 Turbo reste un bon choix si vous avez besoin du comportement spécifique du GPT-4 Turbo original, ou si vous avez déjà optimisé vos prompts pour celui-ci. Sur OrcaRouter, vous pouvez basculer entre ces modèles en modifiant l'ID du modèle. Nous vous recommandons de tester les deux sur votre cas d'utilisation pour déterminer lequel offre le meilleur équilibre précision/coût.
Choisissez openai/gpt-4-turbo-2024-04-09 si vous avez besoin d'un modèle fiable et performant avec un très grand contexte et êtes prêt à payer un supplément pour un raisonnement supérieur. Il est particulièrement fort pour les tâches mathématiques (MATH-500 73.7). Si votre application nécessite une entrée multimodale, GPT-4 Turbo et GPT-4o la prennent en charge, mais GPT-4o peut être plus rapide et moins cher. Pour les tâches textuelles simples, envisagez GPT-3.5 Turbo ou GPT-4o Mini. OrcaRouter propose un large catalogue ; évaluez le coût, la latence et la qualité sur vos données spécifiques avant de vous engager.
Compatible OpenAI — gardez votre SDK actuel
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Entrée / 1M tokens | $10.00 |
| Sortie / 1M tokens | $30.00 |
| Devise | USD |
Estimation basée sur le tarif public
Estimation seulement — le nombre réel de tokens dépend du tokeniseur du fournisseur.
GET /api/public/models/openai/gpt-4-turbo-2024-04-09Ouvrir @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09