Plongements de texte de haute qualité via OrcaRouter à 0,13 $/M tokens, aucune majoration, jusqu'à 3072 dimensions.
OpenAI text-embedding-3-large est un modèle d'embedding à grande échelle de la troisième génération de la série d'embedding de texte d'OpenAI. Il convertit des entrées textuelles en représentations…
text-embedding-3-large excelle dans la similarité sémantique, la classification de texte, le clustering et la recherche d'informations. Sa sortie en haute dimension permet une distinction fine entre des textes similaires. C'est un choix populaire pour construire des bases de données vectorielles pour le RAG, où la qualité de la récupération dépend de la précision de l'intégration. Le modèle fonctionne également bien sur l'inférence en langage naturel et la détection de doublons. Cependant, il n'est pas conçu pour les tâches génératives comme la complétion de texte ou le dialogue—utilisez GPT-4 ou d'autres modèles de langage pour celles-ci.
Le modèle peut générer des embeddings avec des dimensions comprises entre 256 et 3072. La dimension est définie via le paramètre `dimensions` dans la requête API. Utiliser une dimension inférieure réduit le stockage et le calcul en aval, mais peut perdre une certaine fidélité sémantique. La dimension par défaut est 3072, qui offre le pouvoir discriminant le plus élevé. Il n'y a pas de dimension prise en charge en dehors de cette plage. Pour la plupart des tâches de recherche, une dimension de 1024 à 2048 constitue un bon équilibre entre précision et coût.
Si votre application est sensible à la latence ou que vous intégrez des milliards de textes, le coût de 0,13 $ pour 1 M de tokens peut s’accumuler. Envisagez text-embedding-3-small (0,02 $/M tokens) ou des modèles open-source comme les embeddings basés sur BERT pour des budgets plus restreints. text-embedding-3-large est le meilleur lorsque la précision de récupération est primordiale, comme dans la recherche juridique, médicale ou scientifique, où un document pertinent manqué a de lourdes conséquences.
OpenAI ne propose actuellement pas de fine-tuning pour la série text-embedding-3. Le modèle est utilisé comme un encodeur fixe. Pour l'adapter à un domaine spécifique, vous pouvez utiliser des stratégies d'augmentation par récupération, comme l'ajout de passages spécifiques au domaine dans votre base vectorielle. Alternativement, vous pouvez utiliser les embeddings comme caractéristiques pour un classifieur en aval entraîné sur vos données étiquetées. Ce workflow est courant dans les environnements d'entreprise.
text-embedding-3-large atteint des résultats de pointe sur le Massive Text Embedding Benchmark (MTEB) pour des tâches telles que le clustering, la classification et le reclassement. Bien que les scores exacts ne soient pas fournis ici, le modèle se classe systématiquement parmi les meilleurs des modèles d’embedding disponibles publiquement. Sa version en 3072 dimensions offre la plus haute précision, tandis que les dimensions inférieures échangent une légère baisse de performance contre une réduction du stockage et du calcul. Il surpasse son prédécesseur, text-embedding-ada-002, sur la plupart des tâches.
La latence dépend du nombre de jetons d'entrée et de la charge du modèle. Pour un texte court unique (moins de 100 jetons), le modèle répond généralement en moins de 200 ms via OrcaRouter. Les textes plus longs (8000 jetons) peuvent prendre 1 à 2 secondes. La concurrence et la taille des lots affectent le débit—les requêtes en lots (plusieurs textes dans un seul appel API) peuvent atteindre un débit plus élevé. OrcaRouter n'ajoute pas de surcharge au-delà du temps de réponse du fournisseur.
Le modèle n'est pas conçu pour une prise en charge multilingue au-delà de l'anglais (bien qu'il gère certaines autres langues, les performances sont inférieures). Il lui manque également un suivi d'instructions intégré — il s'agit strictement d'un encodeur. La limite de 8192 jetons signifie que les documents extrêmement longs doivent être divisés en segments. De plus, les embeddings peuvent encoder des biais démographiques présents dans les données d'apprentissage, les applications en aval doivent donc être testées pour l'équité. Enfin, il ne fournit pas d'explicabilité pour ses jugements de similarité.
text-embedding-3-large surpasse significativement l'ancien modèle ada-002 sur le benchmark MTEB, en particulier pour les tâches nécessitant une distinction fine. Le nouveau modèle introduit également le paramètre `dimensions`, permettant de réduire la taille des vecteurs sans réentraînement. Le prix est légèrement plus élevé (0,13 $ contre 0,10 $ pour 1 million de tokens pour ada-002), mais l'amélioration de la précision justifie souvent le coût pour des scénarios de recherche à enjeux élevés. Pour des cas d'utilisation simples, ada-002 reste une alternative viable à moindre coût.
Le prix est de 0,13 $ par million de jetons d’entrée, facturé au tarif du fournisseur sans marge. Les jetons de sortie sont également à 0,13 $ pour 1M de jetons, bien que pour les modèles d’embedding, les jetons de sortie soient négligeables car le modèle renvoie un vecteur. Les jetons d’entrée incluent le texte que vous envoyez. Il n’y a pas de frais supplémentaires pour l’utilisation de l’API d’OrcaRouter. Cela rend le coût total exactement ce que OpenAI facture, sans frais cachés ni supplément pour les limites de débit.
Le tarif de 0,13 $ par million de tokens est le prix standard du fournisseur. OrcaRouter n'offre pas de remises sur le prix du fournisseur. Cependant, l'utilisation de dimensions de sortie plus petites (par exemple, 1024) n'affecte pas le nombre de tokens — vous payez par token d'entrée quelle que soit la dimension. Pour les utilisateurs à très haut volume, OpenAI peut offrir des remises pour utilisation engagée via des accords personnalisés, dont vous pouvez profiter de manière indépendante.
OrcaRouter ne met pas en cache les réponses d'embedding. Chaque requête est transmise au fournisseur en temps réel et facturée en conséquence. Si vous intégrez des textes identiques à plusieurs reprises, vous serez facturé à chaque fois. Pour réduire les coûts, implémentez votre propre couche de cache côté client, en stockant les embeddings pour les requêtes fréquentes. Cela est particulièrement efficace pour les jeux de données statiques comme les descriptions de produits ou le contenu FAQ.
OrcaRouter transmet les requêtes au fournisseur sans limitation artificielle, mais le fournisseur impose ses propres limites de débit. Pour text-embedding-3-large, les limites typiques sont d'environ 3000 à 5000 requêtes par minute pour le niveau standard. Vous pouvez augmenter ces limites en contactant directement OpenAI. OrcaRouter réessaie automatiquement en cas d'erreur 429, mais des tentatives excessives peuvent engendrer des coûts supplémentaires. Surveillez votre utilisation pour rester dans les limites.
Envoyez une requête POST à https://api.orcarouter.ai/v1/embeddings avec le paramètre model défini sur "openai/text-embedding-3-large". Incluez une chaîne d'entrée ou un tableau de chaînes. Vous pouvez éventuellement définir le paramètre `dimensions` sur une valeur comprise entre 256 et 3072. Vous pouvez fournir une clé API utilisateur dans l'en-tête Authorization (jeton Bearer). La réponse suit la même structure que l'API Embeddings d'OpenAI, contenant une liste d'objets avec les embeddings et les comptes de jetons d'utilisation.
Les paramètres primaires sont `model` (obligatoire : "openai/text-embedding-3-large"), `input` (une chaîne ou un tableau de chaînes, jusqu'à 8192 tokens chacun) et `dimensions` (entier, facultatif, par défaut 3072). OrcaRouter prend également en charge le paramètre `user` pour le suivi de l'utilisation par utilisateur final. D'autres paramètres de l'API OpenAI Embeddings, comme `encoding_format` (float ou base64), sont pris en charge. Reportez-vous à la documentation d'OpenAI pour l'ensemble complet.
Changez l'URL de base de https://api.openai.com/v1 à https://api.orcarouter.ai/v1 et mettez à jour l'ID du modèle de "text-embedding-3-large" à "openai/text-embedding-3-large". Votre code existant utilisant le client Python OpenAI ou la bibliothèque HTTP devrait fonctionner sans autres modifications. L'API d'OrcaRouter est entièrement compatible, donc aucune modification du format du corps de la requête n'est nécessaire. Assurez-vous de disposer d'une clé API OrcaRouter.
Oui. Passez un tableau de chaînes de caractères en tant que paramètre `input`. L'API renverra un tableau d'embeddings dans le même ordre. C'est plus efficace que d'envoyer des requêtes individuelles en raison d'une surcharge réduite. Pour un débit optimal, regroupez les textes de longueur similaire afin de réduire les temps d'inactivité. Le modèle prend en charge jusqu'à 2048 chaînes par lot (vérifiez les limites du fournisseur) et le nombre total de tokens d'entrée dans le lot ne doit pas dépasser 2 048 000 tokens par minute.
La petite variante n'utilise que 512 dimensions et coûte 0,02 $ pour 1 million de tokens, soit environ 6,5× moins cher. Elle est plus rapide et plus économe en stockage, mais sacrifie la précision, en particulier sur les tâches sémantiques fines. Pour un clustering simple ou une recherche basée sur la similarité au niveau des sujets, le petit modèle peut suffire. text-embedding-3-large est recommandé pour la récupération à enjeux élevés où le rappel est le plus important.
all-MiniLM-L6-v2 est un modèle gratuit hébergé localement avec 384 dimensions et une grande vitesse. Il fonctionne bien sur de nombreuses tâches mais ne peut pas égaler text-embedding-3-large sur des benchmarks complexes comme MTEB. Le compromis se fait entre coût et qualité : les modèles open-source ont un coût nul par jeton mais nécessitent du matériel de calcul. text-embedding-3-large offre une précision supérieure tandis que le coût de 0,13 $/M de jetons peut être justifié pour les systèmes de production où la qualité de la récupération est une priorité.
Les modèles embed-v3 de Cohere prennent également en charge des dimensions variables et des capacités multilingues. Ils sont comparables sur les benchmarks anglais, mais peuvent mieux gérer les textes non anglais. Les prix sont similaires (environ 0,10 à 0,15 $ pour 1 million de tokens). Le choix dépend souvent de la préférence d'écosystème et des exigences multilingues spécifiques. text-embedding-3-large dispose d'une fenêtre de contexte plus grande (8192 contre 512 pour Cohere) et est mieux intégré aux outils OpenAI.
Envisagez des alternatives si votre cas d'utilisation nécessite une prise en charge multilingue au-delà de l'anglais, un déploiement sur site pour la confidentialité des données, ou une latence extrêmement faible à haut débit. Pour des tâches comme la génération de texte, utilisez GPT-4. Pour les embeddings texte-image, utilisez CLIP ou des modèles multimodaux. text-embedding-3-large est un encodeur anglais généraliste ; si votre domaine est hautement spécialisé, explorez des modèles open-source affinés.
Compatible OpenAI — gardez votre SDK actuel
https://api.orcarouter.ai/v1dimensionsencoding_format| Entrée / 1M tokens | $0.130 |
|---|---|
| Sortie / 1M tokens | $0.130 |
| Devise | USD |
Estimation basée sur le tarif public
Estimation seulement — le nombre réel de tokens dépend du tokeniseur du fournisseur.
Ce dont parlent les développeurs cette semaine
GET /api/public/models/openai/text-embedding-3-largeOuvrir @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large