Hochwertige Text-Embeddings über OrcaRouter zu $0,13/M Tokens, null Aufschlag, bis zu 3072 Dimensionen.
OpenAI text-embedding-3-large ist ein groß angelegtes Einbettungsmodell aus der dritten Generation von OpenAIs Text-Einbettungsreihe. Es wandelt Texteingaben in dichte Vektordarstellungen um, die…
text-embedding-3-large zeichnet sich durch semantische Ähnlichkeit, Textklassifikation, Clustering und Informationsabruf aus. Seine hochdimensionale Ausgabe ermöglicht eine feinkörnige Unterscheidung zwischen ähnlichen Texten. Es ist eine beliebte Wahl für den Aufbau von Vektordatenbanken für RAG, bei dem die Abfragequalität von der Einbettungsgenauigkeit abhängt. Das Modell liefert auch gute Ergebnisse bei Aufgaben des natürlichen Sprachverständnisses und der Erkennung von Duplikaten. Es ist jedoch nicht für generative Aufgaben wie Textvervollständigung oder Dialoge konzipiert – verwenden Sie dafür GPT-4 oder andere Sprachmodelle.
Das Modell kann Embeddings mit Dimensionen zwischen 256 und 3072 ausgeben. Die Dimension wird über den Parameter `dimensions` in der API-Anfrage festgelegt. Die Verwendung einer niedrigeren Dimension reduziert Speicher und nachgelagerte Berechnungen, kann jedoch etwas an semantischer Genauigkeit verlieren. Die Standarddimension ist 3072, die die höchste Unterscheidungskraft bietet. Es werden keine Dimensionen außerhalb dieses Bereichs unterstützt. Für die meisten Abrufaufgaben ist eine Dimension von 1024 bis 2048 ein guter Kompromiss zwischen Genauigkeit und Kosten.
Wenn Ihre Anwendung latenzempfindlich ist oder Sie Milliarden von Texten einbetten, können sich die Kosten von $0,13 pro 1 M Token summieren. Ziehen Sie text-embedding-3-small ($0,02/M Token) oder Open-Source-Modelle wie BERT-basierte Embeddings für kleinere Budgets in Betracht. text-embedding-3-large ist am besten geeignet, wenn die Retrieval-Genauigkeit von größter Bedeutung ist, z. B. in juristischen, medizinischen oder wissenschaftlichen Suchanwendungen, bei denen das Übersehen eines relevanten Dokuments schwerwiegende Folgen hat.
OpenAI bietet derzeit kein Feintuning für die text-embedding-3-Serie an. Das Modell wird als fester Encoder verwendet. Um es an eine bestimmte Domäne anzupassen, können Sie Retrieval-Augmentation-Strategien anwenden, z. B. das Hinzufügen domänenspezifischer Passagen zu Ihrer Vektordatenbank. Alternativ können Sie die Embeddings als Merkmale für einen nachgelagerten Klassifikator verwenden, der auf Ihren gekennzeichneten Daten trainiert wird. Dieser Workflow ist in Unternehmensumgebungen üblich.
text-embedding-3-large erzielt beim Massive Text Embedding Benchmark (MTEB) bei Aufgaben wie Clustering, Klassifikation und Neuanordnung modernste Ergebnisse. Obwohl hier keine genauen Punktzahlen angegeben werden, platziert sich das Modell durchgängig in den oberen Rängen der öffentlich verfügbaren Embedding-Modelle. Die 3072-Dimensionen-Version bietet die höchste Genauigkeit, während niedrigere Dimensionen einen geringen Leistungsabfall zugunsten reduzierter Speicher- und Rechenanforderungen in Kauf nehmen. Es übertrifft seinen Vorgänger text-embedding-ada-002 bei den meisten Aufgaben.
Die Latenz hängt von der Anzahl der Eingabe-Token und der Modelllast ab. Bei einem einzelnen kurzen Text (unter 100 Token) antwortet das Modell über OrcaRouter normalerweise in unter 200 ms. Längere Texte (8000 Token) können 1–2 Sekunden dauern. Parallelität und Batch-Größe beeinflussen den Durchsatz – gebatchete Anfragen (mehrere Texte in einem API-Aufruf) können einen höheren Durchsatz erzielen. OrcaRouter fügt keine zusätzliche Latenz über die Antwortzeit des Anbieters hinaus hinzu.
Das Modell ist nicht für mehrsprachige Unterstützung über Englisch hinaus ausgelegt (obwohl es einige andere Sprachen verarbeitet, ist die Leistung geringer). Es verfügt auch nicht über eine integrierte Befehlsbefolgung – es ist streng genommen ein Encoder. Der Token-Limit von 8192 bedeutet, dass extrem lange Dokumente in Stücke aufgeteilt werden müssen. Darüber hinaus können Einbettungen demografische Verzerrungen aus den Trainingsdaten kodieren, daher sollten nachgelagerte Anwendungen auf Fairness getestet werden. Schließlich bietet es keine Erklärbarkeit für seine Ähnlichkeitsurteile.
text-embedding-3-large übertrifft das ältere ada-002-Modell deutlich im MTEB-Benchmark, insbesondere bei Aufgaben, die eine feinkörnige Unterscheidung erfordern. Das neuere Modell führt auch den Parameter `dimensions` ein, der eine reduzierte Vektorgröße ohne erneutes Training ermöglicht. Die Preisgestaltung ist etwas höher ($0.13 vs. $0.10 pro 1M Token für ada-002), aber die Verbesserung der Genauigkeit rechtfertigt oft die Kosten für risikoreiche Abrufszenarien. Für einfache Anwendungsfälle bleibt ada-002 eine praktikable, kostengünstigere Alternative.
Die Preisgestaltung beträgt 0,13 $ pro 1 Million Input-Token, abgerechnet zum Anbietertarif ohne Aufschlag. Output-Token kosten ebenfalls 0,13 $ pro 1 Million Token, wobei bei Embedding-Modellen die Output-Token vernachlässigbar sind, da das Modell einen Vektor zurückgibt. Input-Token umfassen den von Ihnen gesendeten Text. Für die Nutzung der OrcaRouter-API fallen keine zusätzlichen Gebühren an. Somit entsprechen die Gesamtkosten exakt dem, was OpenAI verlangt, ohne versteckte Kosten oder Aufschläge für Ratenbegrenzungen.
Der Satz von 0,13 $ pro 1 Mio. Token ist der Standardpreis des Anbieters. OrcaRouter gewährt keine Rabatte auf die Anbieterpreise. Die Verwendung kleinerer Ausgabedimensionen (z. B. 1024) hat jedoch keinen Einfluss auf die Token-Anzahl – Sie zahlen pro Eingabe-Token unabhängig von der Dimension. Für Nutzer mit sehr hohem Volumen bietet OpenAI möglicherweise Rabatte für gebundene Nutzung durch individuelle Vereinbarungen an, die Sie unabhängig nutzen können.
OrcaRouter speichert keine Embedding-Antworten zwischen. Jede Anfrage wird in Echtzeit an den Anbieter weitergeleitet und entsprechend abgerechnet. Wenn Sie wiederholt identische Texte embedden, wird jedes Mal eine Gebühr fällig. Um Kosten zu sparen, implementieren Sie eine eigene Caching-Schicht auf der Clientseite und speichern Sie Embeddings für häufige Abfragen. Dies ist besonders effektiv für statische Datensätze wie Produktbeschreibungen oder FAQ-Inhalte.
OrcaRouter leitet Anfragen ohne künstliche Drosselung an den Anbieter weiter, aber der Anbieter setzt eigene Ratenbegrenzungen durch. Für text-embedding-3-large liegen die typischen Grenzwerte bei etwa 3000–5000 Anfragen pro Minute für die Standardstufe. Sie können die Grenzwerte erhöhen, indem Sie sich direkt an OpenAI wenden. OrcaRouter wiederholt Anfragen bei 429-Fehlern automatisch, aber übermäßige Wiederholungen könnten zusätzliche Kosten verursachen. Überwachen Sie Ihre Nutzung, um innerhalb der Grenzwerte zu bleiben.
Senden Sie eine POST-Anfrage an https://api.orcarouter.ai/v1/embeddings mit dem Modellparameter "openai/text-embedding-3-large". Fügen Sie einen Eingabestring oder ein Array von Strings hinzu. Optional können Sie den Parameter `dimensions` auf einen Wert zwischen 256 und 3072 setzen. Sie können einen Benutzer-API-Schlüssel im Authorization-Header (Bearer-Token) angeben. Die Antwort folgt derselben Struktur wie die Embeddings-API von OpenAI und enthält eine Objektliste mit Embeddings und Nutzungs-Token-Zahlen.
Die primären Parameter sind `model` (erforderlich: "openai/text-embedding-3-large"), `input` (ein String oder ein Array von Strings, jeweils bis zu 8192 Token) und `dimensions` (Integer, optional, Standardwert 3072). OrcaRouter unterstützt auch den Parameter `user` zur Verfolgung der Nutzung pro Endbenutzer. Andere Parameter der OpenAI Embeddings API wie `encoding_format` (Float oder base64) werden unterstützt. Die vollständige Liste finden Sie in der OpenAI-Dokumentation.
Ändere die Basis-URL von https://api.openai.com/v1 zu https://api.orcarouter.ai/v1 und aktualisiere die Modell-ID von „text-embedding-3-large" auf „openai/text-embedding-3-large". Dein vorhandener Code, der den OpenAI Python Client oder eine HTTP-Bibliothek verwendet, sollte ohne weitere Änderungen funktionieren. Die API von OrcaRouter ist vollständig kompatibel, sodass keine Änderungen am Format des Anfragebody erforderlich sind. Stelle sicher, dass du einen OrcaRouter-API-Schlüssel hast.
Ja. Übergeben Sie ein Array von Zeichenfolgen als Parameter `input`. Die API gibt ein Array von Embeddings in derselben Reihenfolge zurück. Dies ist effizienter als das Senden einzelner Anfragen, da der Overhead geringer ist. Für einen optimalen Durchsatz bündeln Sie Texte ähnlicher Länge, um Leerlaufzeiten zu reduzieren. Das Modell unterstützt bis zu 2048 Zeichenfolgen pro Batch (überprüfen Sie die Provider-Grenzen), und die Gesamtzahl der Eingabe-Tokens über den Batch darf 2048000 Tokens pro Minute nicht überschreiten.
Die kleine Variante verwendet nur 512 Dimensionen und kostet 0,02 $ pro 1M Tokens – etwa 6,5× günstiger. Sie ist schneller und speichereffizienter, opfert jedoch Genauigkeit, insbesondere bei feinkörnigen semantischen Aufgaben. Für einfaches Clustering oder Suchen auf Themenebene kann das kleine Modell ausreichen. Für hochriskante Abrufe, bei denen es auf den Recall ankommt, wird text-embedding-3-large empfohlen.
all-MiniLM-L6-v2 ist ein kostenloses, lokal gehostetes Modell mit 384 Dimensionen und hoher Geschwindigkeit. Es schneidet bei vielen Aufgaben gut ab, bleibt jedoch bei komplexen Benchmarks wie MTEB hinter text-embedding-3-large zurück. Der Kompromiss besteht zwischen Kosten und Qualität: Open-Source-Modelle verursachen keine Kosten pro Token, erfordern aber Rechenhardware. text-embedding-3-large bietet überlegene Genauigkeit, während die Kosten von 0,13 $/M Tokens für Produktionssysteme, bei denen die Retrieval-Qualität Priorität hat, gerechtfertigt sein können.
Coheres embed-v3 Modelle unterstützen ebenfalls variable Dimensionen und mehrsprachige Fähigkeiten. Sie sind bei englischen Benchmarks vergleichbar, können jedoch nicht-englische Texte besser verarbeiten. Die Preise sind ähnlich (etwa $0,10–0,15 pro 1 Mio. Tokens). Die Wahl hängt oft von der Präferenz des Ökosystems und spezifischen mehrsprachigen Anforderungen ab. text-embedding-3-large hat ein größeres Kontextfenster (8192 vs. 512 bei Cohere) und ist besser in OpenAI-Tools integriert.
Ziehen Sie Alternativen in Betracht, wenn Ihr Anwendungsfall mehrsprachige Unterstützung über Englisch hinaus erfordert, eine lokale Bereitstellung aus Datenschutzgründen nötig macht oder extrem niedrige Latenz bei hohem Durchsatz verlangt. Verwenden Sie für Aufgaben wie Textgenerierung GPT-4. Für Bild-Text-Embeddings verwenden Sie CLIP oder multimodale Modelle. text-embedding-3-large ist ein Allzweck-Encoder für Englisch; wenn Ihr Bereich hochspezialisiert ist, erkunden Sie feinabgestimmte Open-Source-Modelle.
OpenAI-kompatibel — behalte dein bisheriges SDK
https://api.orcarouter.ai/v1dimensionsencoding_format| Eingabe / 1M Tokens | $0.130 |
|---|---|
| Ausgabe / 1M Tokens | $0.130 |
| Währung | USD |
Schätzung auf Basis des Listenpreises
Nur eine Schätzung — die tatsächliche Token-Anzahl hängt vom Tokenizer des Anbieters ab.
Worüber Entwickler diese Woche sprechen
GET /api/public/models/openai/text-embedding-3-largeÖffnen @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large