OpenAI's gpt-3.5-turbo-1106 über OrcaRouter: 16K Kontext, 46.2 MMLU-Pro, $1/$2 pro 1M Token, Nullaufschlag-Preise.
gpt-3.5-turbo-1106 ist ein spezifischer Snapshot von OpenAIs GPT-3.5 Turbo Modell, der im November 2023 veröffentlicht wurde. Es handelt sich um ein reines Textmodell, das heißt, es akzeptiert und…
Dieses Modell eignet sich hervorragend für allgemeine Textgenerierungsaufgaben: Beantworten von Fragen, Führen von Dialogen, Zusammenfassen von Dokumenten, Übersetzen von Texten, Erstellen von kreativen Texten und Bereitstellen von Erklärungen. Es unterstützt Funktionsaufrufe, sodass es strukturierte Daten ausgeben und basierend auf bereitgestellten Funktionsschemata mit externen Tools oder APIs interagieren kann. Es kann auch mehrteilige Unterhaltungen mit einem Kontextfenster von bis zu 16K Token verarbeiten. Für Aufgaben, die eine hohe Genauigkeit bei faktenbasierten Abfragen, Codegenerierung oder strukturiertem Denken erfordern, schneidet es gut ab, kann aber gelegentlich weniger präzise Ergebnisse liefern als größere Modelle.
Funktionsaufruf in gpt-3.5-turbo-1106 ermöglicht es dem Modell, strukturierte JSON-Ausgaben auf der Grundlage von Funktionsdefinitionen zu generieren, die Sie in der Anfrage bereitstellen. Wenn Sie eine Liste von Funktionen mit Namen, Beschreibungen und Parameterschemata angeben, kann das Modell entscheiden, eine oder mehrere Funktionen aufzurufen, indem es ein function_call-Objekt zurückgibt. Dies ist nützlich für die Entwicklung von Agenten, die Datenbanken abfragen, APIs aufrufen oder Aktionen ausführen müssen. Diese Funktion wurde im 1106-Snapshot im Vergleich zu früheren Versionen verbessert, was sie zuverlässiger macht und die Redundanz der Werkzeugnutzung reduziert. OrcaRouter unterstützt alle OpenAI-kompatiblen Parameter für den Funktionsaufruf.
Wenn Ihr Anwendungsfall sehr einfache Aufgaben mit sehr hohem Volumen umfasst, könnten Sie ein noch günstigeres Modell wie gpt-3.5-turbo-0125 (gleicher Preis, aber neuer) oder kleinere Open-Source-Modelle, die über OrcaRouter angeboten werden, in Betracht ziehen. Wenn Sie hingegen deutlich bessere Schlussfolgerungsfähigkeiten, Faktentreue, multimodale Eingaben (Bilder, Audio) oder ein größeres Kontextfenster (128K Token) benötigen, sollten Sie auf gpt-4o oder gpt-4-turbo upgraden. gpt-3.5-turbo-1106 ist eine ausgewogene Wahl für die meisten rein textbasierten Anwendungen, bei denen die Kosten pro Token im Vordergrund stehen.
MMLU-Pro ist eine Variante des Massive Multitask Language Understanding-Benchmarks, die 57 Fachgebiete mit einem anspruchsvolleren Fragensatz umfasst. Ein Ergebnis von 46,2 bedeutet, dass das Modell 46,2 % der Testfragen korrekt beantwortet hat. Dies ist ein moderater Wert, der das allgemeine Wissen des Modells in verschiedenen Bereichen widerspiegelt. Zum Vergleich: Größere Modelle wie GPT-4 erzielen bei ähnlichen Benchmarks in der Regel Werte über 80. Dieser Wert hilft, die Erwartungen einzuordnen: gpt-3.5-turbo-1106 ist leistungsfähig, aber nicht auf dem neuesten Stand für tiefgründiges Denken oder spezialisiertes Wissen.
Für dieses Modell werden keine anderen Benchmark-Ergebnisse bereitgestellt, aber öffentlich verfügbare Informationen zeigen, dass gpt-3.5-turbo-1106 in Aufgaben wie MMLU, HumanEval (Code-Generierung) und Zusammenfassungen im Vergleich zu seiner Größenklasse stark abschneidet. Es gilt allgemein als eines der leistungsfähigsten Modelle mit offenen Gewichten für seine Kostenklasse. Benutzer sollten gute Leistung bei allgemeinen NLP-Aufgaben erwarten, aber anerkennen, dass es bei komplexem Denken, Mathematik und mehrstufigen Anweisungen hinter GPT-4 zurückbleiben kann. Hinsichtlich faktischer Konsistenz kann das Modell plausible, aber falsche Antworten produzieren, daher wird bei kritischen Anwendungen eine Überprüfung empfohlen.
Spezifische Latenzzahlen werden nicht bereitgestellt. Als reines Textmodell mit relativ geringer Parameteranzahl (im Vergleich zu GPT-4) bietet gpt-3.5-turbo-1106 jedoch in der Regel eine niedrige Latenz und schließt kurze Antworten bei moderater Last oft in unter einer Sekunde ab. Der Durchsatz kann hoch sein, was es in Kombination mit Streaming für Echtzeitanwendungen geeignet macht. Die Infrastruktur von OrcaRouter gewährleistet eine zuverlässige Verbindung zu den Endpunkten von OpenAI. Für die genauesten Erwartungen an die Latenz sollten Benutzer ihre eigenen Anwendungsfälle mit der OrcaRouter-API benchmarken.
Zu den wichtigsten Einschränkungen gehören: eine maximale Ausgabe von 4096 Token, die die Generierungslänge einschränkt; keine multimodalen Fähigkeiten (kann keine Bilder oder Audio verarbeiten); eine Tendenz, bei obskuren Fakten zu halluzinieren; und eine begrenzte Argumentationstiefe für komplexe Probleme. Das 16K-Kontextfenster des Modells ist zwar großzügig, aber kleiner als einige Alternativen (z. B. 128K). Es hat auch einen niedrigeren Wissensstand als spätere Snapshots (Januar 2023). Bei adversariellen oder mehrdeutigen Aufforderungen kann es voreingenommene oder unsichere Ausgaben produzieren. Entwickler sollten angemessene Schutzmaßnahmen und menschliche Aufsicht für den Produktionseinsatz implementieren.
Die Preisgestaltung für openai/gpt-3.5-turbo-1106 über OrcaRouter erfolgt zum Anbieterpreis ohne Aufschlag. Insbesondere kosten Eingabe-Token $1,00 pro 1 Million Token und Ausgabe-Token $2,00 pro 1 Million Token. Dies gilt für alle Anfragen, einschließlich Streaming. Es fallen keine zusätzlichen Plattformgebühren an. Die Gebühren werden auf der Grundlage der Anzahl der Token in der Eingabeaufforderung (Input) und der generierten Antwort (Output) berechnet. Sowohl zwischengespeicherte als auch nicht zwischengespeicherte Anfragen werden zum gleichen Satz abgerechnet. Sie können die Nutzung über das OrcaRouter-Dashboard verfolgen.
Bei Anwendungen, die viele kurze Interaktionen erfordern (z. B. Chatbot-Gespräche), sind die Kosten pro Nachricht niedrig, da jede Anfrage nur wenige Tokens verbraucht. Bei Aufgaben, die lange Prompts oder lange Antworten erzeugen, skalieren die Kosten linear mit der Token-Anzahl. Im Vergleich zu GPT-4 (das 10- bis 30-mal teurer sein kann) ist gpt-3.5-turbo-1106 für große Mengen wirtschaftlich. Wenn eine Aufgabe jedoch mit weniger Tokens und einem günstigeren Modell gelöst werden kann, kann dies sogar noch kosteneffizienter sein. OrcaRouter's Preisgestaltung ohne Aufschlag stellt sicher, dass Sie nur das bezahlen, was OpenAI verlangt.
Für dieses Modell werden auf OrcaRouter keine spezifischen Caching- oder Rabattprogramme genannt. Alle Anfragen werden zum Standard-Provider-Tarif abgerechnet. Einige Plattformen bieten Prompt-Caching an, um Kosten für wiederholte Eingaben zu senken, aber die Dokumentation von OrcaRouter weist für dieses Modell auf keine derartige Funktion hin. Benutzer sollten ihren Token-Verbrauch entsprechend planen. Bei sehr hohem Volumen kann es sich lohnen, OrcaRouter direkt zu kontaktieren und nach Mengenrabatten zu fragen, auch wenn keine beworben werden. Die Preisgestaltung ohne Aufschlag bietet bereits eine transparente Kostenbasis.
Um eine Anfrage zu stellen, senden Sie eine POST-Anfrage an https://api.orcarouter.ai/v1/chat/completions mit einem JSON-Textkörper, der das Feld model auf 'openai/gpt-3.5-turbo-1106' gesetzt enthält, sowie ein messages-Array (mit role und content). Fügen Sie Ihren OrcaRouter-API-Schlüssel im Authorization-Header hinzu (Bearer <key>). Optionale Parameter sind temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream und functions. Die Antwort folgt dem OpenAI-Chat-Completion-Format. Beispiel mit der Python-openai-Bibliothek: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Dieses Modell unterstützt dieselben Parameter wie OpenAIs gpt-3.5-turbo-1106. Zu den wichtigsten Parametern gehören: messages (erforderliches Array von Objekten mit role, content, optional name), max_tokens (Standard unendlich, aber auf 4096 begrenzt), temperature (0-2, Standard 1), top_p (0-1, Standard 1), n (Anzahl der Auswahlmöglichkeiten, Standard 1), stream (boolesch), stop (Zeichenkette oder Array mit bis zu 4 Zeichenketten), presence_penalty (-2 bis 2), frequency_penalty (-2 bis 2), logit_bias (Zuordnung von Token-IDs zu Bias), user (Zeichenkette zur Identifizierung des Endbenutzers), functions (Array von Funktionsobjekten), function_call (auto/none oder spezifische Funktion). Alle werden über OrcaRouter unterstützt.
Für die Migration sind nur zwei Änderungen an Ihrem bestehenden OpenAI-basierten Code erforderlich. Ändern Sie zunächst die Basis-URL von https://api.openai.com/v1 auf https://api.orcarouter.ai/v1. Ersetzen Sie dann Ihren OpenAI-API-Schlüssel durch einen OrcaRouter-API-Schlüssel. Die Anfrage- und Antwortformate sind identisch, sodass keine Änderungen an der Payload-Struktur erforderlich sind. Nachdem Sie diese beiden Einstellungen aktualisiert haben, funktionieren alle vorhandenen Logiken für Chat-Completions, Function Calling und Streaming weiterhin. Sie können auch dieselben OpenAI-Client-Bibliotheken (z. B. Python openai, Node.js openai) verwenden, indem Sie die neue base_url und den neuen api_key übergeben.
OrcaRouter gibt standardmäßige HTTP-Statuscodes und Fehlermeldungen zurück, die mit der API von OpenAI kompatibel sind. Häufige Fehler: 401 (nicht autorisiert), 429 (Ratenlimit überschritten), 500 (Serverfehler). Ratenlimits werden von OrcaRouter basierend auf Ihrem Plan durchgesetzt; Einzelheiten finden Sie in der OrcaRouter-Dokumentation. Da das zugrunde liegende Modell von OpenAI gehostet wird, werden Fehler des Anbieters transparent weitergegeben (z.B. 400 bei ungültigen Parametern, 503 bei Überlastung). Es wird empfohlen, exponentielles Backoff für 429- und 5xx-Fehler zu implementieren. Streaming-Fehler werden durch einen abgeschnittenen Stream signalisiert; achten Sie auf finish_reason im letzten Chunk.
Der 0125 Snapshot ist eine neuere Version von GPT-3.5 Turbo, veröffentlicht im Januar 2025. Er bietet die gleiche Preisgestaltung und Text-only-Modalität, beinhaltet jedoch einen aktuelleren Wissensstand und möglicherweise verbesserte Konsistenz und faktische Genauigkeit. Beide Modelle teilen sich den gleichen 16K-Kontextfenster und 4K-Ausgabelimit. gpt-3.5-turbo-0125 wird aufgrund seiner Aktualität allgemein gegenüber der 1106-Version für neue Projekte empfohlen, aber der 1106 Snapshot bleibt aus Kompatibilitätsgründen verfügbar. Es werden keine Benchmark-Ergebnisse für eines der Modelle angegeben, außer 46.2 MMLU-Pro für 1106; Benutzer können beide für ihren spezifischen Anwendungsfall testen.
gpt-4o ist das leistungsfähigere Modell von OpenAI, das Text-, Bild- und Audioeingaben unterstützt und einen 128K-Kontextfenster sowie maximal 16K Ausgabetoken bietet. Es erzielt deutlich höhere Ergebnisse bei Reasoning-Benchmarks und ist zuverlässiger für komplexe Aufgaben. Allerdings ist es wesentlich teurer: ungefähr das 10- bis 15-fache der Kosten pro Token von gpt-3.5-turbo-1106. Für Anwendungen, bei denen hohe Genauigkeit und Multimodalität nicht erforderlich sind, bietet gpt-3.5-turbo-1106 eine bessere Kosteneffizienz. Wenn Sie die erweiterten Fähigkeiten benötigen, ist ein Upgrade auf gpt-4o über OrcaRouter unkompliziert, indem Sie die Modell-ID auf 'openai/gpt-4o' ändern.
Vergleichbare Modelle anderer Anbieter umfassen Anthropic's Claude 3 Haiku (nur Text, ähnliche Geschwindigkeit und Kosten) und Google's Gemini 1.5 Flash. Jedes hat unterschiedliche API-Formate, kann jedoch über OrcaRouter erreicht werden. gpt-3.5-turbo-1106 ist weit verbreitet und in viele Tools integriert. Der Support für Funktionsaufrufe ist ausgereift. Allerdings bieten Modelle wie Claude 3 Haiku möglicherweise größere Kontextfenster (200K) zu ähnlichen Preisen, während Gemini 1.5 Flash multimodale Fähigkeiten bietet. Die Wahl hängt von der Ökosystemkompatibilität, der spezifischen Benchmark-Leistung und den Latenzanforderungen ab. OrcaRouter ermöglicht es Ihnen, verschiedene Modelle unter demselben API-Format auszuprobieren.
Wählen Sie gpt-3.5-turbo-1106, wenn Sie ein zuverlässiges, kosteneffizientes Textmodell benötigen, das weitgehend mit vorhandenen Tools kompatibel ist und Funktionsaufrufe unterstützt. Es ist ideal für Anwendungen mit hohem Volumen, bei denen jede Anfrage relativ kurz ist und keine tiefgehende Argumentation erfordert. Vermeiden Sie es, wenn Sie multimodale Eingaben, ein größeres Kontextfenster oder eine höhere faktische Genauigkeit bei komplexen Themen benötigen. Wenn Sie den aktuellsten Wissensstand benötigen, bevorzugen Sie gpt-3.5-turbo-0125. Für höchste Leistung wählen Sie gpt-4o. Der Modellkatalog von OrcaRouter ermöglicht einfaches Wechseln zwischen diesen Optionen ohne Codeänderungen.
OpenAI-kompatibel — behalte dein bisheriges SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Eingabe / 1M Tokens | $1.00 |
| Ausgabe / 1M Tokens | $2.00 |
| Währung | USD |
Schätzung auf Basis des Listenpreises
Nur eine Schätzung — die tatsächliche Token-Anzahl hängt vom Tokenizer des Anbieters ab.
GET /api/public/models/openai/gpt-3.5-turbo-1106Öffnen @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106