Opłacalny model osadzania tekstu od OpenAI, idealny do wyszukiwania semantycznego i grupowania, dostępny przez OrcaRouter z zerową marżą.
openai/text-embedding-3-small to model osadzeń (embedding) wydany przez OpenAI w styczniu 2024 roku. Generuje wektorowe reprezentacje tekstu, które oddają znaczenie semantyczne, umożliwiając…
Model ten sprawdza się doskonale w zadaniach wymagających uchwycenia ogólnego znaczenia, a nie szczegółowych niuansów. Jest szeroko stosowany do wyszukiwania semantycznego, w którym zapytania są osadzane i dopasowywane do zbioru osadzeń dokumentów. Sprawdza się również w klastrowaniu – grupowaniu podobnych tekstów bez wyraźnych etykiet – oraz w klasyfikacji, gdy osadzenia są podawane do klasyfikatora liniowego. W potokach generowania wspomaganego wyszukiwaniem (RAG) efektywnie koduje zarówno zapytania, jak i dokumenty, umożliwiając szybkie wyszukiwanie oparte na podobieństwie. Jego kontekst liczący 8192 tokeny pozwala na przetwarzanie dłuższych fragmentów, takich jak abstrakty badawcze czy opinie klientów, w ramach pojedynczego wywołania osadzenia.
Jeśli Twój przypadek użycia obejmuje bardzo krótkie teksty (np. pojedyncze słowa lub frazy) albo priorytetyzujesz szybkość nad dokładnością, możesz rozważyć jeszcze lżejsze modele od innych dostawców dostępne na OrcaRouter, takie jak te o niższej wymiarowości lub wyspecjalizowane dla konkretnych języków. Dodatkowo, jeśli Twoje zadanie jest bardzo ogólne – na przykład rozróżnianie jedynie kilku szerokich kategorii – prostszy model może wystarczyć. Jednak openai/text-embedding-3-small to już jedna z najbardziej przystępnych cenowo opcji od OpenAI. W przypadku aplikacji, gdzie jakość osadzania bezpośrednio wpływa na wydajność końcową (np. ranking w wyszukiwaniu), niewielki dodatkowy koszt często uzasadnia lepsze wyniki w porównaniu z darmowymi alternatywami.
OpenAI's text-embedding-3-small wykazało się silnymi możliwościami międzyjęzykowymi, osiągając dobre wyniki w wielojęzycznych benchmarkach, takich jak podzbiory wielojęzyczne MTEB. Może ono osadzać tekst w dziesiątkach języków i generować porównywalne wektory dla podobnych treści w różnych językach. Dzięki temu jest przydatne w globalnych zastosowaniach, takich jak międzynarodowe rekomendacje produktów czy routing wielojęzycznych zgłoszeń wsparcia. Jednak w wyspecjalizowanych domenach (np. prawniczej, medycznej, kodów) model embeddingów dostosowany do danej dziedziny może zapewnić wyższą dokładność. Jeśli Twoje dane są bardzo techniczne, warto porównać ten model z alternatywami, aby zagwarantować optymalną wydajność.
Zgodnie z publicznie dostępnymi wynikami, model openai/text-embedding-3-small osiąga średni wynik około 62% w benchmarku MTEB (Massive Text Embedding Benchmark). Odzwierciedla to solidną wydajność w różnych zadaniach, takich jak klasyfikacja, grupowanie, klasyfikacja par oraz ponowne szeregowanie. Choć ustępuje większemu modelowi text-embedding-3-large (który osiąga około 65%), jego koszt na token jest mniej więcej dziesięciokrotnie niższy niż w przypadku wariantu dużego. Wydajność modelu jest szczególnie silna w zadaniach grupowania i podobieństwa semantycznego. W zadaniach wymagających wysokiej precyzji w STS (Semantyczne podobieństwo tekstów) mały model wciąż osiąga konkurencyjne wyniki.
Opóźnienie dla żądań embeddingu zależy od długości wejścia i obciążenia współbieżnego. W OrcaRouter model jest udostępniany przez infrastrukturę OpenAI, więc typowe opóźnienia są porównywalne z bezpośrednimi wywołaniami API OpenAI. Dla pojedynczego zapytania o średniej długości (100-200 tokenów), czas odpowiedzi wynosi zazwyczaj poniżej 200 ms. Przepustowość można zwiększyć poprzez grupowanie wielu tekstów w jednym wywołaniu API. Model obsługuje przetwarzanie wsadowe, a OrcaRouter przekazuje te same parametry grupowania co API OpenAI. W przypadku obciążeń o dużej objętości niski koszt na token sprawia, że osadzenie milionów rekordów jest wykonalne bez przekraczania budżetów.
Mimo swoich zalet, model openai/text-embedding-3-small ma ograniczenia. Jego domyślny wektor o 512 wymiarach może tracić pewne niuanse w porównaniu z wariantem dużym o 1536 wymiarach, szczególnie w przypadku drobnych różnic semantycznych. Wydajność modelu w zadaniach wymagających głębokiej wiedzy dziedzinowej lub obsługi bardzo długich dokumentów (blisko 8192 tokenów) może ulec pogorszeniu, jeśli tekst jest zaszumiony lub źle zorganizowany. Ponadto, jako model ogólnego przeznaczenia, może osiągać gorsze wyniki w specjalistycznych zadaniach, takich jak wyszukiwanie kodu lub ekstrakcja pojęć biomedycznych, w porównaniu z dedykowanymi modelami. OrcaRouter zapewnia dostęp do innych modeli dla tych konkretnych potrzeb.
openai/text-embedding-3-small kosztuje $0.02 za milion tokenów wejściowych i $0.02 za milion tokenów wyjściowych. Ponieważ model generuje tylko osadzenia (tokeny wyjściowe to reprezentacja wektorowa, a nie tekst), liczba tokenów wyjściowych jest proporcjonalna do wejściowych. W praktyce płacisz zarówno za tokeny wejściowe, jak i wyjściowe według tej samej stawki. OrcaRouter przekazuje dokładną stawkę dostawcy bez żadnej marży, więc całkowity koszt wynosi dokładnie $0.02 za milion tokenów wejściowych i $0.02 za milion tokenów wyjściowych. Nie ma żadnych dodatkowych opłat platformowych ani ukrytych kosztów. To sprawia, że model ten jest jednym z najbardziej opłacalnych rozwiązań do osadzania tekstu na dużą skalę.
W porównaniu do OpenAI's text-embedding-3-large ($0.13 per 1M input tokens), mały model jest 6.5x tańszy. W przypadku wielu aplikacji spadek wydajności jest niewielki, co sprawia, że mały model jest bardziej opłacalny. W porównaniu do legacy ada-002 (obecnie wycofanego), mały model jest zarówno tańszy, jak i bardziej wydajny. Na OrcaRouter można również znaleźć modele embeddingowe firm trzecich z jeszcze niższymi cenami; jednak mogą nie oferować tej samej jakości ani zgodności z ekosystemem OpenAI. Model z zerową marżą od OrcaRouter gwarantuje, że płacisz tylko to, co zapłaciłbyś bezpośrednio, bez żadnej premii.
OrcaRouter może implementować mechanizmy buforowania w celu zmniejszenia nadmiarowych wywołań API. Jeśli wyślesz ten sam tekst wejściowy wielokrotnie, platforma może zwrócić buforowane osadzenia bez ponoszenia dodatkowych kosztów tokenów. Jednakże polityki buforowania nie są szczegółowo opisane w dostarczonych informacjach. Aby zminimalizować koszty, możesz zaimplementować własną warstwę buforowania po stronie klienta, wykorzystując zwrócone wektory osadzeń. Ponieważ koszt tokenów jest już bardzo niski, buforowanie zapewnia marginalne oszczędności, chyba że masz bardzo powtarzalne zapytania. Skontaktuj się z wsparciem OrcaRouter w celu uzyskania szczegółów na temat zachowania buforowania po stronie serwera.
Aby użyć openai/text-embedding-3-small przez OrcaRouter, ustaw podstawowy URL na https://api.orcarouter.ai/v1 i podaj identyfikator modelu jako 'openai/text-embedding-3-small'. API jest w pełni kompatybilne z endpointem osadzania OpenAI, więc możesz użyć biblioteki OpenAI w Pythonie lub dowolnego klienta HTTP z tym samym formatem żądania. Na przykład w Pythonie: `client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key'); response = client.embeddings.create(model='openai/text-embedding-3-small', input='Your text here')`. Odpowiedź zawiera wektor osadzenia oraz szczegóły użycia.
API wspiera te same parametry co endpoint embeddingów OpenAI. Wymagane: 'model' ustawiony na 'openai/text-embedding-3-small' oraz 'input' (string lub tablica stringów). Opcjonalne: 'dimensions' (liczba całkowita, 128 do 512, domyślnie 512) w celu zmniejszenia rozmiaru wektora wyjściowego. Mniejszy wymiar przyspiesza przetwarzanie końcowe i zmniejsza zużycie pamięci, zachowując większość informacji semantycznych. Parametr 'user' może być używany do limitowania szybkości na klienta. OrcaRouter akceptuje również standardowe nagłówki, takie jak Authorization i Content-Type. W przypadku żądań wsadowych przekaż tablicę stringów jako dane wejściowe; API zwróci listę embeddingów w odpowiadającej kolejności.
Jeśli obecnie używasz API osadzania OpenAI, migracja do OrcaRouter jest prosta. Zmień podstawowy URL z https://api.openai.com/v1 na https://api.orcarouter.ai/v1 oraz zaktualizuj nazwę modelu na 'openai/text-embedding-3-small'. Żadne inne zmiany w kodzie nie są wymagane. Twoja istniejąca biblioteka kliencka (Python, Node.js, curl itp.) będzie działać identycznie. OrcaRouter obsługuje ten sam schemat uwierzytelniania z użyciem klucza API. Ta zmiana pozwala Ci skorzystać z cen bez marży bez konieczności przebudowy potoku osadzania. Upewnij się, że Twój klucz ma dostęp do modelu na OrcaRouter.
Podstawowe różnice to rozmiar, koszt i wydajność. text-embedding-3-large generuje domyślnie 1536 wymiarów w porównaniu do 512 dla wersji small, a koszt wynosi 0,13 USD za 1 milion tokenów wejściowych – 6,5 razy więcej. W benchmarku MTEB model large osiąga około 65% skuteczności, a small około 62%. Dla większości zastosowań model small oferuje lepszy stosunek wartości do ceny. Model large może być preferowany, gdy potrzebujesz najwyższej możliwej dokładności w zadaniach takich jak precyzyjne wyszukiwanie podobieństw lub gdy nie możesz sobie pozwolić na spadek skuteczności przypominania. OrcaRouter udostępnia oba modele, więc możesz je przetestować na własnych danych.
Poprzedni model embeddingu OpenAI, text-embedding-ada-002, jest obecnie wycofany i niedostępny za pośrednictwem oficjalnych kanałów. W porównaniu z ada-002, text-embedding-3-small oferuje lepszą średnią wydajność w MTEB (62% vs ~61%), obsługuje większy kontekst (8192 vs 2048 tokenów) i kosztuje znacznie mniej ($0.02 vs $0.10 za 1M tokenów wejściowych) przy obecnych cenach. Nowy model wprowadza również parametr dimensions, umożliwiający dalszą optymalizację kosztów i przechowywania. Jeśli masz przepływy pracy wciąż korzystające z ada-002, powinieneś migrować do text-embedding-3-small, aby uzyskać wyższą jakość i niższy koszt.
OrcaRouter udostępnia modele osadzania od wielu dostawców, różniących się ceną, wymiarem i jakością. Na przykład niektóre modele oferują darmowe poziomy lub niższe koszty na token. Jednak te modele często mają mniejsze okna kontekstowe (np. 512 tokenów) lub niższe wyniki benchmarków. openai/text-embedding-3-small równoważy koszt, długość kontekstu i jakość. Jeśli Twoje dane są wysoce specyficzne dla domeny, dedykowany model (np. dla kodu lub prawa) może go przewyższyć. Katalog OrcaRouter pozwala porównać wydajność i ceny. Model ten jest niezawodnym domyślnym wyborem do ogólnych zadań w języku angielskim i wielojęzycznych.
Otwartoźródłowe modele osadzania (np. z Hugging Face) mogą być hostowane samodzielnie, co potencjalnie obniża koszty przy bardzo dużych wolumenach. Wymagają one jednak infrastruktury, konserwacji i wiedzy specjalistycznej, aby osiągnąć opóźnienia i niezawodność porównywalne z API OpenAI. `openai/text-embedding-3-small`, dostępny przez OrcaRouter, oferuje zerowe koszty infrastruktury, stałą dostępność i zgodność z ekosystemem OpenAI. W przypadku obciążeń małych i średnich zarządzane API jest często bardziej ekonomiczne, biorąc pod uwagę czas inżynierów. Przy bardzo dużych wdrożeniach (miliardy osadzeń) samodzielnie hostowane modele mogą stać się tańsze, choć nie ma gwarancji zachowania jakości.
Zgodne z OpenAI — zostań przy swoim SDK
https://api.orcarouter.ai/v1dimensionsencoding_format| Wejście / 1M tokenów | $0.020 |
|---|---|
| Wyjście / 1M tokenów | $0.020 |
| Waluta | USD |
Szacunek na podstawie cennika
Tylko szacunek — rzeczywista liczba tokenów zależy od tokenizatora dostawcy.
Porównaj miesięczne koszty modeli w kalkulatorze kosztów LLM
O czym mówią programiści w tym tygodniu
GET /api/public/models/openai/text-embedding-3-smallOtwórz @misc{orcarouter_text_embedding_3_small,
title = {openai/text-embedding-3-small API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-small}
}openai. (n.d.). openai/text-embedding-3-small API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-small