Wysokiej jakości osadzenia tekstu przez OrcaRouter w cenie $0.13/M tokenów, zero narzutu, do 3072 wymiarów.
OpenAI text-embedding-3-large to wielkoskalowy model osadzania z trzeciej generacji serii modeli osadzania tekstu OpenAI. Konwertuje on wejściowy tekst na gęste reprezentacje wektorowe, które oddają…
text-embedding-3-large doskonale sprawdza się w zadaniach takich jak podobieństwo semantyczne, klasyfikacja tekstu, grupowanie oraz wyszukiwanie informacji. Jego wynik o wysokiej wymiarowości umożliwia szczegółowe rozróżnianie podobnych tekstów. Jest popularnym wyborem do budowania baz wektorowych dla RAG, gdzie jakość wyszukiwania zależy od dokładności osadzeń. Model dobrze radzi sobie również z wnioskowaniem w języku naturalnym i wykrywaniem duplikatów. Nie jest jednak przeznaczony do zadań generacyjnych, takich jak uzupełnianie tekstu czy dialog – do tych celów użyj GPT-4 lub innych modeli językowych.
Model może generować osadzenia o wymiarach od 256 do 3072. Wymiar jest ustawiany za pomocą parametru `dimensions` w żądaniu API. Użycie niższego wymiaru zmniejsza magazynowanie i dalsze obliczenia, ale może stracić pewną wierność semantyczną. Domyślny wymiar to 3072, który zapewnia największą siłę dyskryminacyjną. Nie ma obsługiwanego wymiaru poza tym zakresem. Dla większości zadań wyszukiwania wymiar od 1024 do 2048 stanowi dobry balans między dokładnością a kosztem.
Jeśli Twoja aplikacja jest wrażliwa na opóźnienia lub osadzasz miliardy tekstów, koszt $0.13 za 1M tokenów może się kumulować. Rozważ text-embedding-3-small ($0.02/M tokenów) lub otwartoźródłowe modele, takie jak osadzenia oparte na BERT, dla mniejszych budżetów. text-embedding-3-large jest najlepszy, gdy dokładność wyszukiwania jest najważniejsza, na przykład w wyszukiwaniu prawniczym, medycznym lub naukowym, gdzie pominięcie odpowiedniego dokumentu ma poważne konsekwencje.
OpenAI obecnie nie oferuje dostrajania dla serii text-embedding-3. Model jest używany jako stały enkoder. Aby dostosować go do konkretnej domeny, można zastosować strategie augmentacji wyszukiwania, takie jak dodawanie fragmentów specyficznych dla domeny do bazy wektorów. Alternatywnie można użyć osadzeń jako cech dla klasyfikatora niższego szczebla, który jest trenowany na oznaczonych danych. Taki przepływ pracy jest powszechny w środowiskach korporacyjnych.
text-embedding-3-large osiąga najnowocześniejsze wyniki w Massive Text Embedding Benchmark (MTEB) w zadaniach takich jak grupowanie, klasyfikacja i ponowne rankingowanie. Chociaż dokładne wyniki nie są tutaj podane, model konsekwentnie plasuje się w najwyższych szczeblach wśród publicznie dostępnych modeli osadzania. Jego wersja o 3072 wymiarach oferuje najwyższą dokładność, podczas gdy niższe wymiary rekompensują niewielki spadek wydajności zmniejszonym przechowywaniem i obliczeniami. Przewyższa swojego poprzednika, text-embedding-ada-002, w większości zadań.
Opóźnienie zależy od liczby tokenów wejściowych i obciążenia modelu. Dla pojedynczego krótkiego tekstu (poniżej 100 tokenów) model zazwyczaj odpowiada w czasie poniżej 200 ms za pośrednictwem OrcaRouter. Dłuższe teksty (8000 tokenów) mogą zająć 1-2 sekundy. Współbieżność i rozmiar partii wpływają na przepustowość — żądania wsadowe (wiele tekstów w jednym wywołaniu API) mogą osiągnąć wyższą przepustowość. OrcaRouter nie dodaje narzutu poza czasem odpowiedzi dostawcy.
Model nie jest zaprojektowany do obsługi wielojęzycznej poza językiem angielskim (chociaż radzi sobie z niektórymi innymi językami, wydajność jest niższa). Brakuje mu również wbudowanego podążania za instrukcjami – jest ściśle enkoderem. Limit 8192 tokenów oznacza, że bardzo długie dokumenty muszą być dzielone na fragmenty. Dodatkowo, osadzenia mogą kodować uprzedzenia demograficzne obecne w danych treningowych, dlatego aplikacje wykorzystujące je powinny być testowane pod kątem sprawiedliwości. Wreszcie, nie zapewnia on wyjaśnialności swoich ocen podobieństwa.
text-embedding-3-large znacznie przewyższa starszy model ada-002 w benchmarku MTEB, szczególnie w zadaniach wymagających drobnoziarnistego rozróżniania. Nowszy model wprowadza również parametr `dimensions`, umożliwiający zmniejszenie rozmiaru wektora bez konieczności ponownego trenowania. Cena jest nieco wyższa ($0,13 vs $0,10 za 1 mln tokenów dla ada-002), ale poprawa dokładności często uzasadnia koszt w scenariuszach wyszukiwania o wysokim ryzyku. W przypadku prostych zastosowań ada-002 pozostaje realną tańszą alternatywą.
Cena wynosi 0,13 USD za 1 milion tokenów wejściowych, rozliczana według stawki dostawcy bez żadnej marży. Tokeny wyjściowe również kosztują 0,13 USD za 1 milion tokenów, chociaż w przypadku modeli do osadzania tokeny wyjściowe są pomijalne, ponieważ model zwraca wektor. Tokeny wejściowe obejmują wysyłany przez Ciebie tekst. Nie ma żadnych dodatkowych opłat za korzystanie z API OrcaRouter. Daje to całkowity koszt dokładnie taki, jaki pobiera OpenAI, bez ukrytych opłat ani dodatkowych opłat za limity szybkości.
Stawka 0,13 USD za 1M tokenów to standardowa cena dostawcy. OrcaRouter nie oferuje rabatów na cenę dostawcy. Jednak używanie mniejszych wymiarów wyjściowych (np. 1024) nie wpływa na liczbę tokenów – płacisz za każdy token wejściowy niezależnie od wymiaru. Dla użytkowników o bardzo dużej objętości OpenAI może oferować rabaty na zobowiązania terminowe w ramach niestandardowych umów, z których możesz skorzystać niezależnie.
OrcaRouter nie buforuje odpowiedzi embeddings. Każde żądanie jest przekazywane do dostawcy w czasie rzeczywistym i odpowiednio rozliczane. Jeśli wielokrotnie osadzasz identyczne teksty, za każdym razem zostaniesz obciążony opłatą. Aby obniżyć koszty, zaimplementuj własną warstwę buforowania po stronie klienta, przechowując embeddings dla częstych zapytań. Jest to szczególnie skuteczne w przypadku statycznych zbiorów danych, takich jak opisy produktów czy treści FAQ.
OrcaRouter przekazuje żądania do dostawcy bez sztucznego ograniczania przepustowości, ale dostawca narzuca własne limity szybkości. Dla text-embedding-3-large typowe limity wynoszą około 3000–5000 żądań na minutę dla standardowego poziomu. Możesz zwiększyć limity kontaktując się bezpośrednio z OpenAI. OrcaRouter automatycznie ponawia próby w przypadku błędów 429, ale nadmierne ponawianie może wiązać się z dodatkowymi kosztami. Monitoruj swoje użycie, aby pozostać w granicach limitów.
Wyślij żądanie POST do https://api.orcarouter.ai/v1/embeddings z parametrem model ustawionym na "openai/text-embedding-3-large". Dołącz ciąg wejściowy lub tablicę ciągów. Opcjonalnie ustaw parametr `dimensions` na wartość z zakresu od 256 do 3072. Możesz podać klucz API użytkownika w nagłówku Authorization (token Bearer). Odpowiedź ma tę samą strukturę co API Embeddings OpenAI, zawierając listę obiektów z osadzeniami i licznikami tokenów użycia.
Podstawowe parametry to `model` (wymagany: "openai/text-embedding-3-large"), `input` (ciąg znaków lub tablica ciągów znaków, każdy do 8192 tokenów) oraz `dimensions` (liczba całkowita, opcjonalna, domyślnie 3072). OrcaRouter obsługuje również parametr `user` do śledzenia użycia na użytkownika końcowego. Inne parametry interfejsu API OpenAI Embeddings, takie jak `encoding_format` (float lub base64), są obsługiwane. Pełny zestaw znajduje się w dokumentacji OpenAI.
Zmień podstawowy URL z https://api.openai.com/v1 na https://api.orcarouter.ai/v1 i zaktualizuj identyfikator modelu z "text-embedding-3-large" na "openai/text-embedding-3-large". Twój istniejący kod korzystający z klienta OpenAI Python lub biblioteki HTTP powinien działać bez innych modyfikacji. API OrcaRouter jest w pełni kompatybilne, więc nie są wymagane zmiany w formacie treści zapytania. Upewnij się, że masz klucz API OrcaRouter.
Tak. Przekaż tablicę ciągów znaków jako parametr `input`. API zwróci tablicę embeddingów w tej samej kolejności. Jest to bardziej wydajne niż wysyłanie pojedynczych żądań ze względu na mniejsze obciążenie. Aby uzyskać optymalną przepustowość, grupuj teksty o podobnej długości, aby zredukować czas bezczynności. Model obsługuje do 2048 ciągów na partię (sprawdź limity dostawcy), a całkowita liczba tokenów wejściowych w partii nie może przekroczyć 2048000 tokenów na minutę.
Mały wariant używa tylko 512 wymiarów i kosztuje 0,02 $ za 1M tokenów — około 6,5× taniej. Jest szybszy i bardziej wydajny pamięciowo, ale poświęca dokładność, zwłaszcza w drobnoziarnistych zadaniach semantycznych. Dla prostego grupowania lub wyszukiwania na podstawie podobieństwa tematycznego mały model może wystarczyć. text-embedding-3-large jest zalecany do wymagającego wyszukiwania, gdzie najważniejsza jest czułość (recall).
all-MiniLM-L6-v2 to darmowy, lokalnie hostowany model o 384 wymiarach i wysokiej szybkości. Działa dobrze w wielu zadaniach, ale ustępuje text-embedding-3-large w złożonych benchmarkach, takich jak MTEB. Kompromis to koszt vs. jakość: modele open-source mają zerowy koszt na token, ale wymagają sprzętu obliczeniowego. text-embedding-3-large oferuje lepszą dokładność, podczas gdy wydatek $0.13/M tokenów może być uzasadniony w systemach produkcyjnych, gdzie priorytetem jest jakość wyszukiwania.
Modele embed-v3 firmy Cohere obsługują również zmienne wymiary i możliwości wielojęzyczne. Są porównywalne w testach angielskich, ale mogą lepiej radzić sobie z tekstami nieangielskimi. Ceny są podobne (około $0.10–0.15 za 1M tokenów). Wybór często zależy od preferencji ekosystemu i konkretnych wymagań wielojęzycznych. text-embedding-3-large ma większe okno kontekstowe (8192 vs 512 dla Cohere) i jest lepiej zintegrowany z narzędziami OpenAI.
Rozważ alternatywy, jeśli Twój przypadek użycia wymaga wielojęzycznego wsparcia wykraczającego poza angielski, potrzebuje wdrożenia lokalnego ze względu na prywatność danych lub wymaga ekstremalnie niskiego opóźnienia przy wysokiej przepustowości. Do zadań takich jak generowanie tekstu używaj GPT-4. Do osadzania obraz-tekst używaj CLIP lub modeli multimodalnych. text-embedding-3-large jest ogólnego przeznaczenia enkoderem angielskim; jeśli Twoja dziedzina jest wysoko wyspecjalizowana, zbadaj dostrojone modele open-source.
Zgodne z OpenAI — zostań przy swoim SDK
https://api.orcarouter.ai/v1dimensionsencoding_format| Wejście / 1M tokenów | $0.130 |
|---|---|
| Wyjście / 1M tokenów | $0.130 |
| Waluta | USD |
Szacunek na podstawie cennika
Tylko szacunek — rzeczywista liczba tokenów zależy od tokenizatora dostawcy.
O czym mówią programiści w tym tygodniu
GET /api/public/models/openai/text-embedding-3-largeOtwórz @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large