OrcaRouter를 통해 $0.13/백만 토큰, 마크업 없음, 최대 3072 차원의 고품질 텍스트 임베딩.
OpenAI text-embedding-3-large는 OpenAI의 텍스트 임베딩 시리즈 중 3세대 대규모 임베딩 모델입니다. 이 모델은 텍스트 입력을 의미적 의미를 포착하는 밀집 벡터 표현으로 변환합니다. 모델은 256에서 3072까지의 차원을 지원하여 사용자가 다운스트림 작업 및 컴퓨팅 예산에 맞는 출력 크기를 선택할 수 있습니다. 기본 차원은…
text-embedding-3-large는 의미적 유사성, 텍스트 분류, 클러스터링, 정보 검색에 뛰어납니다. 고차원 출력을 통해 유사한 텍스트 간의 세밀한 구분이 가능합니다. RAG를 위한 벡터 데이터베이스를 구축할 때 인기 있는 선택이며, 검색 품질은 임베딩 정확도에 달려 있습니다. 이 모델은 자연어 추론 및 중복 탐지에서도 우수한 성능을 보입니다. 그러나 텍스트 완성이나 대화와 같은 생성 작업용으로 설계되지 않았습니다. 이러한 작업에는 GPT-4 또는 다른 언어 모델을 사용하세요.
이 모델은 256에서 3072 사이의 차원을 가진 임베딩을 출력할 수 있습니다. 차원은 API 요청의 `dimensions` 매개변수를 통해 설정됩니다. 낮은 차원을 사용하면 저장 공간과 다운스트림 계산이 줄어들지만 일부 의미론적 정확도가 손실될 수 있습니다. 기본 차원은 3072이며, 이는 가장 높은 변별력을 제공합니다. 이 범위를 벗어나는 차원은 지원되지 않습니다. 대부분의 검색 작업에서는 1024에서 2048 사이의 차원이 정확성과 비용 사이의 좋은 균형을 제공합니다.
애플리케이션이 지연 시간에 민감하거나 수십억 개의 텍스트를 임베딩하는 경우, 100만 토큰당 $0.13의 비용이 누적될 수 있습니다. 비용이 낮은 예산을 위해 text-embedding-3-small ($0.02/백만 토큰) 또는 BERT 기반 임베딩과 같은 오픈소스 모델을 고려하세요. text-embedding-3-large는 법률, 의료, 과학 검색과 같이 검색 정확도가 가장 중요하며 관련 문서를 놓치는 것이 큰 결과를 초래하는 경우에 가장 적합합니다.
OpenAI는 현재 text-embedding-3 시리즈에 대한 미세 조정을 제공하지 않습니다. 이 모델은 고정 인코더로 사용됩니다. 특정 도메인에 적용하려면 벡터 데이터베이스에 도메인별 텍스트를 추가하는 등의 검색 증강 전략을 사용할 수 있습니다. 또는 레이블이 지정된 데이터로 훈련된 다운스트림 분류기의 특징으로 임베딩을 사용할 수 있습니다. 이 워크플로는 기업 환경에서 일반적입니다.
text-embedding-3-large는 Massive Text Embedding Benchmark(MTEB)에서 클러스터링, 분류, 재순위와 같은 작업에서 최첨단 결과를 달성합니다. 여기에 정확한 점수가 제공되지는 않았지만, 이 모델은 공개적으로 사용 가능한 임베딩 모델 중에서 지속적으로 최상위권에 랭크됩니다. 3072차원 버전은 가장 높은 정확도를 제공하는 반면, 낮은 차원은 약간의 성능 저하를 감수하고 저장 공간과 계산 비용을 줄입니다. 대부분의 작업에서 이전 모델인 text-embedding-ada-002보다 뛰어난 성능을 보입니다.
지연 시간은 입력 토큰 수와 모델 로드에 따라 달라집니다. 짧은 단일 텍스트(100토큰 미만)의 경우, 모델은 일반적으로 OrcaRouter를 통해 200ms 이내에 응답합니다. 더 긴 텍스트(8000토큰)는 1~2초가 걸릴 수 있습니다. 동시성과 배치 크기는 처리량에 영향을 미치며, 배치 요청(하나의 API 호출에 여러 텍스트)은 더 높은 처리량을 달성할 수 있습니다. OrcaRouter는 공급자의 응답 시간에 추가 오버헤드를 발생시키지 않습니다.
이 모델은 영어 이외의 다국어를 공식적으로 지원하지 않도록 설계되었습니다 (일부 다른 언어를 처리할 수는 있지만 성능이 낮습니다). 또한 내장된 명령 수행 기능이 없어 엄격히 인코더로만 작동합니다. 8192 토큰 제한으로 인해 매우 긴 문서는 청크로 분할해야 합니다. 추가로, 임베딩은 훈련 데이터에 존재하는 인구통계학적 편향을 인코딩할 수 있으므로, 다운스트림 애플리케이션은 공정성을 테스트해야 합니다. 마지막으로, 유사성 판단에 대한 설명 가능성을 제공하지 않습니다.
text-embedding-3-large는 MTEB 벤치마크에서 이전 ada-002 모델보다 성능이 크게 뛰어나며, 특히 세밀한 구분이 필요한 작업에서 그러합니다. 새 모델은 또한 `dimensions` 파라미터를 도입하여 재학습 없이 벡터 크기를 줄일 수 있습니다. 가격은 약간 높지만(ada-002의 경우 100만 토큰당 $0.13 대 $0.10), 정확도 향상이 위험도가 높은 검색 시나리오에서 비용을 정당화하는 경우가 많습니다. 간단한 사용 사례의 경우 ada-002는 여전히 실행 가능한 저비용 대안입니다.
가격은 입력 토큰 100만 개당 $0.13이며, 제공업체 요금으로 청구되며 마크업이 전혀 없습니다. 출력 토큰도 100만 토큰당 $0.13이지만, 임베딩 모델의 경우 모델이 벡터를 반환하므로 출력 토큰은 무시할 수 있습니다. 입력 토큰에는 사용자가 보낸 텍스트가 포함됩니다. OrcaRouter의 API 사용에 대한 추가 요금은 없습니다. 따라서 총 비용은 OpenAI가 청구하는 것과 정확히 동일하며, 숨겨진 수수료나 속도 제한 추가 요금이 없습니다.
표준 제공업체 가격은 토큰 100만 개당 0.13달러입니다. OrcaRouter는 제공업체 가격에 추가 할인을 제공하지 않습니다. 그러나 더 작은 출력 차원(예: 1024)을 사용해도 토큰 수에는 영향을 미치지 않습니다. 입력 토큰에 대해 차원과 관계없이 요금이 부과됩니다. 매우 높은 볼륨의 사용자의 경우, OpenAI는 맞춤 계약을 통해 약정 사용 할인을 제공할 수 있으며, 이를 독립적으로 활용할 수 있습니다.
OrcaRouter는 임베딩 응답을 캐싱하지 않습니다. 각 요청은 실시간으로 제공업체에 전달되며 그에 따라 청구됩니다. 동일한 텍스트를 반복해서 임베딩하면 매번 요금이 부과됩니다. 비용을 절약하려면 클라이언트 측에 자체 캐싱 계층을 구현하여 자주 사용하는 쿼리에 대한 임베딩을 저장하세요. 이는 제품 설명이나 FAQ 콘텐츠와 같은 정적 데이터셋에 특히 효과적입니다.
OrcaRouter는 인위적인 조절 없이 요청을 제공자에게 전달하지만, 제공자는 자체 속도 제한을 적용합니다. text-embedding-3-large의 경우 표준 등급에서 일반적으로 분당 약 3000~5000개의 요청으로 제한됩니다. OpenAI에 직접 문의하여 한도를 늘릴 수 있습니다. OrcaRouter는 429 오류 발생 시 자동으로 재시도하지만, 과도한 재시도로 인해 추가 비용이 발생할 수 있습니다. 제한 내에서 사용량을 모니터링하세요.
POST 요청을 https://api.orcarouter.ai/v1/embeddings로 보냅니다. model 매개변수를 "openai/text-embedding-3-large"로 설정합니다. 입력 문자열 또는 문자열 배열을 포함합니다. 선택적으로 `dimensions` 매개변수를 256에서 3072 사이의 값으로 설정할 수 있습니다. Authorization 헤더(Bearer 토큰)에 사용자 API 키를 제공할 수 있습니다. 응답은 OpenAI의 Embeddings API와 동일한 구조를 따르며, 임베딩과 사용 토큰 수를 포함하는 객체 목록을 포함합니다.
주요 매개변수는 `model` (필수: "openai/text-embedding-3-large"), `input` (문자열 또는 문자열 배열, 각각 최대 8192 토큰), 그리고 `dimensions` (정수, 선택 사항, 기본값 3072)입니다. OrcaRouter는 또한 최종 사용자별 사용량 추적을 위한 `user` 매개변수를 지원합니다. `encoding_format` (float 또는 base64)과 같은 다른 OpenAI Embeddings API 매개변수도 지원됩니다. 전체 세트에 대해서는 OpenAI 문서를 참조하십시오.
기본 URL을 https://api.openai.com/v1 에서 https://api.orcarouter.ai/v1 로 변경하고 모델 ID를 "text-embedding-3-large"에서 "openai/text-embedding-3-large"로 업데이트하세요. OpenAI Python 클라이언트 또는 HTTP 라이브러리를 사용하는 기존 코드는 다른 수정 없이 작동합니다. OrcaRouter의 API는 완전히 호환되므로 요청 본문 형식을 변경할 필요가 없습니다. OrcaRouter API 키가 있는지 확인하세요.
네. `input` 매개변수로 문자열 배열을 전달하세요. API는 동일한 순서로 임베딩 배열을 반환합니다. 이는 개별 요청을 보내는 것보다 오버헤드가 낮아 더 효율적입니다. 최적의 처리량을 위해 비슷한 길이의 텍스트를 배치 처리하여 유휴 시간을 줄이세요. 모델은 배치당 최대 2048개의 문자열을 지원하며(공급자 제한 확인), 배치 전체의 입력 토큰은 분당 2,048,000토큰을 초과할 수 없습니다.
소형 변형은 512 차원만 사용하며, 1M 토큰당 $0.02로 약 6.5× 저렴합니다. 속도가 빠르고 저장 공간 효율이 높지만, 특히 세밀한 의미 작업에서 정확도가 떨어집니다. 주제 수준의 유사성에 대한 단순한 클러스터링이나 검색의 경우 소형 모델로 충분할 수 있습니다. 재현율이 가장 중요한 고위험 검색에는 text-embedding-3-large를 권장합니다.
all-MiniLM-L6-v2는 384차원과 높은 속도를 제공하는 무료 로컬 호스팅 모델입니다. 많은 작업에서 좋은 성능을 보이지만 MTEB와 같은 복잡한 벤치마크에서는 text-embedding-3-large에 미치지 못합니다. 이는 비용 대비 품질의 트레이드오프입니다: 오픈소스 모델은 토큰당 비용이 0이지만 연산 하드웨어가 필요합니다. text-embedding-3-large는 우수한 정확도를 제공하며, $0.13/M 토큰의 비용은 검색 품질을 우선시하는 프로덕션 시스템에서 정당화될 수 있습니다.
Cohere의 embed-v3 모델은 가변 차원과 다국어 기능도 지원합니다. 영어 벤치마크에서는 비슷한 성능을 보이지만, 비영어권 텍스트를 더 잘 처리할 수 있습니다. 가격은 비슷합니다(1M 토큰당 약 $0.10~0.15). 선택은 주로 생태계 선호도와 특정 다국어 요구 사항에 따라 달라집니다. text-embedding-3-large는 더 큰 컨텍스트 윈도우(Cohere의 512 대비 8192)를 가지며 OpenAI 도구와 더 잘 통합됩니다.
대안을 고려하세요. 사용 사례가 영어 외의 다국어 지원을 필요로 하거나, 데이터 프라이버시를 위해 온프레미스 배포가 필요하거나, 높은 처리량에서 극도로 낮은 지연 시간을 요구하는 경우입니다. 텍스트 생성과 같은 작업에는 GPT-4를 사용하세요. 이미지-텍스트 임베딩에는 CLIP 또는 멀티모달 모델을 사용하세요. text-embedding-3-large는 범용 영어 인코더입니다. 도메인이 매우 특화된 경우, 미세 조정된 오픈소스 모델을 탐색해 보세요.
OpenAI 호환 — 쓰던 SDK 그대로
https://api.orcarouter.ai/v1dimensionsencoding_format| 입력 / 1M tokens | $0.130 |
|---|---|
| 출력 / 1M tokens | $0.130 |
| 통화 | USD |
정가 기준 추정치
추정치일 뿐입니다 — 실제 토큰 수는 제공자의 토크나이저에 따라 달라집니다.
이번 주 개발자들의 이야기
@misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large