Качественные текстовые эмбеддинги через OrcaRouter по цене $0.13/M токенов, нулевая наценка, до 3072 измерений.
OpenAI text-embedding-3-large — это крупномасштабная модель эмбеддингов из третьего поколения серии текстовых эмбеддингов OpenAI. Она преобразует текстовые данные в плотные векторные представления,…
text-embedding-3-large отлично подходит для семантического сходства, классификации текстов, кластеризации и поиска информации. Его многомерный вывод позволяет различать похожие тексты с высокой точностью. Эта модель является популярным выбором для создания векторных баз данных для RAG, где качество поиска зависит от точности эмбеддингов. Она также хорошо справляется с задачами понимания естественного языка и обнаружения дубликатов. Однако она не предназначена для генеративных задач, таких как завершение текста или диалог — для этого используйте GPT-4 или другие языковые модели.
Модель может выводить эмбеддинги с размерностью от 256 до 3072. Размерность задается через параметр `dimensions` в запросе API. Использование меньшей размерности уменьшает объем хранилища и последующие вычисления, но может потерять некоторую семантическую точность. Размерность по умолчанию — 3072, что обеспечивает наибольшую различительную способность. Размерности вне этого диапазона не поддерживаются. Для большинства задач поиска размерность от 1024 до 2048 является хорошим балансом между точностью и стоимостью.
Если ваше приложение чувствительно к задержкам или вы встраиваете миллиарды текстов, стоимость $0,13 за 1 млн токенов может накапливаться. Рассмотрите text-embedding-3-small ($0,02/млн токенов) или модели с открытым исходным кодом на основе BERT для более низкого бюджета. text-embedding-3-large лучше всего подходит, когда точность поиска имеет первостепенное значение, например, в юридическом, медицинском или научном поиске, где пропущенный релевантный документ влечет за собой серьезные последствия.
OpenAI в настоящее время не предлагает тонкую настройку для серии text-embedding-3. Модель используется как фиксированный энкодер. Для адаптации к конкретной области можно использовать стратегии аугментации извлечения, например, добавление относящихся к домену фрагментов в вашу векторную базу данных. В качестве альтернативы можно использовать эмбеддинги в качестве признаков для нисходящего классификатора, обученного на ваших размеченных данных. Этот рабочий процесс распространён в корпоративных средах.
text-embedding-3-large достигает передовых результатов на Massive Text Embedding Benchmark (MTEB) по таким задачам, как кластеризация, классификация и реранжирование. Хотя точные оценки здесь не приводятся, модель стабильно занимает верхние позиции среди общедоступных эмбеддинговых моделей. Её версия с размерностью 3072 обеспечивает наивысшую точность, тогда как меньшие размерности дают небольшое снижение производительности в обмен на уменьшение требований к хранению и вычислениям. Она превосходит своего предшественника text-embedding-ada-002 в большинстве задач.
Задержка зависит от количества входных токенов и загрузки модели. Для одного короткого текста (до 100 токенов) модель обычно отвечает менее чем за 200 мс через OrcaRouter. Более длинные тексты (8000 токенов) могут занимать 1–2 секунды. Конкурентность и размер пакета влияют на пропускную способность — пакетные запросы (несколько текстов в одном вызове API) могут обеспечить более высокую пропускную способность. OrcaRouter не добавляет задержку сверх времени ответа провайдера.
Модель не предназначена для многоязычной поддержки, кроме английского (хотя она работает с некоторыми другими языками, производительность ниже). У нее также отсутствует встроенная возможность следования инструкциям — это строго кодировщик. Ограничение в 8192 токенов означает, что очень длинные документы должны быть разбиты на части. Кроме того, встраивания могут кодировать демографические предубеждения, присутствующие в обучающих данных, поэтому нисходящие приложения должны проверяться на справедливость. Наконец, она не предоставляет объяснимости для своих оценок сходства.
text-embedding-3-large значительно превосходит более старую модель ada-002 на бенчмарке MTEB, особенно в задачах, требующих тонкой дифференциации. Новая модель также вводит параметр `dimensions`, позволяющий уменьшить размер вектора без переобучения. Цена немного выше ($0,13 против $0,10 за 1 млн токенов для ada-002), но улучшение точности часто оправдывает затраты в сценариях поиска с высокой ответственностью. Для простых случаев использования ada-002 остаётся доступной альтернативой с более низкой стоимостью.
Цена составляет $0.13 за 1 миллион входных токенов по тарифу провайдера без наценки. Выходные токены также стоят $0.13 за 1 млн токенов, хотя для моделей эмбеддингов выходные токены пренебрежимо малы, так как модель возвращает вектор. Входные токены включают отправляемый вами текст. За использование API OrcaRouter никаких дополнительных платежей не взимается. Таким образом, общая стоимость точно соответствует тому, что взимает OpenAI, без скрытых сборов или надбавок за превышение лимита запросов.
Ставка $0,13 за 1 млн токенов является стандартной ценой провайдера. OrcaRouter не предоставляет скидки поверх цены провайдера. Однако использование меньших выходных размеров (например, 1024) не влияет на количество токенов — вы платите за каждый входной токен независимо от размера. Для пользователей с очень высоким объемом OpenAI может предлагать скидки за обязательства по использованию через индивидуальные соглашения, которыми вы можете воспользоваться самостоятельно.
OrcaRouter не кэширует ответы эмбеддингов. Каждый запрос передается провайдеру в реальном времени и оплачивается соответственно. Если вы многократно встраиваете одинаковые тексты, плата будет взиматься каждый раз. Чтобы снизить затраты, реализуйте собственный слой кэширования на стороне клиента, сохраняя эмбеддинги для частых запросов. Это особенно эффективно для статических наборов данных, таких как описания товаров или контент FAQ.
OrcaRouter передаёт запросы провайдеру без искусственного ограничения, но провайдер применяет собственные лимиты. Для text-embedding-3-large типичные ограничения составляют около 3000–5000 запросов в минуту для стандартного тарифа. Вы можете увеличить лимиты, обратившись напрямую в OpenAI. OrcaRouter автоматически повторяет запросы при ошибках 429, однако чрезмерные повторные попытки могут привести к дополнительным расходам. Следите за своим использованием, чтобы не выходить за пределы лимитов.
Отправьте POST-запрос на https://api.orcarouter.ai/v1/embeddings с параметром model, установленным в "openai/text-embedding-3-large". Включите входную строку или массив строк. По желанию установите параметр `dimensions` в значение от 256 до 3072. Вы можете указать пользовательский API-ключ в заголовке Authorization (токен Bearer). Ответ следует той же структуре, что и API Embeddings от OpenAI, содержащей список объектов с эмбеддингами и подсчётом токенов использования.
Основные параметры: `model` (обязательный: "openai/text-embedding-3-large"), `input` (строка или массив строк, до 8192 токенов каждый) и `dimensions` (целое число, необязательно, по умолчанию 3072). OrcaRouter также поддерживает параметр `user` для отслеживания использования каждым конечным пользователем. Другие параметры API OpenAI Embeddings, такие как `encoding_format` (float или base64), поддерживаются. Обратитесь к документации OpenAI для полного списка.
Измените базовый URL с https://api.openai.com/v1 на https://api.orcarouter.ai/v1 и обновите идентификатор модели с "text-embedding-3-large" на "openai/text-embedding-3-large". Ваш существующий код, использующий клиент OpenAI Python или HTTP-библиотеку, должен работать без других изменений. API OrcaRouter полностью совместим, поэтому изменения формата тела запроса не требуются. Убедитесь, что у вас есть ключ API OrcaRouter.
Да. Передайте массив строк в параметре `input`. API вернет массив эмбеддингов в том же порядке. Это более эффективно, чем отправка отдельных запросов, из-за меньших накладных расходов. Для оптимальной пропускной способности группируйте тексты одинаковой длины, чтобы сократить время простоя. Модель поддерживает до 2048 строк в одном пакете (проверьте лимиты провайдера), а общее количество входных токенов в пакете не должно превышать 2048000 токенов в минуту.
Маленький вариант использует только 512 измерений и стоит $0.02 за 1M токенов — примерно в 6,5× дешевле. Он быстрее и эффективнее по хранилищу, но жертвует точностью, особенно в задачах, требующих тонкой семантической обработки. Для простой кластеризации или поиска по тематическому сходству малая модель может быть достаточной. text-embedding-3-large рекомендуется для задач высокой важности, где качество поиска имеет решающее значение.
all-MiniLM-L6-v2 — это бесплатная локально размещённая модель с 384 измерениями и высокой скоростью. Она хорошо справляется со многими задачами, но уступает text-embedding-3-large на сложных бенчмарках, таких как MTEB. Компромисс заключается в стоимости против качества: модели с открытым исходным кодом имеют нулевую стоимость за токен, но требуют вычислительного оборудования. text-embedding-3-large обеспечивает превосходную точность, при этом расходы в $0,13/M токенов могут быть оправданы для производственных систем, где качество поиска является приоритетом.
Модели Cohere embed-v3 также поддерживают переменную размерность и многоязычные возможности. Они сопоставимы по английским бенчмаркам, но могут лучше обрабатывать неанглийские тексты. Ценообразование схоже (примерно $0.10–0.15 за 1 млн токенов). Выбор часто зависит от предпочтений экосистемы и конкретных многоязычных требований. text-embedding-3-large имеет больший контекстный окно (8192 против 512 у Cohere) и лучше интегрирован с инструментами OpenAI.
Рассмотрите альтернативы, если ваш вариант использования требует поддержки многоязычности помимо английского, нуждается в развертывании на месте для конфиденциальности данных или требует чрезвычайно низкой задержки при высокой пропускной способности. Для таких задач, как генерация текста, используйте GPT-4. Для вложений изображение-текст используйте CLIP или мультимодальные модели. text-embedding-3-large — это универсальный кодировщик английского языка; если ваша область узкоспециализирована, изучите доработанные модели с открытым исходным кодом.
Совместимо с OpenAI — оставьте свой SDK
https://api.orcarouter.ai/v1dimensionsencoding_format| Ввод / 1M токенов | $0.130 |
|---|---|
| Вывод / 1M токенов | $0.130 |
| Валюта | USD |
Оценка по прайс-листу
Только оценка — фактическое число токенов зависит от токенизатора провайдера.
О чём говорят разработчики на этой неделе
GET /api/public/models/openai/text-embedding-3-largeОткрыть @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large