Карточка главного заголовка с текстом «{{1}}DeepSeek V4.1 Flash{{/1}}» и подзаголовком «{{2}}Совершенно новая базовая модель с номером версии .1{{/2}}», два бейджа-пилюли с надписями «{{3}}GA - 10 SEP 2026{{/3}}» и «{{4}}OPEN WEIGHTS - MIT{{/4}}», строка в нижнем колонтитуле «{{5}}Архитектура по данным производителя; независимой оценки пока нет{{/5}}», мотив полосы сжатия слева и логотип {{6}}OrcaRouter{{/6}} в правом нижнем углу.
Guides & Insights

DeepSeek V4.1 Flash: совершенно новая базовая модель под номером точечного релиза

Автор

Elias Hawthorne

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

DeepSeek V4.1 Flash — уже шесть дней, и три вопроса, оставшихся открытыми после его запуска, теперь закрыты: два из них — в пользу компании, а один — резко против. Сама модель не изменилась с 10 сентября: смесь экспертов на 552 миллиарда параметров с открытыми весами под лицензией MIT, контекстом в один миллион токенов и новой архитектурой Causal Encoder-Decoder, которую в собственной карточке модели производитель относит к тому, что компания называет «новым семейством архитектур». Изменилось всё вокруг неё. Независимый оценщик опубликовал результат там, где в утро запуска его не было. Компания отозвала объявленное в собственном списке изменений прекращение поддержки DeepSeek V4 Pro — а работа по обслуживанию «нулевого дня», которой в то утро не существовало, теперь идёт на нескольких распространённых средах вывода, причём две самые сложные её части — таблицы памяти Engram и разделение prefill/decode, от которого зависят промышленные развёртывания, — всё ещё активно переделываются публично.

Несоответствие в названии — всё ещё причина, по которой этот материал существует. Воспринимать переход от «V4 Flash» к «V4.1 Flash» как шаг патча — естественно и неправильно: номер версии отстоит всего на один десятичный знак от перенастройки, тогда как архитектура в основе даёт начало целому семейству. Шесть дней свидетельств не смягчили этого. Если уж на то пошло, независимые цифры только укрепили его, ведь модель, обходящая по баллам флагман собственного вендора с 1,6 трлн параметров, — не точечный релиз, а поколение, которое отказалось называть себя.

A single-column scoreboard titled 'DeepSeek V4.1 Flash - the scoreboard' listing Released 10 Sep 2026 (web, app, API), Backbone 552B-parameter MoE, Architecture Causal Encoder-Decoder, Active per token 8B prefill / 16B decode, KV cache 890 bytes per token (FP4), and Price $0.15 in / $0.60 out per 1M, with a footer reading 'Figures per DeepSeek's model card and API docs; no independent evaluation has been published.'

Что на самом деле вышло 10 сентября

Это была не утечка и не бета-версия. Двухдневное тестирование API, начавшееся 8 сентября под идентификатором модели deepseek-v4.1-flash-expires-on-0910, завершилось так, как говорилось в его суффиксе, и релиз вышел в веб-приложении DeepSeek, мобильном приложении и собственном API, а веса и технический отчёт были опубликованы на Hugging Face под deepseek-ai/DeepSeek-V4.1-Flash.

Практические детали не сдвинулись за шесть дней:

• Имя модели — deepseek-flash. Прежние названия deepseek-v4-flash и deepseek-v4-flash-vision-exp по-прежнему принимаются, но они больше не ведут к тем же моделям, что раньше: обе сняты с эксплуатации, а запросы с этими именами обслуживаются моделью DeepSeek V4.1 Flash и тарифицируются по тарифу Flash.

• Что включено — контекстное окно на 1M токенов, максимальный вывод 384K, вывод в формате JSON, вызов функций, нативный ввод изображений и режим размышления, включённый по умолчанию, с настройками низкого, высокого и максимального усилия.

• Лицензия — MIT, веса включены, с папкой для инференса и отдельным модулем кодирования в репозитории. DeepSeek явно пригласил сообщество открытого исходного кода создать поддержку инференса в первый же день, и сообщество подхватило это быстрее, чем подразумевало приглашение.

Тот .1, который не является точечным релизом

Утверждение, с которого началась эта статья, появилось у teortaxesTex — псевдонимного, но внимательно следящего за DeepSeek наблюдателя — в посте от 10 сентября: что это «первый случай, когда DeepSeek присваивает совершенно новой базовой модели версию с суффиксом .1», что V4.1 «отличается от V4 сильнее, чем, скажем, LLaMA 3 от LLaMA 1», и что в DeepSeek «не считают, что это тянет на V5» — при том, что автор поста не может объяснить, почему именно нет.

Рассматривайте причинную часть как умозаключение, а структурную — как проверяемый факт. Умозаключение — почему DeepSeek выбрал .1 вместо V5 — это лишь чьё-то личное прочтение, не более; никто за пределами компании не объяснял это решение, и в собственных материалах DeepSeek оно никогда не обсуждается. Проверяемая часть — это архитектура, и она не похожа на точечный релиз. В журнале изменений DeepSeek V4.1 Flash описан как «самая маленькая модель в нашем новом семействе архитектур» — странная фраза для описания обновления версии: обновление версии расширяет семейство, а не основывает его.

Есть реальная цена за эту двусмысленность, и она ложится на покупателей, а не на DeepSeek. Номера версий — это самый дешёвый сигнал для разработчика: «это новое поколение или перенастройка, и какой части моего бюджета на оценку она заслуживает?» DeepSeek теперь сделал этот сигнал ненадёжным в одном направлении — модель, которая основывает семейство архитектур, находится на расстоянии одного десятичного знака от модели, изменившей свой рецепт пост-обучения. Компания оставляет свой маркер V5 в резерве. Все, кто проводит оценку миграции, платят за эту путаницу.

Что означает «новая архитектура» в весах

Карточка модели необычно конкретна, что делает утверждение о поколении проверяемым без единого бенчмарка. Бросаются в глаза пять вещей — пятая из них та, которую материалы о запуске по большей части пропустили, и та, что, как выясняется, важнее всего для любого, кто пытается обслуживать эту модель.

A screenshot of the DeepSeek-V4.1-Flash model card on Hugging Face (captured September 10, 2026) showing the MIT licence tag, Image-Text-to-Text and safetensors tags, 485B parameters in the sidebar, and model-card text describing a multimodal Mixture-of-Experts with 552B backbone parameters, a Causal Encoder-Decoder architecture of a 20-layer causal encoder followed by a 20-layer decoder, activation of 8B parameters per token during prefill and 16B during decode, SWA Bounded Replay, Compressed Sparse Attention 2, and a KV cache footprint of 890 bytes per token.

• Асимметричная активация — разделение на каузальный кодер-декодер представляет собой трансформер из 40 слоёв, организованный как 20-слойный каузальный кодер, за которым следует 20-слойный декодер, при этом глобальный KV-кэш декодера проецируется из финальных скрытых состояний кодера, а не выводится из собственных слоёв декодера. Смысл такой конструкции в том, что модель активирует только 8B параметров на токен во время префилла и 16B во время декодирования. Задачи агента с высокой долей входных данных — длинные документы, длинные трассировки инструментов — получают дешёвую половину модели; генерация получает дорогую половину.

• Сжатие KV-кэша, измеряемое на токен — DeepSeek-V4.1-Flash использует основное KV-кэширование FP4 объёмом 890 байт на токен, что, по данным карточки, составляет примерно четверть от DeepSeek V4 Flash. Китайские обзоры пошли дальше и представили сжатие по сравнению с моделью V4 первого поколения как сокращение в 437 раз; эта большая цифра является расчётом от поставщика на другой базе, поэтому к ней следует относиться как к заявлению, а не как к измерению.

• SWA Bounded Replay — скользящее оконное внимание обычно вынуждает сохранять KV-состояние на SSD для восстановления контекста. Этот метод восстанавливает недостающие SWA KV-состояния, повторно обрабатывая только самое последнее окно токенов, сокращая постоянный объём KV примерно до одной восьмой от показателя DeepSeek V4 Flash.

• Compressed Sparse Attention 2 — каждый слой внимания работает в одном из трех статических режимов (Full, Reindex или Reuse), разделяя состояние KV и индексатора между слоями, при этом иерархический разреженный индексатор ограничивает стоимость более глубоких слоев независимо от длины контекста.

• Engram — модуль условной памяти, который хранит память отдельно от вычислений и реализован как хеш-поиск по n-граммам, гейтируемый в остаточный поток модели, а не как внимание или дополнительные эксперты. Две таблицы fp8 содержат 189 ГиБ весов, согласно собственному описанию архитектуры от SGLang, а runtime-вендоры, портировавшие чекпойнт, оценивают эти таблицы примерно в 196 млрд параметров поверх 552-миллиардного бэкбона — именно поэтому заявленное на карточке число параметров описывает бэкбон, а не всю загрузку. Engram обучается на двух слоях, использует n-граммы порядков два, три и четыре, по восемь хеш-голов на порядок, и схлопывает токены, которые нормализуются одинаково, так что варианты регистра хешируются в один и тот же бакет. Деталь дизайна, которую стоит запомнить, — это накладываемые им издержки: каждый шаг декодирования читает эти таблицы, поэтому от того, куда вы их поместите, зависит, сколько KV-кэша у вас останется.

Прочтите эти пять вместе — и стратегическая картина становится ясной: это в первую очередь архитектура разреженности, эффективности кэша и выгрузки памяти, спроектированная так, чтобы ту же структуру позже можно было масштабировать. Упоминание «нового семейства архитектур» несёт реальную смысловую нагрузку — это заявление о том, что впереди будет больше.

Независимая оценка наконец-то появилась — и она подтверждает правоту вендора.

Четыре дня назад этот раздел читался бы совсем иначе. На момент запуска Artificial Analysis не опубликовала ничего о DeepSeek V4.1 Flash, на странице модели Hugging Face всё ещё была пометка о том, что модель «не развёрнута ни у одного Inference Provider», а ключевое утверждение всего релиза — что модель уровня Flash всесторонне превосходит флагман с 1,6 трлн параметров по производительности, стоимости, скорости и общему времени выполнения задач — было заявлением вендора без внешней проверки. С тех пор все три этих пробела закрылись.

Artificial Analysis теперь измерила модель с помощью своего Intelligence Index, и, если коротко, утверждение DeepSeek выдерживает проверку третьей стороной:

• Индекс интеллекта — DeepSeek V4.1 Flash набирает 40 баллов при максимальном уровне усилий рассуждения, занимая шестое место среди 113 моделей в своём классе сравнения и значительно превышая медиану 18 для сопоставимых моделей с открытыми весами. DeepSeek V4 Pro 0813, флагман, который она якобы вытесняла, набирает 36 баллов по тому же индексу.

• Стоимость за задачу — $0,27 за задачу Intelligence Index для V4.1 Flash против $0,67 для V4 Pro 0813. Это утверждение о соотношении возможностей и стоимости, независимо воспроизведённое: более дешёвая модель оказывается более способной по этому показателю, при примерно 40% стоимости за выполненную задачу.

• Скорость — 212,1 выходных токенов в секунду при медиане 73,1 т/с среди сопоставимых моделей; время до первого токена — 1,31 с при медиане 2,37 с. На том же стенде V4 Pro 0813 показывает 94,4 т/с и TTFT 1,72 с.

• Цена — Artificial Analysis фиксирует $0,30 за миллион входных токенов и $1,20 за миллион выходных токенов при 98%-й скидке за кэш, что представляет собой опубликованную тарифную сетку DeepSeek для пиковых нагрузок, а не премиальную наценку третьей стороны.

Подпишите это правильно, потому что метка изменилась. Это независимые измерения, а не данные вендора — но это независимые измерения на одном стороннем стенде, и один индекс — не вердикт о модели. Что он действительно проясняет, так это нечто более узкое и более полезное, чем позиция в таблице лидеров: конкретное утверждение, выдвинутое DeepSeek в обоснование собственной продуктовой линейки — что Flash обойдёт Pro одновременно и по возможностям, и по стоимости — теперь подкреплено внешним подтверждением, а не записью в журнале изменений.

Есть честная оговорка и с другой стороны, и она исходит от того же поставщика, что и в предыдущих отчётах. Собственные цифры DeepSeek показывают, что V4.1 Flash побеждает в 13 из 16 сравнений против Kimi K3 и в 11 из 13 против GLM-5.3, при этом всё ещё уступая GPT-5.6 Sol и Claude Opus 5 на более новых задачах Terminal-Bench 3.0 и 4.0, а также в ProgramBench. Это согласованная картина — сильнее всего в работе по программированию, терминалу и агентной автоматизации, для которой оптимизирована эта архитектура, слабее в задачах рассуждения фронтирного уровня — и именно такую картину дал бы настоящий шаг на новое поколение. Независимый индекс согласуется с этой общей картиной, хотя и не даёт окончательного ответа по каждой ячейке.

Прекращение Pro, которое DeepSeek анонсировала — а затем отменила

Вот та часть, которая отличается от собственного заявленного плана DeepSeek, и именно она с наибольшей вероятностью повлияет на боевую интеграцию.

На старте DeepSeek заявила, что DeepSeek V4 Pro будет выведена из её API. С 12:00 по пекинскому времени 14 сентября запросы, указывающие deepseek-v4-pro, будут направляться на V4.1 Flash и тарифицироваться по ценам Flash — сокращение стоимости вывода примерно на 70% для всех, у кого название модели Pro было жёстко прописано, — и останутся на этом маршруте до выхода будущей V4.1 Pro. В тарифной сетке дня запуска это означало, что $3,96 за миллион выходных токенов у Pro обрушатся до $1,20 у Flash в пиковые часы, без изменений кода и без уведомления, кроме записи в журнале изменений.

A screenshot of DeepSeek's official API Models & Pricing page (captured September 10, 2026) showing columns for deepseek-flash and deepseek-v4-pro, with model versions DeepSeek-V4.1-Flash and DeepSeek-V4-Pro-0813, both at 1M context length and 384K maximum output. Vision is marked supported for deepseek-flash and 'not supported' for deepseek-v4-pro. Pricing shows 1M cache-hit input tokens at $0.003 off-peak and $0.006 at peak for deepseek-flash versus $0.022 and $0.044 for deepseek-v4-pro, and 1M cache-miss input tokens at $0.15 off-peak and $0.3 at peak for deepseek-flash versus $0.66 and $1.32 for deepseek-v4-pro.

Этого не произошло. 11 сентября компания DeepSeek опубликовала на своей открытой платформе уведомление, в котором говорилось, что в ответ на запросы пользователей она продолжит предоставлять API-сервис DeepSeek V4 Pro после 14 сентября, не меняя тарификацию, — уведомление оставалось на платформе и 14 сентября, уже после наступления момента переключения, так что это актуальное заявление самой компании, а не слух о нём. Указанная причина — наименее удивительное в этой истории: разработчики возражали против того, что вендор молча подменяет веса, стоящие за названием модели, в производственной интеграции, а собственное многостороннее тестирование DeepSeek показало, что V4 Pro сохраняет преимущество по качеству на реальных рабочих нагрузках некоторых команд, даже там, где V4.1 Flash побеждает в публичных оценках.

Практический вывод прямо противоположен тому, что советовали публикации в день запуска. Если вы отметили 14 сентября в календаре, чтобы повторно протестировать интеграцию, привязанную к Pro, срок больше не действует: DeepSeek V4 Pro — это по-прежнему DeepSeek V4 Pro, и цена у него осталась прежней, а V4.1 Pro по-прежнему не анонсирована: ни карточки, ни числа параметров, ни даты, ни весов. Не изменилось лишь направление движения — DeepSeek явно намерена свести свою линейку к новой архитектуре, и единственное, что она подтвердила относительно старой, — это то, что не будет принуждать к переходу в фиксированную дату.

Обслуживание: 189 ГиБ таблиц n-грамм, и работа всё ещё не завершена

Формулировка доступности на момент запуска была такой: «работает на API вендора и больше нигде». Это уже не так, и то, где именно это перестало быть так, многое говорит об этой архитектуре.

SGLang и Miles выпустили поддержку DeepSeek V4.1 с первого дня, 10 сентября, в том же временном окне, что и сама модель, — так что пометка «без стороннего обслуживания», которая была на странице Hugging Face на момент запуска, устарела уже через несколько часов. Интересно не то, что она работает; интересно то, во что обходится её работа. Поскольку каждый шаг декодирования читает таблицы Engram, подход SGLang состоит в том, чтобы позволить размещать их в памяти GPU или в памяти хоста, причём выгрузка в хост освобождает примерно 46 ГиБ на каждый GPU под KV-кэш ценой примерно 200 ГБ оперативной памяти хоста на узле. На конфигурации GB300 с четырьмя GPU выгрузка в хост увеличила ёмкость KV-кэша на 36% при сопоставимой пропускной способности декодирования и времени до первого токена, а все 28 жадных пробных генераций совпали с базовым вариантом «всё на GPU». Это опционально, включается одной переменной окружения и не является поведением по умолчанию. У vLLM есть параллельная работа, идущая в обратном направлении — отображение шардов таблиц в память с диска, а не удержание их в оперативной памяти хоста, — что говорит об одном и том же с двух сторон: именно таблицы Engram, а не веса, ограничивают то, насколько дёшево можно обслуживать эту модель.

Самые последние изменения во всей этой истории находятся здесь, и они небольшие — такие, которые заслуживают того, чтобы их обозначили как небольшие. 15 сентября участник SGLang открыл пул-реквест #39666, добавив модуль Engram и общий адаптер истории запросов в ветку DeepSeek V4.1 проекта — 7 файлов, +1205/−11, причём адаптер предоставляет необязательные поля n-граммовой истории в планировщике и forward-батчах и восстанавливает эту историю при попаданиях по префиксу, отзывах и повторном использовании слотов. Он открыт и не слит, его запуски CI падали, и он ожидал ревью от девяти владельцев кода; собственное резюме автора прямо говорит об ограничениях, отмечая, что проверки поиска не доказывают корректность жизненного цикла запросов. Это был один из серии пул-реквестов DeepSeek V4.1, открытых в той ветке 15 сентября, большинство из них — от того же участника, охватывающих построение модели, визуальную башню, кодирование чата и слой ядер.

Затем 16 сентября план для более сложной половины обслуживания стал публичным. Задача в roadmap, #39700, описывает разделение prefill/decode для DeepSeek V4.1 на платформе B200 в виде поэтапного списка: сначала контекстный параллелизм на стороне prefill, затем эта работа prefill в сочетании с MegaMoE, BCG и multi-stream, затем элементы на стороне decode, среди них DP attention и память CUDA-graph. Первый этап был реализован в виде pull request #39748 под названием "[DSV4.1-PD-1/8] Support prefill node use cp parallel strategy", открытого в тот же день тем же автором. Он позволяет узлу prefill в дизагрегированном развёртывании запускать контекстно-параллельную стратегию, с эталонной конфигурацией из восьми B200 при TP4/EP4, запускающей MoE-раннер flashinfer_mxfp4 и спекулятивное декодирование DSPARK. Узел prefill принимает --enable-prefill-cp --cp-strategy interleave вместе с --disaggregation-mode prefill через бэкенд передачи Mooncake; узел decode работает вообще без флагов CP. Валидация — это оценка gsm8k плюс модульные тесты для текстовых и графических путей. Как и pull request Engram, он открыт, не объединён и в настоящее время заблокирован в CI из-за отсутствующей метки run-ci.

Чётко понимайте, чем всё это является, а чем — нет. Это инфраструктурная обвязка внутри рантайма, который уже обслуживает модель — она ничего не меняет в том, что делает DeepSeek V4.1 Flash, сколько это стоит или стоит ли вам это использовать. Это стоит этих строк только потому, что отмечает, где ещё остались острые углы. На стороне Engram история n-gram, переживающая откат и переиспользование префиксного кэша, — именно та деталь корректности, которая отличает демо от продакшен-эндпоинта. На стороне дизагрегации цель — операторы, которые разделяют prefill и decode между отдельными пулами, чтобы каждую половину можно было распараллелить под её собственное узкое место — развёртывание, референсная конфигурация которого начинается с восьми B200, а это решение о капитальных затратах, а не строка в конфигурационном файле. И серия обозначена как 1/8, тогда как задача роадмапа перечисляет её этапы в шести частях, причём вся половина декодирования всё ещё не написана: даже нумерация предварительна. Если вы не принимаете это решение о капитальных затратах, ничего из этого не видно с того места, где вы находитесь — DeepSeek V4.1 Flash уже доступен на OrcaRouter по указанному ниже сквозному тарифу, а обвязка остаётся на операторской стороне эндпоинта.

Вызываю DeepSeek V4.1 Flash сегодня

Строка о доступности изменилась и на нашей стороне, причём изменилась в том направлении, в котором, как читателям версии этой статьи на день запуска говорили, она не изменится. 10 сентября OrcaRouter не предоставлял DeepSeek V4.1 Flash — страница модели возвращала «модель не найдена», и эта статья прямо сообщала об этом, а не намекала на обратное. Теперь он его предоставляет: deepseek/deepseek-v4.1-flash доступен в каталоге по цене $0,15 за миллион входных токенов и $0,60 за миллион выходных токенов; собственный тариф провайдера DeepSeek передан как есть с наценкой 0%, и это же число стоит проверять, когда в следующий раз DeepSeek изменит цену. С момента появления он провёл через платформу 54 982,2 млн токенов при p50 времени до первого токена 811 мс и p95 3,03 секунды.

Что это даёт вам сверх той же тарифной сетки — это возможность относиться к архитектуре шестидневной давности как к эксперименту, а не как к обязательству. Отказоустойчивость означает, что вызов V4.1 Flash, который начинает выдавать ошибки под нагрузкой, можно перенаправить на другую модель без деплоя; DSL маршрутизации означает, что новую модель можно поставить на часть вашего трафика, а проверенную — на остальную часть, и сравнивать их на ваших собственных входных данных, а не по таблице лидеров; и любая другая модель в каталоге находится за тем же ключом, включая остальную линейку DeepSeek — DeepSeek V4 Flash и DeepSeek V4 Pro — так что переключение обратно — это изменение строки, а не второй контракт.

Здесь это важнее, чем обычно, по двум причинам, которые за шесть дней новостей стали вполне конкретными. Во-первых, ценовое преимущество реально, но зависит от того, сохранит ли провайдер ставку, а схема с прямой передачей — единственная, которая остаётся честной, когда он этого не делает. Во-вторых, единственное предостережение с недели запуска сохранилось: и преимущество в возможностях, и преимущество в затратах теперь измерены независимо, но измерены на одном стенде, на модели, название которой говорит «незначительное обновление», а архитектура — обратное. Маршрутизируйте её как новое поколение, потому что это именно оно, и держите её за уровнем, который вы можете менять.

Что всё ещё открыто?

Три вещи, в порядке возрастания того, насколько много они рассказали бы вам.

DeepSeek V4.1 Pro проверил бы заявление о семействе. DeepSeek V4.1 Flash называет себя самой маленькой моделью в новом семействе архитектур, а его собрат, который доказал бы, что семейство существует, до сих пор не имеет ни карточки, ни числа параметров, ни даты, ни весов, ни цены. Это также та модель, вокруг которой был выстроен весь манёвр по маршрутизации Pro, — теперь, когда от этого манёвра отказались.

Вторая независимая оценка стала бы проверкой этого результата. Intelligence Index 40 при 36 у модели, которую он заменил, — это однозначный результат на одном стенде и лишь одна точка данных в вопросе о том, опережает ли эта архитектура поколение или представляет собой хорошо оптимизированный шаг в сторону. Следите за вторым оценщиком, а также за тем, выдерживает ли путь обслуживания с выгрузкой Engram реальный трафик, а не жадные пробы, и за тем, превратится ли когда-нибудь разделение prefill/decode, которое сейчас поэтапно готовится в пул-реквестах, в историю с упаковкой, которую сможет развернуть обычная команда.

И полезный, хоть и негламурный, вопрос: повторит ли DeepSeek это снова. Второй ярлык .1 на ещё одной новой базовой модели превратил бы аномалию в норму, а норма — это то, что разработчик может заложить в свои планы. Одна модель — это курьёз. Обманчивость именования становится полезной, только когда появляется закономерность.

На данный момент практический вывод четко зависит от того, кто вы. Если вы используете DeepSeek V4 Pro, модель, стоящая за этим названием, не изменится 14 сентября или в какую-либо объявленную дату — DeepSeek отменил это решение, и вашу интеграцию можно не трогать. Если вы используете DeepSeek V4 Flash, вас уже переводят по той же цене на архитектуру, которую DeepSeek создал для масштабирования. А если вы ждали V5, честный ответ таков: похоже, DeepSeek выпустил это поколение, отказался давать ему имя, а затем обнаружил, что номер на коробке всё-таки имеет решающее значение.

Сравнение в этой статье4

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно