Jais 3 появляется в vLLM раньше, чем в пресс-релизе

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Рецепты настоящие, и они конкретны.

Анонсы о поддержке фреймворков обычно состоят из одного предложения и ссылки. В этом же есть исполняемое содержимое, и его стоит внимательно прочитать, потому что оно показывает, во что на самом деле обойдётся развёртывание, прежде чем вы скачаете порядка 700 гигабайт весов.

• vLLM — рецепты рассчитаны на vllm>=0.30.0/. Флагманская модель 375B требует --tensor-parallel-size 16 --enable-expert-parallel/ на чекпоинте bfloat16, то есть 16× H100 80GB на двух 8-GPU узлах в собственном эталонном развёртывании IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — параллельный рецепт ориентирован на sglang>=0.5.20/, при этом двухузловая конфигурация 375B работает с TP=16 и EP=16, FlashAttention-3, а многопоточная загрузка весов явно отключена.

• H200 меняет арифметику — при 141 ГБ на GPU флагманская модель помещается на одном узле H200 с 8 GPU. В карточке IFM сказано, что в этом случае следует снизить тензорный и экспертный параллелизм до 8. Один узел вместо двух — это не погрешность округления в модели затрат.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Что делает поддержку чем-то большим, чем галочкой совместимости, так это то, что архитектура действительно кастомная. Конфиги Hub объявляют model_type: k2_horizon/ и K2HorizonForCausalLM/ с кастомным удалённым кодом, 375B содержит 192 эксперта и маршрутизирует 8 на токен. Это тот тип модели, который обычно появляется в фреймворке через недели после запуска со списком патчей в примечаниях к релизу, а не с зафиксированным рецептом, датированным до пресс-релиза.

Агентный с арабским как родным, в тех флагах, которые он фактически принимает

«Agentic» — это слово в заголовке анонса, и именно на командах обслуживания можно проверить, значит ли оно что-нибудь. По большей части значит.

• --reasoning-parser k2_horizon/ разделяет ход размышлений и ответ. Размышления возвращаются в reasoning_content/, а ответ — в content/, и в этом разница между цепочкой мыслей, которую можно логировать, и той, которую приходится извлекать регулярным выражением из тела ответа.

• --tool-call-parser k2_horizon с --enable-auto-tool-choice включает использование инструментов, и модель поддерживает три формата вызова инструментов — json, xml и xml_typed— выбираемые для каждого запроса через chat_template_kwargs, по умолчанию — xml.

• Глубина рассуждений — это настройка для каждого запроса, а не решение о развёртывании. {"reasoning_effort": "high"}/ — это значение по умолчанию, и именно с ним были получены все опубликованные числа; "low"/ полностью отключает рассуждения, и в собственной карточке IFM сказано, что low не рекомендуется вне исследований по усилию рассуждения.

• Параметры сэмплирования меняются в зависимости от языка — это необычно и заслуживает внимания. По умолчанию: temperature 0.2, top_p 0.95, top_k 20. В режиме размышления IFM запрашивает temperature 1.0 для английского и 0.7 для арабского. Единая глобальная настройка temperature — неправильная конфигурация для этой модели.

• Бюджет вывода большой. Карточка рекомендует как минимум 32,768 токенов вывода — это красноречивый намёк на то, как долго выполняются цепочки рассуждений, и реальное ограничение на тайм-аут одного запроса, если вы привыкли к завершениям в 4K.

Что семья на самом деле выпускает

Шесть базовых чекпоинтов, а не один. Разброс важнее флагмана, потому что именно он определяет, останется ли это семейство исследовательским артефактом или станет чем-то, что можно поставить под рабочую нагрузку.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Квантованные и edge-форматы уже выпущены — сборки FP8, GGUF для llama.cpp и Ollama, а также MLX 4-bit, 8-bit и bf16 для Apple silicon, опубликованные по всей организации IFM. Сборки MLX для 32B вышли 1 октября, сборки GGUF для 3.7B и 7B — 13 октября. Никому не нужно было ждать последующего релиза, чтобы запустить их локально.

• Лицензия Apache 2.0 для всего базового семейства, без каких-либо ограничений на репозитории inception42. Это принципиально иная позиция по сравнению с рядом арабских моделей, с которыми это семейство теперь конкурирует.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Цифры принадлежат поставщику, и этот поставщик их проверяет.

Каждый приведённый ниже показатель бенчмарка взят из собственных карточек моделей IFM и не был воспроизведён третьей стороной. Это предложение должно стоять перед числами, а не после них.

• Arabic MMLU, флагманская модель: 89.3. Arabic MMLU с огласовками: 88.2.

• Belebele: 95,6. MMLU для диалектного арабского: 89,6. Идентификация диалекта (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. Арабский GSM8K: 86,8. GATmath: 98,4.

• Арабский IFBench, строгий на уровне промпта: 93.9. Арабский IFEval: 77.7. FLORES200+ LLM-as-a-judge: 91.9.

• Агентные: Terminal Bench 2.1 — 73,8, GDPVal — 73,2, MCPMark — 68,5, SWE-Bench Verified (офлайн) — 70,2, GAIA v2 lit (арабский) — 50,3. Apex-Agents — тот, кто не даёт таблице врать, с показателем 18,6.

Методологическая записка — это та часть, которую стоит засчитать. IFM отмечает бенчмарки, которые прошли аудит на качество выборки, при этом неоднозначные вопросы, недопустимые варианты ответов и неоправданные золотые метки исключаются, а методологию аудита, исключённые образцы и список проверенных бенчмарков он публикует отдельной коллекцией. Это не рецензирование, и оно не делает оценку вендора независимой, но лаборатория, которая сообщает, какие из своих собственных чисел она очистила, — это лаборатория, к которой можно относиться с большей уверенностью, чем к той, которая этого не делает. Оценки на очищенных наборах — это также не то же самое, что оценки на бенчмарке в том виде, в каком его обычно запускают, и именно отметки со звёздочкой нужно проверять, прежде чем сравнивать с чьей-то ещё таблицей.

Две вещи, на которые никто не ответил

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Независимой оценки нет.У Artificial Analysis нет записи, ни одна арена не опубликовала результаты прямых сравнений, и ни один нейтральный лидерборд не прогонял это семейство. Технический отчёт указан на карточке модели как «скоро появится», как и репозиторий кода. Пока что-то за пределами лаборатории не запустит эти веса, правильная интерпретация 95,5 на AraSTEM — «IFM утверждает 95,5».

Если вы хотите попробовать это до того, как появится счёт

Веса открыты и распространяются под Apache 2.0, поэтому самая дешёвая оценка — на собственном оборудовании, а приведённые выше рецепты достаточно коротки, чтобы запустить их уже сегодня. Сложнее поставить это семейство за чем-то реальным, потому что для этого пришлось бы развернуть кластер из 16 GPU — или арендовать его, — чтобы выяснить, заслуживает ли модель без независимой оценки места в производственном контуре.

Это тот случай, когда маршрутизирующий слой оправдывает своё существование, а не просто украшает диаграмму архитектуры. OrcaRouter даёт вам единый API для более чем 200 моделей с автоматическим переключением при сбое, так что арабоязычная нагрузка может направить часть трафика на непроверенную модель, а остальное пусть примет на себя что-то уже измеренное — оценка идёт на реальных промптах, а плохой ответ или неработоспособный эндпоинт приводит к переключению на резервный вариант, а не к падению запроса вместе с ним. Каталог стоит проверить, прежде чем планировать развёртывание на собственном хостинге, потому что он меняется. Если модели нет в нём сегодня, она может появиться на следующей неделе, а страница цен — честный источник того, сколько всё стоит, когда она там окажется.

Что отслеживать дальше — узко и конкретно: технический отчёт, репозиторий кода, первая цифра от кого-то, кто не IFM, и опубликованная цена. Любой из этих пунктов изменит этот материал. Ни один из них пока не появился, и именно поэтому поддержка фреймворка с первого дня — это та часть этого запуска, которая на данный момент поддаётся проверке.

Чего цифры не могут вам сказать, так это того, не пошло ли что-то не так на практике: задокументированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись сопровождается собственными источниками, оценкой серьёзности, уровнем достоверности и отметкой о спорности.