Jais 3 vs Fanar 2: два вендора расходятся в том, какие оценки набирает Fanar 2.

J​ais 3 и Fanar 2 — это два флагманских арабских семейства моделей региона Персидского залива, и самое полезное, что можно сказать при их сравнении, — это то, что собственные показатели вендоров для Fanar-2-27B-Instruct не совпадают. В карточке модели QCRI для её 27B instruct-модели указаны ArabicMMLU 74,67% и Belebele 86,81%. А в карточке J​ais-3-32B от Института фундаментальных моделей и Inception42 тот же соперник прогоняется по собственной эталонной таблице и Fanar-2-27B получает 66,3 по Arabic MMLU и 61,8 по Belebele. Для одной модели это разрыв в восемь пунктов по одному бенчмарку и в двадцать пять пунктов по другому, и ни одна из этих цифр не является выдумкой — это результат разных испытательных стендов, разных форматов промптов, а в случае IFM — аудированной выборки. Это также самое поучительное, что есть на этой странице, потому что это означает, что сравнение J​ais 3 и Fanar 2, построенное на опубликованных цифрах, — это сравнение двух практик измерения в не меньшей степени, чем двух моделей.

Две карты, прямо говоря

• J​ais-3-32B — плотная модель-декодер только на 32B от IFM, до 524 288 токенов контекста, Apache 2.0, веса опубликованы 29 сентября 2026 года. Поставляется с парсером рассуждений (k2_horizon), парсером вызовов инструментов и тремя выбираемыми форматами вызовов инструментов. Работает при тензорном параллелизме 2 в bfloat16.

• Fanar-2-27B-Instruct — плотная 27B-модель от QCRI при Университете Хамада бин Халифы, 32 768 токенов контекста, Apache 2.0, выпущена в марте 2026 года. Непрерывно предобучалась на основе google/gemma-3-27b-pt с использованием примерно 166 млрд арабских и английских токенов по трём рецептам, а затем объединена, после чего последовал пятиэтапный пайплайн пост-обучения.

• Диапазон масштабов — J​ais 3 — это семейство из шести базовых контрольных точек от 0,9B до 375B, включая две модели смеси экспертов. Языковая линейка Fanar 2 — это по сути одна instruct-модель на 27B, а её аналоги представлены в других модальностях, а не в виде меньших текстовых контрольных точек.

• Лицензия — Apache 2.0 с обеих сторон, без ограничений доступа с обеих сторон. Ни одно из семейств не заставляет вас что-либо подписывать, и об этом стоит сказать, потому что для этого региона это не норма.

• Базовая архитектура — Jais 3 обучена компанией IFM на собственной архитектуре (k2_horizon, требуется собственный удалённый код). Fanar 2 — это продолженное предобучение Google Gemma 3 27B, что делает её артефактом иного рода: качественно выполненной адаптацией, а не обучением с нуля.

Где цифры расходятся — и почему это не скандал

Разбирайте названия бенчмарков по одному, потому что метка делает меньше, чем кажется на первый взгляд.

• ArabicMMLU против Arabic MMLU* — В карточке Fanar указано 74,67% для бенчмарка, который она называет ArabicMMLU. В таблице IFM в колонке под названием Arabic MMLU* указано 66,3, причём звёздочка означает, что IFM исключила вопросы с неоднозначными формулировками, некорректными вариантами ответов или необоснованными эталонными метками. Это два разных набора выборок, один из которых очищен, и ни одна из лабораторий не обязана сообщать данные другой.

• Belebele, 86,81 против 61,8 — гораздо больший разрыв, и объяснение через харнесс здесь становится ещё более натянутым. Показатель Fanar относится к диалектному арабскому; в столбце IFM указано то же название бенчмарка. Двадцать пять пунктов — это не разница из-за округления, и честный вывод состоит в том, что как минимум один из этих запусков измеряет не то, что другой.

• IF-Eval, 82.97 против 49.8 — Fanar сообщает о 82.97 на IF-Eval в собственной таблице улучшений. В справочной колонке IFM для Fanar-2-27B указано 49.8 на Arabic IFEval. Та же способность, другой язык и другой набор промптов.

• В чём оба сходятся по форме, пусть и не по уровню — Fanar 2 — это большой шаг вперёд по сравнению с Fanar 1. QCRI сообщает о +7.32 по ArabicMMLU, +10.68 по GSM8K и +8.27 по IF-Eval по сравнению со своим собственным 9B-предшественником. Это утверждение внутренне непротиворечиво, и никто его не оспаривает.

Правило, которое из этого следует, — не «одна лаборатория жульничает». Оно в том, что для арабских бенчмарков число без привязанного к нему тестового стенда — не число. IFM по крайней мере отмечает, какие из своих собственных цифр она проверила, и публикует исключённые образцы в отдельной коллекции — это больше, чем делают большинство лабораторий, — но это всё равно IFM, проверяющая собственную оценку конкурента.

Контекст и развёртывание — вот где сравнение оказывается чистым.

Эти строки не являются предметом аргументов harness, потому что они — архитектурные факты, а не измерения.

• Контекст — 524 288 токенов для J​ais-3-32B против 32 768 у Fanar-2-27B-Instruct. Окно в шестнадцать раз больше, а в карточке Fanar указано, что во время обучения использовались 54K инструкций с длинным контекстом для достижения 16K, что означает, что обученное поведение при длинном контексте с большим запасом укладывается в номинальные 32K.

• Ресурсы для обслуживания — J​ais-3-32B при TP=2, bfloat16, vLLM ≥ 0.30.0 или SGLang ≥ 0.5.20. Fanar-2-27B протестирован с transformers 4.57.6 и имеет стандартную конфигурацию G​emma 3 27B, поэтому он встраивается в любой стек, где уже работает G​emma.

• Инструменты, поставляемые вместе с моделью — Jais 3 включает парсер рассуждений, парсер вызовов инструментов и выбор json, xml или xml_typed в качестве форматов инструментов, доступных как первоклассные флаги обслуживания. Fanar 2 поддерживает универсальный вызов инструментов, а также десять встроенных инструментов Fanar, однако поверхность интеграции — это собственный API вендора, а не набор флагов фреймворка.

• Независимая оценка — ни у одного из них нет записи в Artificial Analysis, ни у одного нет оценки на арене, и ни один не имеет независимого воспроизведения. Цифры обоих семейств заявлены производителями, и статья говорит об этом перед тем, как их цитировать, каждый раз.

Что есть у Fanar 2, чего нет у Jais 3

Три вещи, и они не маленькие.

• Нативные арабские цепочки рассуждений. Fanar 2 был обучен примерно на 250 000 арабских примеров рассуждений и генерирует свою цепочку рассуждений на арабском, а не переводит её с английской трассировки. J​ais 3 предоставляет парсер рассуждений и сообщает о высоких показателях арабских агентных задач, но в его карточке нет такого же утверждения о языке, на котором происходит мышление.

• Снижение галлюцинаций как спроектированное поведение. Fanar 2 обучен воздерживаться — зондирование знаний во время обучения, пятиэтапные структурированные трассировки проверки, калиброванные ответы «Я не знаю» — и он оборачивает спонтанные ссылки на аяты Корана в маркеры проверки, чтобы нижестоящая система могла их проверить. Эта последняя особенность необычна и не имеет аналога в карточке J​ais 3.

• Продукт вокруг модели. QCRI выпускает чат-интерфейс, приложения для iOS и Android и документированный API с процессом запроса доступа, а также родственные модели для генерации изображений, понимания изображений и поэзии. J​ais 3 — это релиз весов с рецептами для фреймворков; речевая модель идёт рядом с ним, а всё остальное — исследовательский артефакт.

Это различия в возможностях, а не в бенчмарках, и справедливая интерпретация состоит в том, что Fanar 2 более завершён как продукт, тогда как J​ais 3 более амбициозен как модель.

Что на самом деле говорят агентные колонки, с прикреплённой звёздочкой

Собственная таблица IFM — единственное опубликованное прямое сравнение этих двух моделей, и она не льстит Fanar: Terminal Bench 2.1 — 63,7 против 1,1, GDPVal — 75,5 против 0,0, MCPMark — 66,1 против 12,1, SWE-Bench Verified — 72,4 против 0,4, обработка арабских файлов — 71,8 против 0,0.

Читайте их такими, какие они есть. Это измерения IFM модели конкурента, выполненные IFM, на испытательном стенде IFM и опубликованные в карточке модели IFM. Ноль на GDPVal и 0,4 на SWE-Bench Verified для 27B instruct-модели правдоподобны — это агентные бенчмарки, которые наказывают модели без масштабных данных обучения вызовам инструментов, а агентная работа Fanar 2 ориентирована на его собственные десять инструментов, а не на общие задачи разработки ПО. Но лаборатория, которая сообщает, что её собственная модель выигрывает в каждой строке построенной ею таблицы, рассказывает вам о своей оценке, а не о мире.

Более узким является утверждение, которое можно защитить: на опубликованном стенде IFM Jais-3-32B превосходит Fanar-2-27B-Instruct в каждом заявленном агентном бенчмарке, а в карточке Fanar агентные бенчмарки вообще не указаны, поэтому ничто ему не противоречит и ничто его не подтверждает. Опубликованные доказательства односторонни, потому что их опубликовала только одна сторона.

Какой выбрать?

Длинный контекст, агентная работа или необходимость выбрать размер чекпоинта: J​ais 3, и по контексту здесь нет близкой конкуренции. Окно в 512K против 32K само по себе определяет обработку документов, работу в масштабе репозитория и длинные агентные траектории.

Арабское рассуждение, которое вы намереваетесь читать, поведение отказа от ответа, на которое можно положиться, обработка коранического контента или вендор с приложением и каналом поддержки: Fanar 2. Пайплайн постобучения QCRI поистине сложен — 4 млн инструкций SFT, 280 тыс. пар DPO, пять этапов, намеренный проход по перебалансировке возможностей, чтобы адаптация к длинному контексту не ухудшала короткоформатные задачи — и это проявляется в измерениях, которые не отражает ни одна колонка лидерборда.

Если решение даётся трудно, потому что обе модели выглядят правдоподобно для одной и той же рабочей нагрузки, то вопрос решили бы ваши собственные запросы, прогнанные на обеих и оценённые по вашим собственным критериям. Это тот эксперимент, который никто не публиковал для этих двух моделей, и он стоит больше, чем все числа, приведённые выше.

Запустить это теперь проще, чем раньше. OrcaRouter даёт вам один ключ к более чем 200 моделям с наценкой 0%, цена из прайс-листа провайдера передаётся как есть, так что сравнительное тестирование двух арабских чекпойнтов — это изменение маршрутизации, а не две отдельные интеграции, — а оценка по каждому пункту — как раз тот случай, для которого создан DSL маршрутизации, потому что он позволяет отправить один и тот же запрос обеим моделям в рамках одного составного вызова, вместо того чтобы писать собственный стенд для сравнения. Ни одно из этих семейств сейчас нет в нашем каталоге; список моделей — это то место, где можно проверить, что.

Что могло бы это уладить?

Один независимый прогон обеих моделей на общем стенде, опубликованный вместе с промптами. Вот чего недостаёт, и недостаёт для каждой из основных арабских моделей, а не только для этих двух — вся сфера работает на самостоятельно заявленных числах, поэтому расхождение в восемь пунктов по ArabicMMLU для Fanar 2 может семь месяцев оставаться на виду, и никто его не разрешает. Пока кто-нибудь этого не сделает, считайте таблицу Jais 3 аргументом IFM, а таблицу Fanar 2 — аргументом QCRI, и считайте архитектурные факты — 512K против 32K, семь контрольных точек против одной, флаги парсера против хостируемого API — той частью, вокруг которой вы действительно можете строить планы.

Чего цифры не могут вам сказать, так это того, не пошло ли что-то не так на практике: задокументированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись сопровождается собственными источниками, оценкой серьёзности, уровнем достоверности и отметкой о спорности.