Jais 3 против SILMA 9B: вызов моделей между двумя разными эпохами арабского ИИ

Откройте SILMA AI — на сайте в первую очередь представлена SILMA TTS v2.0 — модель преобразования текста в речь, заявляющая 170 мс до первого токена для голосовых агентов. Пролистайте до футера — там по-прежнему есть ссылка на лидерборд арабских LLM, а модель, которую называет это сопоставление, — SILMA-9B-Instruct-v1.0 — двуязычная арабо-английская instruct-модель на 9B от организации silma-ai/ — всё ещё на Hub. Она была опубликована 17 августа 2024 года. Напротив неё стоит Jais 3, семейство от Institute of Foundation Models и Inception42, чьи веса появились 29 сентября 2026 года, а рецепты обслуживания были датированы 5 октября. Это разрыв в двадцать пять месяцев и смена отраслевой категории — и именно это делает данную страницу самой странной во всей подборке: не сопоставление двух соперников, а сопоставление чекпоинта из эпохи, когда арабские LLM оценивали по логарифмическому правдоподобию на переведённых бенчмарках, и семейства 2026 года, которое поставляет парсеры рассуждений и контекстные окна на 512K. Сравнение всё же стоит провести, потому что команды по-прежнему запускают SILMA 9B, и вопрос о том, что потребовалось бы для её замены, вполне реален.

Что на самом деле представляет собой каждая сторона

• Jais 3 — это семейство, а не модель: шесть базовых чекпойнтов — Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B и Jais-3-375B-A23B, плюс -Uno/варианты, все под Apache 2.0 и все без ограничений. Dense-модели построены на кастомной архитектуре k2_horizon/, требующей trust-remote-code.

• SILMA 9B — это один чекпоинт. silma-ai/SILMA-9B-Instruct-v1.0/ является производной Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — с пятью шардами safetensors, тегом пайплайна conversational и заявленными языками: арабский и английский.

• Лицензия — самое существенное практическое отличие. Jais 3 распространяется под Apache 2.0 без каких-либо ограничений. SILMA 9B использует лицензию Gemma и механизм подтверждения: в карточке модели extra_gated_button_content/ поле означает, что вы принимаете условия, прежде чем веса станут вашими, а лицензия Gemma содержит ограничения на использование, которых нет в Apache 2.0.

• Семейство, которое его заменило, небольшое. Более поздние релизы SILMA AI — это SILMA-Kashif-2B-Instruct-v1.0 от января 2025 года и пара моделей эмбеддингов от октября 2024 года. У SILMA 9B нет преемника, нет 27B, нет варианта MoE. Самый новый артефакт организации с большим отрывом — silma-tts/ от марта 2026 года.

• Контекст — до 524 288 токенов в большей части линейки Jais 3, 128K у 0.9B. В карточке SILMA вообще не публикуется значение длины контекста.

Эталонная задача, сформулированная до того, как приведено какое-либо число.

Опубликованные результаты SILMA 9B происходят из иной культуры измерений, чем у Jais 3, и это различие не сводится к степени.

• Показатели SILMA — это оценки логарифмического правдоподобия на испытательном стенде Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ на фоне Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4), а также целого ряда переведённых бенчмарков. Его собственный главный показатель — оценка Arabic Broad Benchmark 6.15 из 10.

• Показатели Jais 3 — это точность сгенерированных ответов на проверенном наборе образцов. IFM сообщает, что Arabic MMLU составляет 89.3 для 375B, 88.6 для 32B, 85.2 для 7B и 83.3 для 3.7B, при этом звёздочкой отмечены бенчмарки, очищенные от неоднозначных вопросов, недопустимых вариантов и необоснованных эталонных меток, — и публикует исключённые образцы.

• Это не одно и то же измерение. Оценка логарифмического правдоподобия в заданиях с множественным выбором и точность сгенерированных ответов на очищенном наборе не совпадут, и разрыв между ними не является мерой качества модели. Поставить 85,2 рядом с 52,55 и назвать это победой в 33 пункта — это было бы самым вводящим в заблуждение предложением из всех возможных на этой странице, и именно такое предложение написало бы большинство статей-сравнений.

• Ни у одного из них нет независимой оценки. Ни один из них не представлен в Artificial Analysis. Нет результатов в arena. Каждый показатель в этом разделе сообщён вендором — той лабораторией, которая его опубликовала, а показатели Jais 3 дополнительно сопровождаются собственной сноской IFM о том, что использованный уровень усилий рассуждения был высоким/ при каждом запуске.

Сравнение с подбором по размеру — это то, что имеет значение.

Если у вас есть SILMA 9B, то честным кандидатом на замену Jais 3 является Jais-3-7B или Jais-3-3.7B, а не флагманская модель. Обе — dense-модели, обе запускаются при tensor parallelism 1 в bfloat16 в рецепте vLLM, и обе не имеют ограничений доступа.

• Ресурсоёмкость — Jais-3-7B при TP=1 на одном GPU против пятишардового Gemma 2 9B от SILMA 9B. Сопоставимая стоимость хостинга, поэтому обновление — это вопрос качества и возможностей, а не аппаратного обеспечения.

• Контекст — 524 288 токенов для Jais-3-7B при отсутствии опубликованного значения для SILMA 9B. Это та строка, где рабочая нагрузка перепроектируется, а не портируется.

• Edge- и квантованные сборки — GGUF для llama.cpp и Ollama как для 3.7B, так и для 7B, а также MLX 4-бит, 8-бит и bf16 для Apple silicon. У SILMA 9B есть GGUF-конверсии, но это сторонние загрузки 2024 года, а производитель не опубликовал ни одной.

• Специфичные для арабского языка аспекты — IFM публикует полный набор арабских бенчмарков для каждого чекпойнта, охватывающий диалекты, диакритизацию, синтаксический разбор, IslamicQA, арабскую культуру и перевод. Карточка SILMA отчитывается через агрегированные столбцы таблицы лидеров и собственную оценку по широкому бенчмарку, с гораздо меньшей детализацией по отдельным возможностям.

• Лицензия — Apache 2.0 против лицензии Gemma плюс ограничение. Для коммерческого арабского пайплайна одного этого различия может хватить, чтобы решить вопрос миграции.

Что по-прежнему остаётся преимуществом SILMA 9B

Две вещи, и ни одна из них не является бенчмарком.

• Это Gemma. gemma2/ чекпойнт работает на любом стеке, который уже запускает Gemma 2 — без --trust-remote-code/, без пользовательских флагов парсера, без реализации модели под конкретную архитектуру. Jais 3 требует trust-remote-code, k2_horizon/ парсер рассуждений, k2_horizon/ парсер вызовов инструментов и зависящее от языка сэмплирование: температура 1.0 для английского и 0.7 для арабского в режиме размышления по сравнению со значением по умолчанию 0.2, при этом рекомендуется не менее 32 768 выходных токенов. Портирование — это настоящая работа.

• Он стабилен, и вокруг него есть таблица лидеров. SILMA AI поддерживает пространство Arabic LLM Broad Leaderboard, а с чекпойнтом двухлетней давности связаны два года историй использования в продакшене. Это уже кое-что, когда альтернатива — модель, опубликованная три недели назад, без сторонней оценки, без технического отчёта — IFM помечает её как «скоро» — и без опубликованной цены.

Решение о миграции и как сделать его обратимым

Замените SILMA 9B, если ваша рабочая нагрузка связана с длинноконтекстными документами, агентным использованием инструментов или достаточно коммерчески чувствительна, чтобы лицензия Gemma стала проблемой. Одной только строки о контексте уже достаточно для оправдания: модель без опубликованного показателя контекста против модели, доходящей до полумиллиона токенов, — это не близкий выбор для работы с документами.

Оставьте это, если пайплайн уже отлажен, лицензия Gemma уже урегулирована, и всё работает на стандартных transformers — потому что честный противовес таблице бенчмарков Jais 3 состоит в том, что эта таблица — от IFM, модели всего три недели, и за всем этим не стоит ни одной независимой цифры. Обновление работающего арабского продакшен-пути до трёхнедельного чекпойнта, полагаясь на цифры вендора, — это ошибка, которую данное сравнение призвано предотвратить.

Способ получить и то, и другое — сначала запустить их параллельно, и причина, по которой это раньше было дорого, в том, что это означало две интеграции и стенд для сравнения. OrcaRouter сводит это на нет: один API к более чем 200 моделям с наценкой 0%, прейскурантная цена провайдера передаётся как есть, так что сравнение превращается в изменение маршрутизации, а не в отдельный проект — и DSL маршрутизации — правильный инструмент именно для задачи отправки идентичных арабских промптов двум моделям и оценки ответов, потому что он объединяет их в один вызов и возвращает оба. Автоматическое переключение при сбое — это то, что делает следующий шаг безопасным: новая опубликованная модель получает часть реального трафика, пока ваша проверенная модель берёт на себя остальное и подхватывает запросы, которые новая теряет. Ни той, ни другой модели сейчас нет в нашем каталоге; список моделей — вот куда стоит заглянуть, прежде чем проектировать под собственный хостинг.

Что посмотреть

Четыре вещи, в порядке того, насколько сильно они изменили бы эту страницу. Преемник SILMA 9B, который превратил бы категориальное несоответствие обратно в реальное сравнение. Любая независимая оценка чекпойнта Jais 3, которая сделала бы весь раздел с бенчмарками ненужным. Технический отчёт IFM, сейчас указанный как «скоро появится». И опубликованная цена на Jais 3, которой нигде нет. Пока хотя бы одна из этих вещей не появится, защитимая трактовка этого сравнения — архитектурная: лицензия, ограничение доступа, контекст, инструментарий, линейка размеров — а оценки следует читать как две лаборатории, измеряющие две разные вещи в два разных года.