Jais 3 vs SILMA 9B: Um Desafio de Modelos Entre Duas Eras Diferentes da IA Árabe

Abra SILMA AI e o carro-chefe com que ela se apresenta é o SILMA TTS v2.0, um modelo de conversão de texto em fala que cita 170 ms de tempo até o primeiro token para agentes de voz. Role até o rodapé e ainda há um link para um ranking de LLMs em árabe, e o modelo que esta comparação nomeia — SILMA-9B-Instruct-v1.0, um modelo instruct bilíngue de 9B em árabe e inglês da organização silma-ai/ — ainda está no Hub. Foi publicado em 17 de agosto de 2024. Do outro lado está o Jais 3, a família do Institute of Foundation Models e da Inception42 cujos pesos chegaram em 29 de setembro de 2026 e cujas receitas de serving foram carimbadas em 5 de outubro. Isso representa um intervalo de vinte e cinco meses e uma mudança de categoria do setor, e faz desta a página mais estranha do conjunto: não uma disputa entre dois rivais, mas entre um checkpoint da época em que os LLMs em árabe eram avaliados por log-likelihood em benchmarks traduzidos e uma família de 2026 que entrega parsers de raciocínio e janelas de contexto de 512K. A comparação ainda vale a pena, porque as equipes ainda usam o SILMA 9B, e a questão do que seria necessário para substituí-lo é real.

O que cada lado realmente é

• Jais 3 é uma família, não um modelo — seis checkpoints base, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B e Jais-3-375B-A23B, além de -Uno/ variantes, todos sob Apache 2.0 e todos sem restrições. Os modelos densos são construídos sobre uma arquitetura personalizada k2_horizon/ que exige trust-remote-code.

• SILMA 9B é um checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ é um derivado do Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — com cinco shards de safetensors, uma tag de pipeline conversacional e árabe e inglês declarados como seus idiomas.

• A licença é a diferença prática mais marcante. O Jais 3 é Apache 2.0 sem barreira. O SILMA 9B vem com a licença Gemma e uma barreira de aceitação: no card, o campo extra_gated_button_content/ significa que você aceita os termos antes de os pesos serem seus, e a licença Gemma traz restrições de uso que o Apache 2.0 não tem.

• A família que o substituiu é pequena. Os lançamentos posteriores da SILMA AI são SILMA-Kashif-2B-Instruct-v1.0 de janeiro de 2025 e um par de modelos de embedding de outubro de 2024. Não há sucessor do SILMA 9B, nem 27B, nem variante MoE. O artefato mais recente da organização, de longe, é silma-tts/ de março de 2026.

• Contexto — até 524.288 tokens na maior parte da linha Jais 3, 128K no 0.9B. A ficha do SILMA não divulga nenhum valor de comprimento de contexto.

O problema de benchmark, enunciado antes de qualquer número ser citado.

Os resultados publicados do SILMA 9B vêm de uma cultura de medição diferente da do Jais 3, e a diferença não é uma questão de grau.

• Os números do SILMA são pontuações de log-verossimilhança na estrutura de avaliação do Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ em relação ao Arabic MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4), além de uma série de benchmarks traduzidos. Seu próprio destaque é uma pontuação de 6,15 de 10 no Arabic Broad Benchmark.

• Os números do Jais 3 referem-se à exatidão de respostas geradas em um conjunto de amostras auditado. A IFM reporta o MMLU em árabe com 89,3 para o 375B, 88,6 para o 32B, 85,2 para o 7B e 83,3 para o 3,7B, com o asterisco marcando os benchmarks que ela depurou de perguntas ambíguas, opções inválidas e rótulos de referência indefensáveis — e publica as amostras excluídas.

• Estas não são a mesma medição.A pontuação por log-verossimilhança em múltipla escolha e a acurácia das respostas geradas em um conjunto de dados limpo não vão concordar, e a diferença entre elas não é uma medida da qualidade do modelo. Colocar 85.2 ao lado de 52.55 e chamar isso de uma vitória de 33 pontos seria a frase mais enganosa disponível nesta página, e é a frase que a maioria dos artigos de comparação escreveria.

• Nenhum dos dois tem uma pontuação independente. Nenhuma entrada no Artificial Analysis para qualquer um deles. Nenhum resultado de arena. Todos os números desta seção são informados pelo fornecedor, qualquer que seja o laboratório que os publicou, e os números do Jais 3 trazem ainda a nota de rodapé do próprio IFM de que a configuração de esforço de raciocínio usada foi alta/ em todas as execuções.

A comparação emparelhada por tamanho é a que tem significado.

Se você tem o SILMA 9B, o candidato honesto de substituição do Jais 3 é Jais-3-7B ou Jais-3-3.7B, não o modelo principal. Ambos são densos, ambos rodam com paralelismo de tensores 1 em bfloat16 na receita do vLLM, e ambos não têm gate.

• Pegada — Jais-3-7B com TP=1 em uma única GPU contra o Gemma 2 9B de cinco fragmentos do SILMA 9B. Custo de hospedagem comparável, portanto a atualização é uma questão de qualidade e capacidade, e não de hardware.

• Contexto — 524.288 tokens para o Jais-3-7B, contra nenhum valor publicado para o SILMA 9B. Esta é a linha em que uma carga de trabalho é rearquitetada em vez de portada.

• Builds edge e quantizados — GGUF para llama.cpp e Ollama tanto no 3.7B como no 7B, e MLX 4-bit, 8-bit e bf16 para Apple silicon. O SILMA 9B tem conversões GGUF, mas são uploads de terceiros de 2024 e o fornecedor não publicou nenhuma.

• Superfícies específicas do árabe — A IFM publica um conjunto completo de benchmarks de árabe por checkpoint, cobrindo dialetos, diacritização, parsing, IslamicQA, cultura árabe e tradução. A ficha do SILMA reporta por meio das colunas agregadas do ranking e da sua própria pontuação de benchmark amplo, com muito menos detalhe por capacidade.

• Licença — Apache 2.0 contra a licença Gemma mais um gate. Para um pipeline comercial em árabe, só essa diferença pode decidir a migração.

O que o SILMA 9B ainda tem a seu favor

Duas coisas, e nenhuma delas é um benchmark.

• É um Gemma. Um checkpoint gemma2/ roda em qualquer stack que já roda o Gemma 2 — sem --trust-remote-code/, sem flags de parser personalizadas, sem implementação de modelo específica de arquitetura. O Jais 3 precisa de trust-remote-code, um k2_horizon/ parser de raciocínio, um k2_horizon/ parser de chamada de ferramentas e amostragem dependente de idioma: temperatura 1.0 para inglês e 0.7 para árabe no modo de pensamento, contra um padrão de 0.2, com pelo menos 32.768 tokens de saída recomendados. Portar é trabalho de verdade.

• É estável, e há uma tabela de classificação em torno dele. A SILMA AI mantém um espaço Arabic LLM Broad Leaderboard, e um checkpoint de dois anos tem dois anos de histórias de produção associadas a ele. Isso não é pouca coisa quando a alternativa é um modelo publicado há três semanas, sem avaliação de terceiros, sem relatório técnico — a IFM o lista como "em breve" — e sem preço publicado.

A decisão de migração, e como torná-la reversível

Substitua o SILMA 9B se a sua carga de trabalho envolver documentos de contexto longo, uso de ferramentas agênticas, ou for comercialmente sensível o suficiente para que a licença Gemma seja um problema. Só a linha de contexto já justifica isso: um modelo sem número de contexto publicado contra um que chega a meio milhão de tokens não é uma escolha difícil para trabalho com documentos.

Mantenha-o se o pipeline estiver consolidado, a licença do Gemma já tiver sido liberada e tudo funcionar com transformers padrão — porque o contrapeso honesto à tabela de benchmarks do Jais 3 é que a tabela é da IFM, o modelo tem três semanas e não há nenhum número independente por trás de nada disso. Atualizar um caminho de produção árabe em funcionamento para um checkpoint com três semanas de idade com base em números do fornecedor é o erro que esta comparação existe para evitar.

A forma de obter ambos é executá-los lado a lado primeiro, e o motivo pelo qual isso costumava ser caro é que significava duas integrações e uma estrutura de comparação. O OrcaRouter elimina isso: uma API para mais de 200 modelos com 0% de markup, preço de tabela do provedor repassado, então um teste comparativo é uma mudança de roteamento em vez de um projeto — e a DSL de roteamento é a ferramenta certa para a tarefa específica de enviar prompts idênticos em árabe para dois modelos e pontuar as respostas, porque ela os compõe em uma única chamada e retorna ambos. O failover automático é o que torna o próximo passo seguro, permitindo que um modelo recém-publicado receba uma fatia do tráfego real enquanto seu modelo consolidado absorve o resto e captura as requisições que o novo descarta. Nenhum dos modelos está no nosso catálogo no momento; a lista de modelos é onde procurar antes de projetar em torno de uma auto-hospedagem.

O que assistir

Quatro coisas, em ordem de quanto elas mudariam esta página. Um sucessor do SILMA 9B, que transformaria uma incompatibilidade de categoria de volta em um confronto real. Qualquer avaliação independente de um checkpoint do Jais 3, o que tornaria desnecessária toda a seção de benchmarks. O relatório técnico da IFM, atualmente listado como em breve. E um preço publicado para o Jais 3, do qual não existe nenhum em lugar algum. Até que pelo menos uma dessas coisas se concretize, a leitura defensável desta comparação é arquitetural — licença, gating, contexto, ferramentas, escada de tamanhos — e as pontuações devem ser lidas como dois laboratórios medindo duas coisas diferentes em dois anos diferentes.