Jais 3 vs Fanar 2: Os dois fornecedores não concordam quanto à pontuação do Fanar 2

J​ais 3 e Fanar 2 são as duas principais famílias de modelos árabes do Golfo, e a coisa mais útil que alguém pode lhe dizer sobre compará-las é que os próprios números dos fornecedores para Fanar-2-27B-Instruct não coincidem. A ficha do modelo da QCRI informa ArabicMMLU em 74,67% e Belebele em 86,81% para seu modelo instruct de 27B. A ficha do J​ais-3-32B, do Institute of Foundation Models e da Inception42, coloca o mesmo oponente em sua própria tabela de referência e atribui a Fanar-2-27B 66,3 em Arabic MMLU e 61,8 em Belebele. Essa é uma diferença de oito pontos em um benchmark e de vinte e cinco pontos em outro, para um único modelo, e nenhum dos números é uma fabricação — eles são o resultado de estruturas de avaliação diferentes, formatos de prompt diferentes e, no caso da IFM, um conjunto de amostras auditado. É também a coisa mais instrutiva desta página, porque significa que uma comparação entre J​ais 3 e Fanar 2 construída a partir de números publicados é uma comparação tanto de duas práticas de medição quanto de dois modelos.

As duas cartas, claramente

• J​ais-3-32B — decoder-only denso de 32B da IFM, até 524.288 tokens de contexto, Apache 2.0, pesos publicados em 29 de setembro de 2026. Vem com um analisador de raciocínio (k2_horizon), um analisador de chamada de ferramenta e três formatos selecionáveis de chamada de ferramenta. Atende com paralelismo de tensores 2 em bfloat16.

• Fanar-2-27B-Instruct — 27B denso do QCRI na Universidade Hamad Bin Khalifa, 32.768 tokens de contexto, Apache 2.0, lançado em março de 2026. Continuamente pré-treinado a partir de google/gemma-3-27b-pt em aproximadamente 166B tokens em árabe e inglês em três receitas e depois mesclado, seguido por um pipeline de pós-treinamento em cinco estágios.

• Intervalo de escala — Jais 3 é uma família, seis checkpoints base de 0,9B a 375B, incluindo dois modelos de mistura de especialistas. A linha de linguagem do Fanar 2 é essencialmente um único modelo instruct de 27B, com irmãos noutras modalidades em vez de checkpoints de texto mais pequenos.

• Licença — Apache 2.0 de ambos os lados, sem restrições de acesso de ambos os lados. Nenhuma das famílias obriga você a assinar nada, o que vale a pena dizer, porque não é a norma na região.

• Arquitetura base — J​ais 3 é treinado pela IFM com uma arquitetura personalizada (k2_horizon, código remoto personalizado necessário). Fanar 2 é um pré-treinamento contínuo do G​emma 3 27B do G​oogle, o que o torna um tipo diferente de artefato: uma adaptação bem executada em vez de um treinamento do zero.

Onde os números divergem, e por que isso não é um escândalo

Analise os nomes de benchmark um de cada vez, porque o rótulo faz menos trabalho do que aparenta.

• ArabicMMLU versus Arabic MMLU* — A ficha da Fanar diz 74,67% para o benchmark que chama de ArabicMMLU. A tabela da IFM diz 66,3 para a coluna que chama de Arabic MMLU*, com o asterisco significando que a IFM excluiu perguntas com prompts ambíguos, opções inválidas ou rótulos de referência indefensáveis. Dois conjuntos de amostras diferentes, um deles limpo, e nenhuma obrigação de qualquer dos laboratórios de reportar o do outro.

• Belebele, 86,81 versus 61,8 — uma diferença muito maior, e a explicação do harness se estende ainda mais aqui. O valor da Fanar é árabe dialetal; a coluna da IFM traz o mesmo nome de benchmark. Vinte e cinco pontos não é uma diferença de arredondamento, e a conclusão honesta é que pelo menos uma dessas execuções não está medindo o que a outra está medindo.

• IF-Eval, 82.97 versus 49.8 — O Fanar reporta 82.97 no IF-Eval em sua própria tabela de melhorias. A coluna de referência do IFM coloca o Fanar-2-27B em 49.8 no IFEval árabe. Mesma capacidade, idioma diferente e conjunto de prompts diferente.

• O que ambos concordam quanto à forma, se não quanto ao nível — Fanar 2 é um grande avanço em relação ao Fanar 1. O QCRI relata +7,32 no ArabicMMLU, +10,68 no GSM8K e +8,27 no IF-Eval em comparação com o seu próprio predecessor de 9B. Essa afirmação é internamente coerente e ninguém a contesta.

A regra que decorre disso não é "um laboratório está trapaceando". É que, para benchmarks de árabe, um número sem um harness anexado não é um número. O IFM pelo menos marca quais de seus próprios números auditou e publica as amostras excluídas em uma coleção separada, o que é mais do que a maioria dos laboratórios faz — mas ainda é o IFM auditando a própria avaliação que faz de um concorrente.

O contexto e a implantação são onde a comparação é limpa.

Estas são as linhas não sujeitas a argumentos de harness, porque são fatos arquiteturais e não medições.

• Contexto — 524.288 tokens para o J​ais-3-32B contra 32.768 para o Fanar-2-27B-Instruct. Uma janela dezesseis vezes maior, e a ficha do Fanar documenta 54K instruções de contexto longo usadas para alcançar 16K durante o treinamento, o que coloca o comportamento de contexto longo treinado bem dentro dos 32K nominais.

• Pegada de serviço — Jais-3-32B com TP=2, bfloat16, vLLM ≥ 0.30.0 ou SGLang ≥ 0.5.20. O Fanar-2-27B foi testado com transformers 4.57.6 e tem o formato padrão do Gemma 3 27B, portanto encaixa em qualquer stack que já execute o Gemma.

• Ferramentas fornecidas com o modelo — O J​ais 3 inclui o analisador de raciocínio, o analisador de chamadas de ferramentas e uma escolha entre os formatos de ferramenta json, xml ou xml_typed como flags de serving de primeira classe. O Fanar 2 oferece suporte a chamadas de ferramentas genéricas, além de dez ferramentas Fanar integradas, mas a superfície de integração é a própria API do fornecedor, e não um conjunto de flags de framework.

• Avaliação por terceiros — nenhum dos dois tem registro na Artificial Analysis, nenhum tem pontuação de arena e nenhum tem replicação independente. Os números de ambas as famílias são reportados pelos próprios fornecedores, e o artigo deixa isso claro antes de citá-los, sempre.

O que o Fanar 2 tem que o Jais 3 não tem

Três coisas, e elas não são pequenas.

• Traços de raciocínio em árabe nativo. O Fanar 2 foi treinado com cerca de 250.000 exemplos de raciocínio em árabe e gera sua cadeia de pensamento em árabe, em vez de traduzir de um traço em inglês. O J​ais 3 expõe um analisador de raciocínio e relata fortes números agênticos em árabe, mas seu card não faz a mesma afirmação sobre o idioma em que o pensamento acontece.

• Mitigação de alucinações como comportamento projetado. O Fanar 2 é treinado para se abster — sondagem de conhecimento durante o treinamento, traços de verificação estruturados em cinco etapas, respostas calibradas de "não sei" — e envolve referências espontâneas a versículos corânicos em marcadores de validação para que um sistema a jusante possa verificá-las. Esse último recurso é incomum e não tem equivalente no cartão do Jais 3.

• Um produto em torno do modelo. O QCRI disponibiliza uma interface de chat, aplicativos para iOS e Android e uma API documentada com um fluxo de solicitação de acesso, além de modelos irmãos para geração de imagens, compreensão de imagens e poesia. O J​ais 3 é um lançamento de pesos com receitas de frameworks; o modelo de fala fica ao lado dele, e o resto é um artefato de pesquisa.

Essas são diferenças de capacidade, não diferenças de benchmark, e uma interpretação justa é que o Fanar 2 está mais acabado como produto, enquanto o J​ais 3 é mais ambicioso como modelo.

O que as colunas agênticas realmente dizem, com o asterisco anexado

A própria tabela da IFM é a única comparação direta publicada entre esses dois modelos e não é lisonjeira para o Fanar: Terminal Bench 2.1 em 63,7 contra 1,1, GDPVal em 75,5 contra 0,0, MCPMark 66,1 contra 12,1, SWE-Bench Verified 72,4 contra 0,4, processamento de arquivos em árabe 71,8 contra 0,0.

Leia-os como aquilo que são. São medições da IFM de um modelo de um concorrente, executadas pela IFM, no harness da IFM, e publicadas no model card da IFM. Um zero no GDPVal e um 0,4 no SWE-Bench Verified para um modelo instruct de 27B é plausível — esses são benchmarks agênticos que penalizam modelos sem dados de treinamento de chamadas de ferramentas em escala, e o trabalho agêntico do Fanar 2 está orientado em torno de suas próprias dez ferramentas, em vez de tarefas gerais de software. Mas um laboratório que relata seu próprio modelo vencendo todas as linhas de uma tabela que ele mesmo construiu está falando sobre sua avaliação, não sobre o mundo.

A afirmação defensável é mais restrita: no harness publicado da IFM, o Jais-3-32B supera o Fanar-2-27B-Instruct em todos os benchmarks agênticos reportados, e o card do Fanar não reporta benchmarks agênticos de forma alguma, então nada a contradiz e nada a corrobora também. A evidência publicada é unilateral porque apenas um lado publicou.

Qual escolher

Contexto longo, trabalho agêntico ou a necessidade de escolher um tamanho de checkpoint: J​ais 3, e não é uma decisão acirrada no contexto. Uma janela de 512K contra 32K decide por si só o processamento de documentos, o trabalho em escala de repositório e longas trajetórias de agentes.

Raciocínio em árabe que você pretende ler, comportamento de abstenção no qual pode confiar, tratamento de conteúdo corânico, ou um fornecedor com um aplicativo e um caminho de suporte: Fanar 2. O pipeline de pós-treinamento do QCRI é genuinamente elaborado — 4 milhões de instruções de SFT, 280 mil pares de DPO, cinco etapas, uma passada deliberada de rebalanceamento de capacidades para impedir que a adaptação a contexto longo degrade tarefas de formato curto — e isso aparece em dimensões que nenhuma coluna de leaderboard captura.

Se a decisão é difícil porque ambos são plausíveis para a mesma carga de trabalho, o que a resolveria são os seus próprios prompts, executados nos dois, avaliados pelos seus próprios critérios. Esse é o experimento que ninguém publicou para esses dois modelos, e vale mais do que todos os números citados acima.

Executá-lo dá menos trabalho do que antes. O OrcaRouter oferece uma única chave para mais de 200 modelos com 0% de markup, com o preço de tabela do provedor repassado, então um comparativo entre dois checkpoints de árabe é uma mudança de roteamento em vez de duas integrações — e a pontuação item a item é exatamente o caso para o qual o DSL de roteamento foi criado, porque ele permite enviar o mesmo prompt para os dois modelos em uma única chamada composta em vez de escrever um harness de comparação. Nenhuma das famílias está no nosso catálogo no momento; a lista de modelos é onde conferir o que há.

O que resolveria isto

Uma execução independente de ambos os modelos em um harness compartilhado, publicada com os prompts. É isso que falta, e falta para todos os modelos árabes mainstream, não apenas estes dois — todo o campo está operando com números autorrelatados, e é por isso que uma divergência de oito pontos sobre o ArabicMMLU do Fanar 2 pode ficar em público durante sete meses sem que ninguém a resolva. Até que alguém o faça, trate a tabela do Jais 3 como o argumento da IFM e a tabela do Fanar 2 como o da QCRI, e trate os fatos arquiteturais — 512K contra 32K, sete checkpoints contra um, flags de parser contra uma API hospedada — como a parte com que você pode realmente planejar.

O que os números não podem lhe dizer é se algo disso deu errado em campo: os incidentes documentados de IA e as falhas de agentes envolvendo modelos desta classe estão reunidos no OrcaRouter AI Incident Archive, em que cada entrada traz suas próprias fontes, grau de gravidade, nível de confiança e sinalização de contestação.