Jais 3 chega ao vLLM antes de chegar ao comunicado de imprensa

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

As receitas são reais, e são específicas.

Anúncios de suporte a frameworks geralmente são uma frase e um link. Este tem conteúdo executável, que vale a pena ler com atenção porque informa qual é o custo real da implantação antes de você baixar cerca de 700 gigabytes de pesos.

• vLLM — as receitas visam vllm>=0.30.0/. O carro-chefe de 375B exige --tensor-parallel-size 16 --enable-expert-parallel/ num checkpoint bfloat16, o que corresponde a 16× H100 80GB em dois nós de 8 GPUs na própria implantação de referência da IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — a receita paralela tem como alvo sglang>=0.5.20/, com a configuração de dois nós 375B executando TP=16 e EP=16, FlashAttention-3, e o carregamento de pesos multithread explicitamente desativado.

• O H200 muda a aritmética — com 141 GB por GPU, o modelo principal cabe em um único nó H200 de 8 GPUs. A ficha técnica da IFM diz para reduzir o paralelismo de tensores e de especialistas para 8 nesse caso. Um nó em vez de dois não é uma diferença de arredondamento em um modelo de custos.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

O que faz com que o suporte seja mais do que uma simples caixa de seleção de compatibilidade é que a arquitetura é genuinamente personalizada. As configurações do Hub declaram model_type: k2_horizon/ e K2HorizonForCausalLM/ com código remoto personalizado, o 375B com 192 especialistas e roteando 8 por token. Esse é o tipo de modelo que normalmente chega a um framework semanas após o lançamento com uma lista de patches nas notas de versão, e não com uma receita registrada no repositório datada antes do comunicado à imprensa.

Agêntico nativo em árabe, nas flags que ele realmente aceita.

"Agentic" é a palavra no título do anúncio, e é nos comandos de serving que você pode testar se ela significa alguma coisa. Em grande parte, significa.

• --reasoning-parser k2_horizon/ separa o raciocínio da resposta. O raciocínio é retornado em reasoning_content/ e a resposta em content/, que é a diferença entre uma cadeia de pensamento que você pode registrar e uma que você precisa extrair com regex do corpo da resposta.

• --tool-call-parser k2_horizon/ com --enable-auto-tool-choice/ ativa o uso de ferramentas, e o modelo oferece suporte a três formatos de chamada de ferramenta — json/, xml/ e xml_typed/ — selecionáveis por requisição através de chat_template_kwargs/, com padrão xml/.

• A profundidade de raciocínio é uma configuração por solicitação, não uma decisão de implantação. {"reasoning_effort": "high"}/ é o padrão e é com ele que todos os números publicados foram produzidos; "low"/ desativa o pensamento por completo, e a própria ficha da IFM diz que low não é recomendado fora de pesquisa sobre esforço de raciocínio.

• Os parâmetros de amostragem mudam conforme o idioma, o que é incomum e vale a pena detectar. O padrão é temperatura 0,2, top_p 0,95, top_k 20. No modo de pensamento, o IFM exige temperatura 1,0 para inglês e 0,7 para árabe. Uma única configuração global de temperatura é a configuração errada para este modelo.

• O orçamento de saída é grande. A placa recomenda pelo menos 32.768 tokens de saída — uma forte pista sobre quão longos são os traços de raciocínio, e uma restrição real ao seu tempo limite por requisição se você está acostumado com completions de 4K.

O que a família realmente envia

Seis checkpoints base, não um. A variedade importa mais do que o carro-chefe, porque ela determina se a família é um artefato de pesquisa ou algo que você pode colocar por trás de uma carga de trabalho.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Os formatos quantizados e de edge já saíram — versões FP8, GGUF para llama.cpp e Ollama, e MLX de 4 bits, 8 bits e bf16 para Apple silicon, publicadas em toda a organização IFM. As versões MLX para o 32B chegaram em 1 de outubro, as versões GGUF para o 3.7B e o 7B em 13 de outubro. Ninguém estava à espera de um lançamento posterior para os executar localmente.

• A licença é Apache 2.0 em toda a família base, sem restrições de acesso nos repositórios inception42. Essa é uma postura materialmente diferente da de vários dos modelos árabes com os quais esta família agora compete.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Os números são do fornecedor, e este fornecedor os audita.

Cada número de benchmark abaixo vem dos próprios cartões de modelo da IFM e não foi reproduzido por terceiros. Essa frase precisa estar antes dos números, não depois deles.

• MMLU em árabe, modelo principal: 89,3. MMLU em árabe com diacríticos: 88,2.

• Belebele: 95,6. MMLU de árabe dialetal: 89,6. Identificação de dialeto (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. GSM8K em árabe: 86,8. GATmath: 98,4.

• IFBench em árabe, estrito no nível do prompt: 93,9. IFEval em árabe: 77,7. FLORES200+ LLM como juiz: 91,9.

• Agêntico: Terminal Bench 2.1 em 73,8, GDPVal em 73,2, MCPMark em 68,5, SWE-Bench Verified (offline) em 70,2, GAIA v2 lit (árabe) em 50,3. Apex-Agents é o que mantém a planilha honesta em 18,6.

A nota metodológica é a parte que merece crédito. A IFM marca benchmarks que foram auditados quanto à qualidade da amostra, com perguntas ambíguas, opções de resposta inválidas e rótulos gold indefensáveis excluídos, e publica a metodologia de auditoria, as amostras excluídas e a lista de benchmarks verificados como uma coleção separada. Isto não é revisão por pares e não torna a pontuação de um fornecedor independente, mas um laboratório que lhe diz quais dos seus próprios números ele limpou é um laboratório que você pode ler com mais confiança do que um que não o faz. As pontuações nos conjuntos limpos também não são a mesma coisa que as pontuações no benchmark como comumente executado, e as marcas com asterisco são as que devem ser verificadas antes de você comparar com a planilha de outra pessoa.

Duas coisas que ninguém respondeu

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Não há avaliação independente.A Artificial Analysis não tem registro, nenhuma arena publicou resultados de confronto direto e nenhum ranking neutro testou a família. O relatório técnico está listado na ficha do modelo como "em breve", e o repositório de código também. Até que algo fora do laboratório rode esses pesos, a leitura correta de um 95,5 no AraSTEM é "a IFM diz 95,5".

Se você quiser experimentar antes de haver uma cobrança

Os pesos são abertos e Apache 2.0, então a avaliação mais barata é o seu próprio hardware — e as receitas acima são curtas o suficiente para rodar hoje. O mais difícil é colocar a família por trás de algo real, porque você estaria montando um cluster de 16 GPUs, ou alugando um, para descobrir se um modelo sem pontuação independente pertence a um caminho de produção.

Esse é o caso em que uma camada de roteamento se paga, em vez de apenas decorar um diagrama de arquitetura. O OrcaRouter oferece uma única API para mais de 200 modelos com failover automático, para que uma carga de trabalho em árabe possa enviar uma fatia do tráfego para um modelo não comprovado e deixar que algo já medido absorva o resto — a avaliação acontece com prompts reais, e uma resposta ruim ou um endpoint não saudável faz failover em vez de derrubar a solicitação junto com ele. O catálogo vale a pena verificar antes de planejar em torno de uma auto-hospedagem, porque ele muda. Se um modelo não estiver nele hoje, pode estar na próxima semana, e a página de preços é a fonte honesta para o que qualquer coisa custa assim que estiver.

O que observar a seguir é restrito e específico: o relatório técnico, o repositório de código, um primeiro número de alguém que não seja a IFM e um preço publicado. Qualquer um desses elementos altera esta peça. Nenhum deles se concretizou ainda, e é exatamente por isso que o suporte de framework no dia zero é a parte deste lançamento que atualmente é verificável.

O que os números não podem dizer é se algo deu errado em campo: os incidentes de IA documentados e as falhas de agentes envolvendo modelos dessa classe estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.