Jais 3, 보도자료에 오르기 전 vLLM에 먼저 상륙하다

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

레시피들은 진짜이고, 구체적입니다.

프레임워크 지원 공지는 보통 한 문장과 링크로 끝난다. 이 공지에는 실행 가능한 내용이 있어서, 700여 GB에 달하는 가중치를 다운로드하기 전에 배포에 실제로 드는 비용이 무엇인지 알려 주므로 꼼꼼히 읽어 볼 가치가 있다.

• vLLM — 레시피들은 다음을 대상으로 합니다: vllm>=0.30.0/. 375B 플래그십은 --tensor-parallel-size 16 --enable-expert-parallel/을 bfloat16 체크포인트에서 원하며, 이는 IFM 자체의 참조 배포에서 두 개의 8-GPU 노드에 걸쳐 구성된 16× H100 80GB입니다.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — 병렬 레시피는 sglang>=0.5.20/을 대상으로 하며, 2노드 375B 구성은 TP=16과 EP=16으로 실행되고 FlashAttention-3를 사용하며 멀티스레드 가중치 로딩은 명시적으로 비활성화됩니다.

• H200은 계산법을 바꿉니다 — GPU당 141GB라면 플래그십이 단일 8-GPU H200 노드 하나에 들어갑니다. IFM의 문서에 따르면 이 경우 텐서 병렬 처리와 전문가 병렬 처리를 8로 낮추라고 합니다. 두 개 대신 한 개의 노드라는 것은 비용 모델에서 반올림 수준의 차이가 아닙니다.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

이 지원을 단순한 호환성 체크박스 이상으로 만드는 것은 아키텍처가 진정으로 맞춤형이라는 점입니다. Hub 구성은 다음을 선언합니다: model_type: k2_horizon/ 및 K2HorizonForCausalLM/ 사용자 정의 원격 코드와 함께, 375B는 192개의 전문가를 보유하고 토큰당 8개를 라우팅합니다. 이는 일반적으로 출시 몇 주 후 릴리스 노트의 패치 목록과 함께 프레임워크에 도착하는 종류의 모델이지, 보도 자료보다 앞선 날짜의 체크인된 레시피와 함께 도착하는 모델이 아닙니다.

아랍어 네이티브 에이전트형, 실제로 받는 플래그에서

"Agentic"은 발표 헤드라인에 등장하는 단어인데, 그것이 실질적인 의미가 있는지는 서빙 명령어에서 시험해볼 수 있다. 대체로 그렇다.

• --reasoning-parser k2_horizon/ 사고 과정을 답변과 분리합니다. 사고 과정은 reasoning_content/에 반환되고, 답변은 content/에 반환됩니다. 이는 기록할 수 있는 사고 연쇄와 응답 본문에서 정규식으로 추출해야 하는 사고 연쇄의 차이입니다.

• --tool-call-parser k2_horizon/ 와 함께 --enable-auto-tool-choice/ 를 사용하면 도구 사용이 활성화되며, 모델은 세 가지 도구 호출 형식 — json/, xml/ 및 xml_typed/ — 을 지원합니다. 이는 요청별로 chat_template_kwargs/ 를 통해 선택할 수 있으며, 기본값은 xml/ 입니다.

• 추론 깊이는 요청별 설정이며, 배포 결정이 아닙니다. {"reasoning_effort": "high"}/가 기본값이며 모든 공개된 수치가 이 설정으로 산출되었습니다; "low"/는 사고를 완전히 끄며, IFM 자체 카드에서는 low가 추론 노력에 관한 연구 외에는 권장되지 않는다고 밝히고 있습니다.

• 샘플링 매개변수가 언어에 따라 바뀌는데, 이는 흔치 않은 일이며 주의 깊게 살펴볼 가치가 있습니다. 기본값은 temperature 0.2, top_p 0.95, top_k 20입니다. 사고 모드에서 IFM은 영어에는 temperature 1.0을, 아랍어에는 0.7을 요구합니다. 단일 전역 temperature 설정은 이 모델에 맞지 않는 구성입니다.

• 출력 예산이 큽니다. 이 카드는 최소 32,768개의 출력 토큰을 권장합니다. 이는 추론 트레이스가 얼마나 길게 실행되는지에 대한 강력한 힌트이며, 4K 완성에 익숙한 경우 요청당 타임아웃에 실질적인 제약이 됩니다.

가족이 실제로 제공하는 것

기본 체크포인트는 하나가 아니라 여섯 개입니다. 플래그십보다 그 범위가 더 중요합니다. 왜냐하면 그것이 이 패밀리가 연구용 산출물인지, 아니면 실제 워크로드 뒤에 둘 수 있는 것인지를 결정하기 때문입니다.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• 양자화된 포맷과 엣지 포맷은 이미 출시되었습니다 — FP8 빌드, llama.cpp와 Ollama용 GGUF, 그리고 Apple 실리콘용 MLX 4비트, 8비트 및 bf16이 IFM 조직 전반에 걸쳐 공개되었습니다. 32B용 MLX 빌드는 10월 1일에 출시되었고, 3.7B 및 7B용 GGUF 빌드는 10월 13일에 출시되었습니다. 아무도 이 모델들을 로컬에서 실행하기 위해 후속 릴리스를 기다리지 않았습니다.

• 라이선스는 베이스 패밀리 전체에 걸쳐 Apache 2.0이며, inception42 저장소에 대한 게이팅은 없습니다. 이는 이 패밀리가 현재 경쟁하는 여러 아랍어 모델과는 실질적으로 다른 입장입니다.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

그 수치는 공급업체의 것이며, 이 공급업체가 이를 감사합니다.

아래의 모든 벤치마크 수치는 IFM 자체 모델 카드에서 비롯된 것이며 제3자가 재현한 것이 아닙니다. 이 문장은 숫자 뒤가 아니라 숫자 앞에 와야 합니다.

• 아랍어 MMLU, 플래그십: 89.3. 발음 구별 부호 포함 아랍어 MMLU: 88.2.

• Belebele: 95.6. 방언 아랍어 MMLU: 89.6. 방언 식별(QADI): 71.1. Alyah: 87.6.

• AraSTEM: 95.5. Arabic GSM8K: 86.8. GATmath: 98.4.

• 아랍어 IFBench, 프롬프트 수준 엄격 기준: 93.9. 아랍어 IFEval: 77.7. FLORES200+ LLM-as-a-judge: 91.9.

• 에이전틱: Terminal Bench 2.1은 73.8, GDPVal은 73.2, MCPMark는 68.5, SWE-Bench Verified (오프라인)은 70.2, GAIA v2 lit (아랍어)은 50.3. Apex-Agents는 18.6으로 점수표를 정직하게 유지하는 유일한 모델이다.

방법론 노트는 공로를 인정할 만한 부분입니다. IFM은 샘플 품질 감사를 거친 벤치마크를 표시하는데, 모호한 질문, 유효하지 않은 답변 선택지, 정당화할 수 없는 골드 라벨은 제외하며, 감사 방법론, 제외된 샘플, 검증된 벤치마크 목록을 별도의 컬렉션으로 공개합니다. 이것은 동료 검토가 아니며 공급업체 점수를 독립적으로 만들어 주지도 않지만, 자체 수치 중 무엇을 정리했는지 알려주는 랩은 그렇지 않은 랩보다 더 자신 있게 읽을 수 있는 랩입니다. 정리된 세트의 점수 역시 흔히 실행되는 벤치마크의 점수와 같은 것이 아니며, 별표가 붙은 표시는 다른 사람의 시트와 비교하기 전에 확인해야 할 항목입니다.

아무도 답하지 않은 두 가지

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

독립적인 평가는 없다. Artificial Analysis에는 등록된 항목이 없고, 어떤 아레나도 일대일 결과를 게시하지 않았으며, 어떤 중립적인 리더보드도 이 모델 패밀리를 평가한 적이 없다. 기술 보고서는 모델 카드에 "곧 공개"로 등록되어 있고, 코드 저장소도 마찬가지다. 실험실 외부의 무언가가 이 가중치를 실행하기 전까지는, AraSTEM에서 95.5에 대한 올바른 해석은 "IFM이 95.5라고 말한다"이다.

청구서가 나오기 전에 먼저 사용해 보고 싶다면

가중치는 공개되어 있고 Apache 2.0이므로, 가장 저렴한 평가 방법은 여러분 자신의 하드웨어입니다. 그리고 위의 레시피는 오늘 바로 실행할 수 있을 만큼 짧습니다. 더 어려운 것은 이 패밀리를 실제 무언가에 투입하는 일입니다. 독립적인 점수가 없는 모델이 프로덕션 경로에 들어갈 자격이 있는지 알아내려면 16-GPU 클러스터를 직접 구축하거나 임대해야 하기 때문입니다.

그것은 라우팅 계층이 아키텍처 다이어그램을 장식하는 것이 아니라 제값을 하는 경우입니다. OrcaRouter는 200개 이상의 모델에 걸쳐 하나의 API를 제공하며 자동 장애 조치가 가능하므로, 아랍어 워크로드는 트래픽의 일부를 검증되지 않은 모델로 보내고 이미 측정된 것이 나머지를 흡수하게 할 수 있습니다. 평가는 실제 프롬프트를 대상으로 이루어지며, 잘못된 응답이나 비정상 엔드포인트는 요청을 함께 중단시키는 대신 장애 조치됩니다. 카탈로그는 셀프 호스팅을 염두에 두고 계획하기 전에 확인해 볼 가치가 있습니다, 왜냐하면 그것은 계속 변하기 때문입니다. 어떤 모델이 오늘 카탈로그에 없더라도 다음 주에는 있을 수 있으며, 가격 페이지는 일단 카탈로그에 올라오면 무엇이든 비용이 얼마인지에 대한 정직한 출처입니다.

다음으로 지켜볼 것은 범위가 좁고 구체적이다: 기술 보고서, 코드 저장소, IFM이 아닌 누군가가 내놓은 첫 번째 수치, 그리고 공개된 가격이다. 그중 어느 하나만 나와도 이 글은 달라진다. 아직 그중 어느 것도 나오지 않았는데, 바로 그렇기 때문에 이번 출시에서 현재 검증 가능한 부분은 데이제로 프레임워크 지원이다.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.