Jais 3 trafia do vLLM, zanim pojawi się w komunikacie prasowym

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Przepisy są prawdziwe i konkretne

Ogłoszenia o wsparciu dla frameworków to zwykle jedno zdanie i link. To zawiera treść wykonywalną, którą warto uważnie przeczytać, ponieważ mówi, ile faktycznie kosztuje wdrożenie, zanim pobierzesz jakieś 700 gigabajtów wag.

• vLLM — przepisy są przeznaczone dla vllm>=0.30.0/. Flagowy model 375B wymaga --tensor-parallel-size 16 --enable-expert-parallel/ na checkpointcie bfloat16, co odpowiada 16× H100 80GB na dwóch węzłach z 8 GPU we własnym referencyjnym wdrożeniu IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — przepis równoległy jest przeznaczony dla sglang>=0.5.20/, przy czym dwuwęzłowa konfiguracja 375B działa z TP=16 i EP=16, FlashAttention-3, a wielowątkowe ładowanie wag jest jawnie wyłączone.

• H200 zmienia arytmetykę — przy 141 GB na GPU flagowy model mieści się na pojedynczym węźle H200 z 8 GPU. Karta IFM zaleca w takim przypadku zmniejszenie równoległości tensorowej i eksperckiej do 8. Jeden węzeł zamiast dwóch to w modelu kosztów nie różnica rzędu zaokrąglenia.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

To, co sprawia, że wsparcie wykracza poza odhaczenie zgodności, to fakt, że architektura jest naprawdę niestandardowa. Konfiguracje Hub deklarują model_type: k2_horizon/ i K2HorizonForCausalLM/ z własnym zdalnym kodem, przy czym model 375B ma 192 ekspertów i routuje 8 na token. To rodzaj modelu, który zwykle trafia do frameworka tygodnie po premierze z listą poprawek w informacjach o wydaniu, a nie z przepisem zapisanym w repozytorium, opatrzonym datą wcześniejszą niż komunikat prasowy.

Natywnie arabski agentowy, w flagach, które faktycznie przyjmuje.

„Agentic" to słowo z nagłówka ogłoszenia, a właśnie na komendach serwowania możesz sprawdzić, czy cokolwiek znaczy. W większości tak.

• --reasoning-parser k2_horizon/ oddziela ślad rozumowania od odpowiedzi. Rozumowanie jest zwracane w reasoning_content/ a odpowiedź w content/, co stanowi różnicę między łańcuchem myśli, który możesz zalogować, a takim, który musisz wyłuskać z treści odpowiedzi za pomocą wyrażenia regularnego.

• --tool-call-parser k2_horizon/ z --enable-auto-tool-choice/ włącza korzystanie z narzędzi, a model obsługuje trzy formaty wywołań narzędzi — json/, xml/ i xml_typed/ — wybieralne dla każdego żądania przez chat_template_kwargs/, domyślnie ustawiony na xml/.

• Głębokość rozumowania to ustawienie dla pojedynczego żądania, a nie decyzja dotycząca wdrożenia. {"reasoning_effort": "high"}/ jest wartością domyślną i to z nią uzyskano każdą opublikowaną liczbę; "low"/ całkowicie wyłącza myślenie, a własna karta IFM mówi, że „low” nie jest zalecane poza badaniami nad wysiłkiem rozumowania.

• Parametry próbkowania zmieniają się w zależności od języka, co jest nietypowe i warte wychwycenia. Domyślnie temperatura wynosi 0.2, top_p 0.95, top_k 20. W trybie myślenia IFM wymaga temperatury 1.0 dla języka angielskiego i 0.7 dla arabskiego. Pojedyncze globalne ustawienie temperatury to błędna konfiguracja dla tego modelu.

• Budżet wyjściowy jest duży. Karta zaleca co najmniej 32 768 tokenów wyjściowych — to mocna wskazówka, jak długie potrafią być ślady rozumowania, i realne ograniczenie dla limitu czasu pojedynczego żądania, jeśli jesteś przyzwyczajony do uzupełnień 4K.

Co tak naprawdę dostarcza rodzina

Sześć bazowych checkpointów, a nie jeden. Rozrzut ma większe znaczenie niż flagowy model, ponieważ decyduje o tym, czy rodzina jest artefaktem badawczym, czy czymś, co można postawić za obciążeniem.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Formaty skwantyzowane i edge są już dostępne — kompilacje FP8, GGUF dla llama.cpp i Ollama oraz MLX 4-bit, 8-bit i bf16 dla Apple silicon, opublikowane w całej organizacji IFM. Kompilacje MLX dla 32B ukazały się 1 października, a kompilacje GGUF dla 3.7B i 7B 13 października. Nikt nie czekał na kolejne wydanie, aby uruchomić je lokalnie.

• Licencja Apache 2.0 obowiązuje w całej rodzinie bazowej, bez ograniczeń w repozytoriach inception42. To zasadniczo odmienna postawa niż w przypadku kilku modeli arabskich, z którymi ta rodzina obecnie konkuruje.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Liczby należą do dostawcy, a ten dostawca je audytuje.

Każda wartość benchmarku poniżej pochodzi z własnych kart modeli IFM i nie została odtworzona przez stronę trzecią. To zdanie musi znaleźć się przed liczbami, a nie po nich.

• Arabski MMLU, model flagowy: 89,3. Arabski MMLU z diakrytykami: 88,2.

• Belebele: 95,6. Dialectal Arabic MMLU: 89,6. Identyfikacja dialektu (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. Arabic GSM8K: 86,8. GATmath: 98,4.

• Arabski IFBench, strict na poziomie promptu: 93,9. Arabski IFEval: 77,7. FLORES200+ LLM-as-a-judge: 91,9.

• Agentowe: Terminal Bench 2.1 na poziomie 73,8, GDPVal na poziomie 73,2, MCPMark na poziomie 68,5, SWE-Bench Verified (offline) na poziomie 70,2, GAIA v2 lit (arabski) na poziomie 50,3. Apex-Agents to ten, który dba o rzetelność arkusza, osiągając 18,6.

Nota metodologiczna jest częścią, którą warto docenić. IFM oznacza benchmarki, które zostały poddane audytowi pod kątem jakości próby, z wykluczeniem niejednoznacznych pytań, nieprawidłowych opcji odpowiedzi i nieuzasadnionych etykiet wzorcowych, oraz publikuje metodologię audytu, wykluczone próbki i zweryfikowaną listę benchmarków jako osobny zbiór. To nie jest recenzja naukowa i nie czyni wyniku dostawcy niezależnym, ale laboratorium, które mówi ci, które z własnych liczb oczyściło, to laboratorium, które możesz odczytywać z większą ufnością niż takie, które tego nie robi. Wyniki na oczyszczonych zestawach to również nie to samo co wyniki na benchmarku w powszechnie stosowanej wersji, a oznaczenia gwiazdką to te, które warto sprawdzić, zanim porównasz wyniki z czyimś arkuszem.

Dwie rzeczy, na które nikt nie odpowiedział

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Brak niezależnej oceny. Artificial Analysis nie ma wpisu, żadna arena nie opublikowała wyników bezpośredniego porównania, a żaden neutralny ranking nie przetestował tej rodziny. Raport techniczny jest wymieniony na karcie modelu jako „wkrótce”, podobnie jak repozytorium kodu. Dopóki coś spoza laboratorium nie uruchomi tych wag, właściwy odczyt wyniku 95,5 w AraSTEM to „IFM twierdzi, że 95,5”.

Jeśli chcesz tego spróbować, zanim pojawi się rachunek

Wagi są otwarte i objęte licencją Apache 2.0, więc najtańszą oceną jest własny sprzęt — a powyższe przepisy są na tyle krótkie, że można je uruchomić jeszcze dziś. Trudniej jest wykorzystać tę rodzinę w czymś realnym, bo trzeba by postawić klaster 16 GPU albo go wynająć, żeby sprawdzić, czy model bez niezależnego wyniku należy do ścieżki produkcyjnej.

To jest przypadek, w którym warstwa routingu zarabia na siebie, a nie tylko zdobi diagram architektury. OrcaRouter daje ci jedno API dla ponad 200 modeli z automatycznym przełączaniem awaryjnym, dzięki czemu obciążenie arabskie może skierować część ruchu do nieprzetestowanego modelu, a coś już zmierzonego przejąć resztę — ocena odbywa się na prawdziwych promptach, a zła odpowiedź lub niesprawny punkt końcowy przełącza się awaryjnie, zamiast powodować awarię żądania. Katalog warto sprawdzić, zanim zaplanujesz coś wokół własnego hostingu, ponieważ się zmienia. Jeśli jakiegoś modelu nie ma tam dziś, może pojawić się w przyszłym tygodniu, a strona z cennikiem jest uczciwym źródłem tego, ile coś kosztuje, gdy już się pojawi.

To, czego warto wypatrywać dalej, jest wąskie i konkretne: raport techniczny, repozytorium kodu, pierwsza liczba od kogoś, kto nie jest IFM, oraz opublikowana cena. Każdy z tych elementów zmieniłby ten tekst. Żaden z nich jeszcze się nie pojawił, i właśnie dlatego wsparcie dla frameworka od dnia zerowego jest tą częścią tej premiery, którą obecnie można zweryfikować.

To, czego liczby nie mogą ci powiedzieć, to czy cokolwiek z tego poszło nie tak w terenie: udokumentowane incydenty AI i awarie agentów dotyczące modeli tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, stopień pewności i flagę sporu.