Jais 3 vs Fanar 2: Dwaj dostawcy nie zgadzają się co do tego, jaki wynik osiąga Fanar 2

J​ais 3 i Fanar 2 to dwie flagowe rodziny arabskich modeli z regionu Zatoki, a najpożyteczniejszą rzeczą, jaką ktoś może ci powiedzieć o ich porównywaniu, jest to, że własne liczby dostawców dla Fanar-2-27B-Instruct nie są zgodne. Karta modelu QCRI podaje ArabicMMLU na poziomie 74,67% i Belebele na poziomie 86,81% dla swojego modelu 27B instruct. Karta J​ais-3-32B, od Institute of Foundation Models i Inception42, przepuszcza tego samego przeciwnika przez własną tabelę referencyjną i umieszcza Fanar-2-27B na poziomie 66,3 w Arabic MMLU i 61,8 w Belebele. To ośmiopunktowa różnica w jednym benchmarku i dwudziestopięciopunktowa w innym, dla jednego modelu, i żadna z tych liczb nie została sfabrykowana — są wynikiem działania różnych narzędzi testowych, różnych formatów promptów, a w przypadku IFM – audytowanego zestawu próbek. To także absolutnie najbardziej pouczająca rzecz na tej stronie, ponieważ oznacza, że porównanie J​ais 3 i Fanar 2 zbudowane na publikowanych liczbach jest porównaniem dwóch praktyk pomiarowych w takim samym stopniu jak dwóch modeli.

Te dwie karty, mówiąc wprost.

• J​ais-3-32B — gęsty model decoder-only 32B od IFM, do 524 288 tokenów kontekstu, Apache 2.0, wagi opublikowane 29 września 2026. Dostarczany z parserem rozumowania (k2_horizon), parserem wywołań narzędzi oraz trzema wybieralnymi formatami wywołań narzędzi. Działa przy równoległości tensorowej 2 w bfloat16.

• Fanar-2-27B-Instruct — gęsty model 27B od QCRI na Uniwersytecie Hamada bin Khalify, 32 768 tokenów kontekstu, Apache 2.0, wydany w marcu 2026 r. Stale poddawany wstępnemu treningowi na bazie google/gemma-3-27b-pt na około 166 mld tokenów arabskich i angielskich w ramach trzech receptur, a następnie scalony, po czym poddany pięcioetapowemu procesowi potreningowemu.

• Zakres skali — Jais 3 to rodzina, sześć bazowych checkpointów od 0,9B do 375B, w tym dwa modele typu mixture-of-experts. Linia językowa Fanar 2 to zasadniczo jeden model instruct o rozmiarze 27B, z odpowiednikami w innych modalnościach, a nie mniejszymi checkpointami tekstowymi.

• Licencja — Apache 2.0 po obu stronach, bez bramkowania po obu stronach. Żadna z rodzin nie zmusza cię do podpisywania czegokolwiek, co warto podkreślić, ponieważ nie jest to normą w tym regionie.

• Architektura bazowa — J​ais 3 jest trenowany przez IFM przy użyciu niestandardowej architektury (k2_horizon, wymagany niestandardowy kod zdalny). Fanar 2 to kontynuacyjne pretrenowanie G​oogle'a G​emma 3 27B, co czyni go artefaktem innego rodzaju: dobrze przeprowadzoną adaptacją, a nie treningiem od zera.

Gdzie liczby się rozbiegają i dlaczego nie jest to skandal

Bierz nazwy benchmarków pojedynczo, bo etykieta robi mniej, niż się wydaje.

• ArabicMMLU kontra Arabic MMLU* — Karta Fanara podaje 74,67% dla benchmarku, który nazywa ArabicMMLU. Tabela IFM podaje 66,3 dla kolumny, którą nazywa Arabic MMLU*, przy czym gwiazdka oznacza, że IFM wykluczył pytania z niejednoznacznymi promptami, nieprawidłowymi opcjami lub nieuzasadnionymi etykietami wzorcowymi. Dwa różne zbiory próbek, jeden z nich oczyszczony, i żadne z laboratoriów nie ma obowiązku raportowania wyników drugiego.

• Belebele, 86,81 wobec 61,8 — znacznie większa rozbieżność, a wyjaśnienie dotyczące harnessu jest tu jeszcze bardziej naciągane. Wynik Fanara dotyczy dialektalnego arabskiego; w kolumnie IFM widnieje ta sama nazwa benchmarku. Dwadzieścia pięć punktów to nie efekt zaokrąglenia, a uczciwy wniosek jest taki, że co najmniej jeden z tych przebiegów nie mierzy tego samego, co mierzy drugi.

• IF-Eval, 82,97 kontra 49,8 — Fanar podaje 82,97 w IF-Eval w swojej własnej tabeli ulepszeń. Kolumna referencyjna IFM umieszcza Fanar-2-27B na poziomie 49,8 w arabskim IFEval. Ta sama zdolność, inny język i inny zestaw promptów.

• Co do kształtu, jeśli nie poziomu, obie strony się zgadzają — Fanar 2 to duży krok naprzód w stosunku do Fanar 1. QCRI podaje +7,32 w ArabicMMLU, +10,68 w GSM8K i +8,27 w IF-Eval w porównaniu z własnym poprzednikiem 9B. To twierdzenie jest wewnętrznie spójne i nikt go nie kwestionuje.

Reguła, która z tego wynika, nie brzmi: „jedno laboratorium oszukuje”. Brzmi ona: w przypadku arabskich benchmarków liczba bez dołączonego harnessu nie jest liczbą. IFM przynajmniej oznacza, które z własnych wyników poddało audytowi, i publikuje wykluczone próbki w osobnym zbiorze, co robi więcej niż większość laboratoriów — ale to wciąż IFM audytuje ocenę konkurenta dokonaną przez IFM.

Kontekst i wdrożenie to obszary, w których porównanie jest klarowne.

To są wiersze niepodlegające argumentom dotyczącym harnessu, ponieważ są to fakty architektoniczne, a nie pomiary.

• Kontekst — 524 288 tokenów dla J​ais-3-32B w porównaniu z 32 768 dla Fanar-2-27B-Instruct. Szesnastokrotnie większe okno, a karta Fanara dokumentuje 54 tys. instrukcji długiego kontekstu użytych do osiągnięcia 16 tys. podczas treningu, co sprawia, że wyuczone zachowanie długiego kontekstu mieści się z dużym zapasem w nominalnym oknie 32 tys.

• Ślad serwowania — Jais-3-32B przy TP=2, bfloat16, vLLM ≥ 0.30.0 lub SGLang ≥ 0.5.20. Fanar-2-27B jest testowany z transformers 4.57.6 i ma standardowy kształt Gemma 3 27B, więc wpasowuje się w dowolny stos, który już uruchamia Gemmę.

• Narzędzia dołączone do modelu — Jais 3 obejmuje parser rozumowania, parser wywołań narzędzi oraz wybór spośród formatów narzędzi json, xml lub xml_typed jako flagi serwowania pierwszej klasy. Fanar 2 obsługuje ogólne wywoływanie narzędzi oraz dziesięć wbudowanych narzędzi Fanar, ale warstwa integracji to własne API dostawcy, a nie zestaw flag frameworka.

• Ocena zewnętrzna — żadna z tych rodzin nie ma wpisu w Artificial Analysis, żadna nie ma wyniku areny i żadna nie ma niezależnej replikacji. Liczby obu rodzin są podawane przez dostawców, a artykuł za każdym razem mówi o tym, zanim je przytoczy.

Co ma Fanar 2, czego nie ma J​ais 3

Trzy rzeczy, i nie są małe.

• Rodzime arabskie ślady rozumowania. Fanar 2 został wytrenowany na około 250 000 arabskich przykładów rozumowania i generuje swój łańcuch myśli po arabsku, zamiast tłumaczyć go z angielskiego śladu. J​ais 3 udostępnia parser rozumowania i raportuje mocne arabskie wyniki agentowe, ale jego karta nie zawiera tego samego twierdzenia o języku, w którym odbywa się myślenie.

• Ograniczanie halucynacji jako zaprojektowane zachowanie. Fanar 2 jest trenowany do powstrzymywania się od odpowiedzi — sondowanie wiedzy podczas treningu, pięcioetapowe ustrukturyzowane ślady weryfikacji, skalibrowane odpowiedzi „nie wiem” — i otacza spontaniczne odniesienia do wersetów Koranu znacznikami walidacyjnymi, aby system dalszego przetwarzania mógł je sprawdzić. Ta ostatnia funkcja jest nietypowa i nie ma odpowiednika w karcie J​ais 3.

• Produkt wokół modelu. QCRI udostępnia interfejs czatu, aplikacje na iOS i Androida oraz udokumentowane API z procesem wnioskowania o dostęp, a także modele pokrewne do generowania obrazów, rozumienia obrazów i poezji. J​ais 3 to wydanie wag wraz z przepisami dla frameworków; model mowy znajduje się obok niego, a reszta to artefakt badawczy.

To różnice w możliwościach, a nie w benchmarkach, a uczciwa interpretacja jest taka, że Fanar 2 jest bardziej dopracowany jako produkt, podczas gdy Jais 3 jest bardziej ambitny jako model.

Co faktycznie mówią kolumny agentowe, z dołączoną gwiazdką

Własna tabela IFM to jedyne opublikowane bezpośrednie porównanie tych dwóch modeli i nie jest pochlebna dla Fanara: Terminal Bench 2.1 – 63,7 wobec 1,1, GDPVal – 75,5 wobec 0,0, MCPMark – 66,1 wobec 12,1, SWE-Bench Verified – 72,4 wobec 0,4, przetwarzanie plików arabskich – 71,8 wobec 0,0.

Czytaj je takimi, jakie są. To są pomiary IFM dotyczące modelu konkurenta, przeprowadzone przez IFM, na harnessie IFM i opublikowane na karcie modelu IFM. Zero w GDPVal i 0,4 w SWE-Bench Verified dla modelu instrukcyjnego 27B jest wiarygodne — to są benchmarki agentowe, które karzą modele bez danych treningowych dotyczących wywoływania narzędzi na dużą skalę, a prace agentowe Fanar 2 są zorientowane wokół jego własnych dziesięciu narzędzi, a nie ogólnych zadań programistycznych. Ale laboratorium, które informuje, że jego własny model wygrywa każdy wiersz tabeli, którą samo zbudowało, mówi ci o swojej ewaluacji, a nie o świecie.

Możliwe do obrony stwierdzenie jest węższe: w opublikowanym przez IFM środowisku testowym Jais-3-32B osiąga lepsze wyniki niż Fanar-2-27B-Instruct w każdym raportowanym benchmarku agentowym, a karta Fanara w ogóle nie podaje benchmarków agentowych, więc nic temu nie przeczy i nic tego też nie potwierdza. Opublikowane dowody są jednostronne, ponieważ tylko jedna strona je opublikowała.

Który wybrać?

Długi kontekst, praca z agentami albo potrzeba wyboru rozmiaru checkpointu: J​ais 3, a pod względem kontekstu nie jest to wyrównana walka. Okno 512K kontra 32K samo rozstrzyga o przetwarzaniu dokumentów, pracy w skali repozytorium i długich trajektoriach agentów.

Arabskie rozumowanie, które zamierzasz czytać, zachowanie abstynencyjne, na którym możesz polegać, obsługa treści koranicznych albo dostawca z aplikacją i ścieżką wsparcia: Fanar 2. Potreningowy pipeline QCRI jest naprawdę rozbudowany — 4 mln instrukcji SFT, 280 tys. par DPO, pięć etapów, celowy przebieg ponownego zrównoważenia zdolności, aby adaptacja do długiego kontekstu nie pogarszała zadań krótkich — i widać to w wymiarach, których nie ujmuje żadna kolumna rankingu.

Jeśli decyzja jest trudna, ponieważ oba są wiarygodne dla tego samego obciążenia, tym, co by ją rozstrzygnęło, są twoje własne prompty, uruchomione na obu, ocenione według twoich własnych kryteriów. To jest eksperyment, którego nikt nie opublikował dla tych dwóch modeli, a jest wart więcej niż każda liczba przytoczona powyżej.

Uruchomienie tego to mniej pracy niż kiedyś. OrcaRouter daje jeden klucz do ponad 200 modeli z 0% marży, a cena katalogowa dostawcy jest przekazywana bez zmian, więc porównanie dwóch arabskich checkpointów to zmiana routingu, a nie dwie integracje — a ocena pozycja po pozycji to dokładnie ten przypadek, dla którego zbudowano routing DSL, bo pozwala wysłać ten sam prompt do obu modeli w jednym złożonym wywołaniu, zamiast pisać harness porównawczy. Obecnie żadna z tych rodzin nie znajduje się w naszym katalogu; lista modeli to miejsce, w którym można sprawdzić, co jest.

Co rozstrzygnęłoby tę sprawę?

Jeden niezależny przebieg obu modeli na wspólnym stanowisku testowym, opublikowany wraz z promptami. Tego właśnie brakuje i brakuje tego w przypadku każdego modelu arabskiego z głównego nurtu, nie tylko tych dwóch — cała dziedzina opiera się na samodzielnie raportowanych liczbach, dlatego ośmiopunktowa rozbieżność dotycząca ArabicMMLU w modelu Fanar 2 może przez siedem miesięcy pozostawać nierozstrzygnięta w przestrzeni publicznej. Dopóki ktoś tego nie zrobi, traktuj tabelę J​ais 3 jako argument IFM, a tabelę Fanar 2 jako argument QCRI, a fakty architektoniczne — 512K kontra 32K, siedem checkpointów kontra jeden, flagi parsera kontra hostowane API — traktuj jako to, na czym faktycznie możesz oprzeć planowanie.

Czego liczby nie mogą ci powiedzieć, to czy cokolwiek z tego poszło nie tak w praktyce: udokumentowane incydenty AI i awarie agentów związane z modelami tej klasy są gromadzone w Archiwum incydentów AI OrcaRouter, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i oznaczenie sporne.