Jais 3 vs SILMA 9B: Pojedynek modeli między dwiema różnymi erami arabskiej AI

Otwórz SILMA AI, a na czele strony stoi flagowy produkt: SILMA TTS v2.0, model zamiany tekstu na mowę, który deklaruje 170 ms czasu do pierwszego tokenu dla agentów głosowych. Przewiń do stopki, a wciąż jest tam link do rankingu arabskich LLM-ów, a model, który nazywa to zestawienie — SILMA-9B-Instruct-v1.0, 9-miliardowy dwujęzyczny (arabski i angielski) model instruktarzowy od organizacji silma-ai/ — wciąż znajduje się na Hubie. Został opublikowany 17 sierpnia 2024 roku. Naprzeciw niego stoi Jais 3, rodzina od Institute of Foundation Models i Inception42, której wagi trafiły do sieci 29 września 2026 roku, a której receptury wdrożeniowe opatrzono datą 5 października. To dwudziestopięciomiesięczna luka i zmiana kategorii branżowej, co czyni tę stronę najdziwniejszą w całym zestawie: to nie starcie dwóch rywali, lecz checkpointu z epoki, gdy arabskie LLM-y oceniano na podstawie logarytmicznej wiarygodności na tłumaczonych benchmarkach, z rodziną z 2026 roku, która dostarcza parsery rozumowania i okna kontekstu o rozmiarze 512K. Porównanie wciąż warto przeprowadzić, bo zespoły faktycznie nadal uruchamiają SILMA 9B, a pytanie, co trzeba by zrobić, by ją zastąpić, jest całkiem zasadne.

Czym tak naprawdę jest każda strona

• Jais 3 to rodzina, a nie model — sześć bazowych checkpointów, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B oraz Jais-3-375B-A23B, a także -Uno/ warianty, wszystkie na licencji Apache 2.0 i wszystkie bez ograniczeń. Modele gęste bazują na niestandardowej architekturze k2_horizon/ wymagającej trust-remote-code.

• SILMA 9B to jeden checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ jest pochodną Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — z pięcioma shardami safetensors, tagiem potoku konwersacyjnego oraz zadeklarowanymi językami: arabskim i angielskim.

• Licencja to najwyraźniejsza praktyczna różnica. Jais 3 jest na licencji Apache 2.0 bez bramki. SILMA 9B ma licencję Gemma i bramkę potwierdzenia: w karcie modelu pole extra_gated_button_content/ oznacza, że akceptujesz warunki, zanim wagi staną się twoje, a licencja Gemma zawiera ograniczenia użytkowania, których Apache 2.0 nie ma.

• Rodzina, która ją zastąpiła, jest niewielka. Późniejsze wydania SILMA AI to SILMA-Kashif-2B-Instruct-v1.0 ze stycznia 2025 oraz para modeli embeddingowych z października 2024. Nie ma następcy SILMA 9B, nie ma 27B, nie ma wariantu MoE. Zdecydowanie najnowszym artefaktem organizacji jest silma-tts/ z marca 2026.

• Kontekst — do 524 288 tokenów w większości modeli z linii Jais 3, 128 tys. w modelu 0.9B. Karta SILMA nie podaje żadnej wartości dotyczącej długości kontekstu.

Problem benchmarkowy, sformułowany przed przytoczeniem jakiejkolwiek liczby

Opublikowane wyniki SILMA 9B pochodzą z innej kultury pomiarowej niż wyniki Jais 3, a różnica nie jest kwestią stopnia.

• Liczby SILMA to wyniki log-wiarygodności w zestawie testowym Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ w porównaniu z Arabic MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4), plus mnóstwo przetłumaczonych benchmarków. Własny wynik główny SILMA to 6,15 na 10 w Arabic Broad Benchmark.

• Wyniki Jais 3 to dokładność generowanych odpowiedzi na audytowanym zbiorze próbek. IFM podaje, że arabski MMLU osiąga 89,3 dla 375B, 88,6 dla 32B, 85,2 dla 7B i 83,3 dla 3,7B, przy czym gwiazdka oznacza benchmarki oczyszczone z niejednoznacznych pytań, nieprawidłowych opcji i niedających się obronić etykiet wzorcowych — a wykluczone próbki publikuje.

• To nie są te same pomiary. Punktacja log-wiarygodności dla pytań wielokrotnego wyboru i dokładność generowanych odpowiedzi na oczyszczonym zbiorze nie będą zgodne, a różnica między nimi nie jest miarą jakości modelu. Umieszczenie 85,2 obok 52,55 i nazwanie tego 33-punktowym zwycięstwem byłoby najbardziej mylącym zdaniem, jakie można znaleźć na tej stronie, a właśnie takie zdanie napisałaby większość artykułów porównawczych.

• Żaden z nich nie ma niezależnego wyniku. Brak wpisu w Artificial Analysis dla któregokolwiek z nich. Brak wyniku w arenie. Każda liczba w tej sekcji jest raportowana przez dostawcę — przez to laboratorium, które ją opublikowało — a liczby dotyczące Jais 3 dodatkowo opatrzone są własnym przypisem IFM, że użyte ustawienie wysiłku rozumowania to wysokie/ dla każdego uruchomienia.

To porównanie dopasowane rozmiarowo jest tym, które ma znaczenie.

Jeśli masz SILMA 9B, uczciwym kandydatem na zamiennik Jais 3 jest Jais-3-7B lub Jais-3-3.7B, a nie flagowy model. Oba są gęste, oba działają z równoległością tensorową 1 w bfloat16 w przepisie vLLM i oba są bez ograniczeń.

• Ślad — Jais-3-7B przy TP=1 na pojedynczym GPU w porównaniu z pięcioshardową Gemmą 2 9B z SILMA 9B. Porównywalny koszt hostingu, więc aktualizacja to kwestia jakości i możliwości, a nie sprzętu.

• Kontekst — 524 288 tokenów dla Jais-3-7B wobec braku opublikowanej wartości dla SILMA 9B. To ten wiersz, w którym obciążenie zostaje zamiast tego przeprojektowane od podstaw, a nie przeniesione.

• Wersje Edge i skwantyzowane — GGUF dla llama.cpp i Ollama zarówno dla 3.7B, jak i 7B, oraz MLX 4-bit, 8-bit i bf16 dla Apple silicon. SILMA 9B ma konwersje GGUF, ale są to pliki przesłane przez strony trzecie z 2024 r., a producent nie opublikował żadnych.

• Aspekty specyficzne dla języka arabskiego — IFM publikuje pełny zestaw benchmarków arabskich dla każdego checkpointu, obejmujący dialekty, diakrytyzację, parsowanie, IslamicQA, kulturę arabską i tłumaczenie. Karta SILMA raportuje za pośrednictwem zagregowanych kolumn tabeli liderów oraz własnego wyniku szerokiego benchmarku, ze znacznie mniejszą liczbą szczegółów dotyczących poszczególnych możliwości.

• Licencja — Apache 2.0 kontra licencja Gemma plus bramka. W komercyjnym pipeline'ie arabskim sama ta różnica może zdecydować o migracji.

Co wciąż przemawia na korzyść SILMA 9B

Dwie rzeczy — i żadna z nich nie jest benchmarkiem.

• To jest Gemma. gemma2/ punkt kontrolny działa na każdym stosie, który już uruchamia Gemma 2 — bez --trust-remote-code/, bez niestandardowych flag parsera, bez implementacji modelu specyficznej dla architektury. Jais 3 wymaga trust-remote-code, k2_horizon/ parsera rozumowania, k2_horizon/ parsera wywołań narzędzi oraz próbkowania zależnego od języka: temperatury 1,0 dla angielskiego i 0,7 dla arabskiego w trybie myślenia wobec domyślnej 0,2, przy zalecanych co najmniej 32 768 tokenach wyjściowych. Portowanie to prawdziwa praca.

• Jest stabilny, a wokół niego istnieje tablica wyników. SILMA AI utrzymuje przestrzeń Arabic LLM Broad Leaderboard, a dwuletni checkpoint ma przypisane do niego dwa lata historii produkcyjnych. To nie jest bez znaczenia, gdy alternatywą jest model opublikowany trzy tygodnie temu, bez oceny zewnętrznej, bez raportu technicznego — IFM podaje, że pojawi się wkrótce — i bez podanej ceny.

Decyzja o migracji i jak uczynić ją odwracalną

Zastąp SILMA 9B, jeśli Twoje obciążenie obejmuje dokumenty o długim kontekście, korzystanie z narzędzi przez agentów lub jest na tyle wrażliwe komercyjnie, że licencja Gemma stanowi problem. Sam wiersz kontekstu to uzasadnia: model bez opublikowanej wartości kontekstu kontra taki, który sięga pół miliona tokenów — w pracy z dokumentami wybór jest oczywisty.

Zachowaj to, jeśli potok jest ustabilizowany, licencja Gemma została już uregulowana, a wszystko działa na standardowych transformers — bo uczciwa przeciwwaga dla tabeli benchmarków Jais 3 jest taka, że tabela należy do IFM, model ma trzy tygodnie i nie stoi za tym żadna niezależna liczba. Aktualizowanie działającej arabskiej ścieżki produkcyjnej do trzytygodniowego checkpointu w oparciu o dane dostawcy to błąd, któremu ma zapobiec to porównanie.

Sposobem na uzyskanie obu jest najpierw uruchomienie ich równolegle, a powodem, dla którego było to kiedyś kosztowne, jest to, że oznaczało dwie integracje i narzędzie do porównywania. OrcaRouter sprowadza to do zera: jedno API obejmujące ponad 200 modeli z 0% marży, cena katalogowa dostawcy przekazywana bez zmian, więc test porównawczy to zmiana routingu, a nie projekt — a DSL routingu jest właściwym narzędziem do konkretnego zadania, jakim jest wysyłanie identycznych arabskich promptów do dwóch modeli i ocenianie odpowiedzi, ponieważ składa je w jedno wywołanie i zwraca oba. Automatyczny failover sprawia, że kolejny krok jest bezpieczny, pozwalając nowo opublikowanemu modelowi przejąć część rzeczywistego ruchu, podczas gdy twój ustabilizowany model przyjmuje resztę i przechwytuje żądania, które nowy model odrzuca. Obecnie żaden z tych modeli nie znajduje się w naszym katalogu; lista modeli to miejsce, w którym warto sprawdzić, zanim zaprojektujesz rozwiązanie w oparciu o własny hosting.

Co obejrzeć

Cztery rzeczy, uszeregowane według tego, jak bardzo zmieniłyby tę stronę. Następca SILMA 9B, który zamieniłby niedopasowanie kategorii z powrotem w prawdziwe starcie. Jakakolwiek niezależna ewaluacja checkpointu Jais 3, która uczyniłaby całą sekcję benchmarków zbędną. Raport techniczny IFM, obecnie wymieniony jako „wkrótce”. I opublikowana cena Jais 3, której nie ma nigdzie. Dopóki przynajmniej jedno z nich się nie pojawi, możliwy do obrony odczyt tego porównania jest architektoniczny — licencja, bramkowanie, kontekst, narzędzia, drabinka rozmiarów — a wyniki należy odczytywać jako dwa laboratoria mierzące dwie różne rzeczy w dwóch różnych latach.