Jais 3 vs SILMA 9B: 아랍어 AI의 서로 다른 두 시대 사이의 모델 대결

열어 보세요 SILMA AI의 웹사이트와 그것이 앞세우는 플래그십은 SILMA TTS v2.0, 음성 에이전트를 위해 170ms의 첫 토큰 생성 시간(time-to-first-token)을 내세우는 텍스트 음성 변환 모델입니다. 하단으로 스크롤하면 여전히 아랍어 LLM 리더보드로 가는 링크가 있으며, 이 대결이 지목하는 모델 — SILMA-9B-Instruct-v1.0, 9B 규모의 아랍어·영어 이중 언어 인스트럭트 모델, silma-ai/ 조직 — 은 아직 허브에 있습니다. 2024년 8월 17일에 공개되었습니다. 그 맞은편에는 Jais 3, 기초 모델 연구소(Institute of Foundation Models)와 Inception42의 패밀리로, 가중치는 2026년 9월 29일에 공개되었고 서빙 레시피는 10월 5일에 확정되었습니다. 이는 25개월의 격차이자 산업 카테고리의 변화이며, 이 세트에서 가장 기이한 페이지로 만듭니다: 두 라이벌 간의 대결이 아니라, 아랍어 LLM이 번역된 벤치마크에서 로그 우도로 평가되던 시대의 체크포인트와 추론 파서 및 512K 컨텍스트 창을 제공하는 2026년 패밀리 간의 대결입니다. 비교는 여전히 가치가 있습니다. 팀들이 여전히 SILMA 9B를 운영하고 있으며, 이를 대체하는 데 무엇이 필요한지에 대한 질문은 실제적인 것이기 때문입니다.

각 측이 실제로 무엇인지

• Jais 3는 모델이 아니라 패밀리입니다 — 여섯 개의 베이스 체크포인트, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B 및 Jais-3-375B-A23B, 그리고 -Uno/ 변형이 있으며, 모두 Apache 2.0이고 모두 게이트가 없습니다. 덴스 모델들은 커스텀 k2_horizon/ 아키텍처를 기반으로 하며 trust-remote-code가 필요합니다.

• SILMA 9B는 하나의 체크포인트입니다. silma-ai/SILMA-9B-Instruct-v1.0/는 Gemma 2 파생 모델입니다 — gemma2/ / Gemma2ForCausalLM/ — 5개의 safetensors 샤드, 대화형 파이프라인 태그, 그리고 아랍어와 영어가 언어로 선언되어 있습니다.

• 라이선스는 가장 뚜렷한 실질적 차이입니다. Jais 3는 게이트가 없는 Apache 2.0입니다. SILMA 9B는 Gemma 라이선스와 승인 게이트를 함께 적용합니다. 카드의 extra_gated_button_content/ 필드는 가중치가 여러분의 것이 되기 전에 약관에 동의해야 함을 의미하며, Gemma 라이선스에는 Apache 2.0에는 없는 사용 제한이 따릅니다.

• 그것을 대체한 패밀리는 규모가 작습니다. SILMA AI의 이후 릴리스는 SILMA-Kashif-2B-Instruct-v1.0 (2025년 1월)과 2024년 10월의 임베딩 모델 두 종입니다. SILMA 9B 후속 모델은 없고, 27B도 없으며, MoE 변형도 없습니다. 이 조직의 단연 가장 최신 결과물은 silma-tts/ 2026년 3월에 나온 것입니다.

• 컨텍스트 — Jais 3 라인 대부분에서 최대 524,288 토큰, 0.9B에서는 128K. SILMA의 카드에는 컨텍스트 길이 수치가 전혀 공개되어 있지 않습니다.

어떤 수치를 인용하기 전에 제시된 벤치마크 문제

SILMA 9B의 공개된 결과는 Jais 3의 것과는 다른 측정 문화에서 나온 것이며, 그 차이는 정도의 문제가 아니다.

• SILMA의 수치는 Open Arabic LLM Leaderboard 하네스에서 산출된 로그 가능도 점수입니다 — loglikelihood_acc_norm/ Arabic MMLU(52.55), AlGhafa(71.85), ARC Challenge Arabic(78.19), ACVA(78.89), Arabic EXAMS(51.4), 그리고 다수의 번역된 벤치마크에 대한 점수입니다. 자체 대표 점수는 10점 만점에 6.15인 Arabic Broad Benchmark 점수입니다.

• Jais 3의 수치는 감사된 샘플 세트에서의 생성된 답변 정확도입니다. IFM은 375B의 아랍어 MMLU를 89.3, 32B를 88.6, 7B를 85.2, 3.7B를 83.3으로 보고하며, 별표는 모호한 질문, 유효하지 않은 선택지, 정당화할 수 없는 골드 라벨을 정리한 벤치마크를 표시합니다 — 그리고 제외된 샘플을 공개합니다.

• 이것들은 같은 측정값이 아닙니다. 객관식 로그 우도 채점과 정제된 세트에서의 생성 답변 정확도는 일치하지 않을 것이며, 그 둘 사이의 격차는 모델 품질의 척도가 아닙니다. 85.2를 52.55 옆에 놓고 33점 차 승리라고 부르는 것은 이 페이지에서 나올 수 있는 가장 오해의 소지가 큰 단일 문장일 것이며, 대부분의 비교 기사가 쓸 법한 문장입니다.

• 둘 다 독립적인 점수가 없습니다. 둘 다 Artificial Analysis 항목이 없습니다. 아레나 결과도 없습니다. 이 섹션의 모든 수치는 해당 수치를 발표한 연구소가 자체 보고한 것이며, Jais 3 수치에는 사용된 추론 강도 설정이 높음/ 모든 실행 기준

크기를 맞춘 비교가 바로 의미가 있는 것입니다

SILMA 9B가 당신이 가진 것이라면, 솔직히 말해 Jais 3 대체 후보는 Jais-3-7B 또는 Jais-3-3.7B이며, 플래그십이 아닙니다. 둘 다 dense이고, 둘 다 vLLM 레시피에서 텐서 병렬 처리 1로 bfloat16으로 실행되며, 둘 다 ungated입니다.

• 풋프린트 — 단일 GPU에서 TP=1로 실행한 Jais-3-7B와 SILMA 9B의 5개 샤드 Gemma 2 9B를 비교합니다. 호스팅 비용이 비슷하므로, 이 업그레이드는 하드웨어 문제라기보다 품질과 역량의 문제입니다.

• 컨텍스트 — Jais-3-7B의 경우 524,288 토큰인 반면, SILMA 9B는 공개된 수치가 없습니다. 이 행은 워크로드를 포팅하는 대신 아키텍처를 재설계하게 되는 경우입니다.

• 엣지 및 양자화 빌드 — 3.7B와 7B 모두에서 llama.cpp 및 Ollama용 GGUF, 그리고 Apple 실리콘용 MLX 4비트, 8비트 및 bf16. SILMA 9B에는 GGUF 변환본이 있지만, 이들은 2024년의 제3자 업로드이며 공급업체는 아무것도 공개하지 않았습니다.

• 아랍어 특화 표면 — IFM은 체크포인트마다 방언, 분음 부호 표기, 구문 분석, IslamicQA, 아랍 문화, 번역을 아우르는 완전한 아랍어 벤치마크 스위트를 공개한다. SILMA의 카드는 리더보드의 집계 열과 자체 광범위 벤치마크 점수를 통해 보고하며, 기능별 세부 정보는 훨씬 적다.

• 라이선스 — Apache 2.0 대 Gemma 라이선스에 게이트까지. 상업용 아랍어 파이프라인이라면, 그 차이 하나만으로도 마이그레이션 여부가 결정될 수 있습니다.

SILMA 9B가 여전히 지닌 강점

두 가지인데, 둘 다 벤치마크가 아닙니다.

• 이것은 Gemma입니다. gemma2/ 체크포인트는 Gemma 2를 이미 실행하는 모든 스택에서 실행됩니다 — --trust-remote-code/도, 사용자 정의 파서 플래그도, 아키텍처별 모델 구현도 필요하지 않습니다. Jais 3는 trust-remote-code, k2_horizon/ 추론 파서, k2_horizon/ 도구 호출 파서, 그리고 언어에 따른 샘플링이 필요합니다: 사고 모드에서 영어에는 온도 1.0, 아랍어에는 0.7이며 기본값은 0.2이고, 최소 32,768개의 출력 토큰을 권장합니다. 포팅은 실제 작업입니다.

• 그것은 안정적이며, 그 주변에 리더보드가 있습니다. SILMA AI는 Arabic LLM Broad Leaderboard 공간을 운영하고 있으며, 2년 된 체크포인트에는 2년간의 프로덕션 사례가 붙어 있습니다. 대안이 3주 전에 공개된 모델로, 제3자 평가도 없고 기술 보고서도 없으며 — IFM은 이를 곧 출시 예정이라고 표시하고 — 공개된 가격도 없는 상황이라면, 이는 결코 사소한 일이 아닙니다.

마이그레이션 결정, 그리고 그것을 되돌릴 수 있게 만드는 방법

워크로드가 장문맥 문서, 에이전트 도구 사용, 또는 Gemma 라이선스가 문제가 될 만큼 상업적으로 민감한 경우라면 SILMA 9B를 대체하세요. 컨텍스트 행만으로도 그 결정은 정당화됩니다. 공개된 컨텍스트 수치가 없는 모델과 50만 토큰까지 처리하는 모델을 비교하는 것은 문서 작업에서 막상막하의 문제가 아닙니다.

파이프라인이 안정되어 있고, Gemma 라이선스가 이미 정리되었으며, 모든 것이 기본 transformers에서 실행된다면 그대로 유지하세요 — Jais 3의 벤치마크 표에 맞서는 정직한 균형추는 그 표가 IFM의 것이고, 모델은 나온 지 3주밖에 되지 않았으며, 그중 어느 것도 독립적인 수치로 뒷받침되지 않는다는 점입니다. 작동 중인 아랍어 프로덕션 경로를 공급업체 수치만 믿고 3주 된 체크포인트로 업그레이드하는 것은 이 비교가 막고자 하는 실수입니다.

둘 다 확보하는 방법은 먼저 두 모델을 나란히 실행해 보는 것이며, 예전에 이 방식이 비쌌던 이유는 통합 두 개와 비교 하네스를 필요로 했다는 점입니다. OrcaRouter는 이를 단번에 해소합니다: 200개 이상의 모델을 아우르는 하나의 API에 0% 마크업, 공급자 정가가 그대로 전달되며, 따라서 비교 평가는 프로젝트가 아니라 라우팅 변경입니다 — 그리고 라우팅 DSL은 동일한 아랍어 프롬프트를 두 모델에 보내고 답변을 채점하는 특정 작업에 딱 맞는 도구입니다, 왜냐하면 두 모델을 하나의 호출로 구성해 둘 다 반환하기 때문입니다. 자동 페일오버는 다음 단계를 안전하게 만드는 장치로, 새로 공개된 모델이 실제 트래픽의 일부를 가져가도록 하고 이미 안정된 모델은 나머지를 흡수하며 새 모델이 빠뜨린 요청을 받아냅니다. 두 모델 모두 현재 우리 카탈로그에 없습니다; 셀프 호스트를 전제로 설계하기 전에 확인할 곳은 모델 목록입니다.

볼 만한 것

이 페이지를 얼마나 크게 바꿀지 순서대로 네 가지입니다. SILMA 9B의 후속작은 범주 불일치를 다시 진짜 맞대결로 돌려놓을 것입니다. Jais 3 체크포인트에 대한 어떤 독립적 평가든 전체 벤치마크 섹션을 불필요하게 만들 것입니다. 현재 곧 공개 예정으로 올라와 있는 IFM의 기술 보고서. 그리고 Jais 3의 공개된 가격, 어디에도 없는. 그중 적어도 하나가 실제로 나오기 전까지는, 이 비교에 대해 방어 가능한 해석은 아키텍처적입니다 — 라이선스, 게이팅, 컨텍스트, 툴링, 크기 사다리 — 그리고 점수는 두 연구소가 서로 다른 두 해에 서로 다른 두 가지를 측정한 것으로 읽어야 합니다.