Jais 3 vs Fanar 2: 두 공급업체는 Fanar 2가 받는 점수에 대해 의견이 일치하지 않는다

J​ais 3와 Fanar 2는 걸프 지역의 대표 아랍어 모델 계열 두 가지이며, 이들을 비교하는 것에 관해 누군가가 해줄 수 있는 가장 유용한 말은 Fanar-2-27B-Instruct에 대한 공급업체 자체 수치가 서로 일치하지 않는다는 점입니다. QCRI의 모델 카드는 자사 27B 인스트럭트 모델의 ArabicMMLU를 74.67%, Belebele을 86.81%로 보고합니다. J​ais-3-32B 카드는 Institute of Foundation Models와 Inception42의 것으로, 자체 참조 표에서 동일한 상대 모델을 실행하여 Fanar-2-27B를 Arabic MMLU에서 66.3, Belebele에서 61.8로 기록합니다. 이는 한 모델에 대해 한 벤치마크에서는 8점 차이, 다른 벤치마크에서는 25점 차이이며, 어느 수치도 조작된 것이 아닙니다 — 이들은 서로 다른 하네스, 서로 다른 프롬프트 형식, 그리고 IFM의 경우 감사된 샘플 세트의 산출물입니다. 이는 또한 이 페이지에서 가장 교훈적인 단 하나의 내용입니다. 왜냐하면 공개된 수치로 구성한 J​ais 3와 Fanar 2의 비교는 두 모델의 비교만큼이나 두 측정 관행의 비교이기도 하다는 뜻이기 때문입니다.

두 장의 카드, 분명히

• J​ais-3-32B — IFM의 32B dense 디코더 전용 모델로, 최대 524,288 토큰의 컨텍스트를 지원하며, Apache 2.0, 가중치는 2026년 9월 29일 공개되었습니다. 추론 파서(k2_horizon), 도구 호출 파서, 그리고 선택 가능한 세 가지 도구 호출 형식을 함께 제공합니다. bfloat16에서 텐서 병렬성 2로 서빙됩니다.

• Fanar-2-27B-Instruct — QCRI(하마드 빈 칼리파 대학교)의 27B dense 모델로, 32,768 토큰의 컨텍스트, Apache 2.0, 2026년 3월 출시. google/gemma-3-27b-pt로부터 약 166B의 아랍어 및 영어 토큰으로 세 가지 레시피에 걸쳐 지속적으로 사전 학습된 후 병합되었으며, 이어서 5단계 사후 학습 파이프라인이 적용되었습니다.

• 규모 범위 — Jais 3는 하나의 패밀리로, 0.9B에서 375B까지 여섯 개의 기본 체크포인트가 있으며 두 개의 전문가 혼합(MoE) 모델을 포함합니다. Fanar 2의 언어 라인은 사실상 27B 단일 인스트럭트 모델이며, 더 작은 텍스트 체크포인트 대신 다른 모달리티의 형제 모델들을 갖추고 있습니다.

• 라이선스 — Apache 2.0, 양쪽 모두에 적용되고 양쪽 모두 게이트가 없습니다. 어느 제품군도 서명을 요구하지 않는데, 이는 이 지역의 관행이 아니므로 언급할 가치가 있습니다.

• 기본 아키텍처 — Jais 3는 IFM이 맞춤형 아키텍처(k2_horizon, 맞춤형 원격 코드 필요)로 훈련한 모델입니다. Fanar 2는 Google의 Gemma 3 27B를 지속 사전 학습한 모델로, 이는 처음부터 훈련한 것이 아니라 잘 실행된 적응이라는 점에서 다른 종류의 결과물입니다.

수치가 엇갈리는 지점, 그리고 그것이 스캔들이 아닌 이유

벤치마크 이름은 하나씩 따로 살펴보세요. 그 레이블은 겉보기보다 하는 일이 적으니까요.

• ArabicMMLU 대 Arabic MMLU* — Fanar의 모델 카드에는 자사가 ArabicMMLU라고 부르는 벤치마크에서 74.67%라고 적혀 있다. IFM의 표에는 자사가 Arabic MMLU*라고 부르는 열에 66.3이라고 나와 있으며, 별표는 IFM이 모호한 프롬프트, 유효하지 않은 선택지 또는 정당화할 수 없는 골드 레이블이 있는 질문을 제외했다는 뜻이다. 서로 다른 두 표본 집합이고 그중 하나는 정제되었으며, 어느 연구소도 상대방의 결과를 보고할 의무가 없다.

• Belebele, 86.81 대 61.8 — 훨씬 더 큰 격차이며, 여기서는 하네스 설명이 더욱 확장됩니다. Fanar의 수치는 방언 아랍어이고, IFM의 열에는 동일한 벤치마크 이름이 적혀 있습니다. 25점은 반올림 차이가 아니며, 정직한 결론은 이 실행들 중 적어도 하나가 다른 하나가 측정하는 것을 측정하고 있지 않다는 것입니다.

• IF-Eval, 82.97 대 49.8 — Fanar는 자체 개선 표에서 IF-Eval 82.97을 보고합니다. IFM의 참조 열에서는 Fanar-2-27B를 아랍어 IFEval에서 49.8로 제시합니다. 같은 역량, 다른 언어, 다른 프롬프트 세트.

• 수준은 아니더라도 형태에 관해 양측이 동의하는 점 — Fanar 2는 Fanar 1보다 크게 진일보한 버전이다. QCRI는 자사의 9B 이전 모델 대비 ArabicMMLU에서 +7.32, GSM8K에서 +10.68, IF-Eval에서 +8.27을 보고한다. 그 주장은 내적으로 일관되며 아무도 이의를 제기하지 않는다.

여기서 도출되는 원칙은 "한 연구소가 부정행위를 하고 있다"가 아니다. 그것은 아랍어 벤치마크의 경우, 하네스가 붙지 않은 수치는 수치가 아니라는 것이다. IFM은 적어도 자사 수치 중 어떤 것을 감사했는지 표시하고 제외된 샘플을 별도 컬렉션으로 공개하는데, 이는 대부분의 연구소가 하는 것보다 더 많은 일이다 — 그러나 그것은 여전히 IFM이 경쟁사에 대한 IFM의 평가를 감사하는 것이다.

맥락과 배포는 비교가 명확한 부분이다.

이 행들은 하네스 인수에 종속되지 않습니다. 이는 측정값이 아니라 아키텍처적 사실이기 때문입니다.

• 컨텍스트 — Jais-3-32B는 524,288 토큰인 반면 Fanar-2-27B-Instruct는 32,768 토큰입니다. 창 크기가 16배이며, Fanar의 카드에는 훈련 중 16K에 도달하는 데 사용된 54K의 긴 컨텍스트 지침이 문서화되어 있는데, 이는 훈련된 긴 컨텍스트 동작을 명목상 32K 훨씬 안쪽에 위치시킵니다.

• 서빙 풋프린트 — J​ais-3-32B 기준 TP=2, bfloat16, vLLM ≥ 0.30.0 또는 SGLang ≥ 0.5.20. Fanar-2-27B는 transformers 4.57.6으로 테스트되었으며 표준 G​emma 3 27B 형태이므로, 이미 G​emma를 구동 중인 어떤 스택에도 그대로 적용됩니다.

• 모델과 함께 제공되는 툴링 — Jais 3에는 추론 파서, 툴 호출 파서, 그리고 json, xml 또는 xml_typed 툴 형식 중 선택이 일급 서빙 플래그로 포함되어 있습니다. Fanar 2는 일반적인 툴 호출과 10개의 내장 Fanar 툴을 지원하지만, 통합 인터페이스는 프레임워크 플래그 집합이 아니라 벤더 자체 API입니다.

• 제3자 평가 — 두 모델 모두 Artificial Analysis 항목이 없고, 아레나 점수도 없으며, 독립적인 재현 결과도 없습니다. 두 제품군의 수치는 모두 벤더가 보고한 것이며, 기사는 이를 인용할 때마다 그 사실을 먼저 밝힙니다.

Fanar 2에는 있지만 Jais 3에는 없는 것

세 가지입니다. 그리고 그것들은 결코 작지 않습니다.

• 네이티브 아랍어 추론 트레이스.Fanar 2는 약 250,000개의 아랍어 추론 예시로 학습되었으며, 영어 트레이스를 번역하는 대신 아랍어로 사고의 연쇄를 생성한다. Jais 3는 추론 파서를 공개하고 강력한 아랍어 에이전트 수치를 보고하지만, 그 카드에서는 사고가 이루어지는 언어에 대해 같은 주장을 하지 않는다.

• 설계된 행동으로서의 환각 완화. Fanar 2는 답변을 보류하도록 훈련되었습니다 — 훈련 중 지식 탐침, 5단계 구조화된 검증 추적, 보정된 "모르겠습니다" 응답 — 그리고 자발적으로 언급된 꾸란 구절 참조를 검증 마커로 감싸서 다운스트림 시스템이 이를 확인할 수 있게 합니다. 마지막 기능은 이례적이며 Jais 3 카드에는 이에 대응하는 내용이 없습니다.

• 모델을 둘러싼 하나의 제품. QCRI는 채팅 인터페이스, iOS 및 Android 앱, 접근 요청 절차가 문서화된 API를 제공하며, 그와 함께 이미지 생성, 이미지 이해, 시(詩) 작성을 위한 자매 모델들도 내놓았다. Jais 3는 프레임워크 레시피와 함께 공개된 가중치 릴리스이고, 음성 모델이 그 옆을 지키며, 나머지는 연구 산출물이다.

그것들은 벤치마크 차이가 아니라 역량 차이이며, 공정하게 보면 Fanar 2는 제품으로서 더 완성된 반면 Jais 3는 모델로서 더 야심적이다.

에이전틱 칼럼이 실제로 말하는 것, 별표가 붙은 채로

IFM의 자체 표는 이 두 모델 간에 공개된 유일한 직접 비교이며 Fanar에게 그리 좋게 비치지는 않습니다: Terminal Bench 2.1은 63.7 대 1.1, GDPVal은 75.5 대 0.0, MCPMark는 66.1 대 12.1, SWE-Bench Verified는 72.4 대 0.4, 아랍어 파일 처리는 71.8 대 0.0.

그것들을 있는 그대로 읽어라. 그것들은 경쟁사 모델에 대한 IFM의 측정치로, IFM이 IFM의 하네스에서 실행하고 IFM의 모델 카드에 게시한 것이다. 27B instruct 모델이 GDPVal에서 0점, SWE-Bench Verified에서 0.4점을 받는 것은 그럴듯하다 — 이들은 대규모 도구 호출 훈련 데이터가 없는 모델에 불리하게 작용하는 에이전트형 벤치마크이며, Fanar 2의 에이전트 작업은 일반 소프트웨어 작업보다 자체적인 10개 도구를 중심으로 이루어져 있다. 하지만 자기가 만든 표의 모든 행에서 자기 모델이 이겼다고 보고하는 연구소는 세상이 아니라 자기 평가에 대해 말해 주는 것이다.

방어 가능한 진술은 더 좁습니다: IFM이 공개한 하네스에서 J​ais-3-32B는 보고된 모든 에이전트 벤치마크에서 Fanar-2-27B-Instruct를 능가하며, Fanar의 카드는 에이전트 벤치마크를 전혀 보고하지 않으므로, 이를 반박하는 것도 없고 이를 뒷받침하는 것도 없습니다. 공개된 증거는 한쪽만 공개했기 때문에 일방적입니다.

어느 걸 고를까?

긴 컨텍스트, 에이전트 작업, 또는 체크포인트 크기를 선택해야 하는 필요: J​ais 3이며, 컨텍스트에서는 근소한 차이가 아닙니다. 512K 윈도우 대 32K는 문서 처리, 리포지토리 규모의 작업, 그리고 긴 에이전트 궤적을 그 자체로 결정합니다.

읽으려는 아랍어 추론, 신뢰할 수 있는 답변 유보 행동, 꾸란 콘텐츠 처리, 또는 앱과 지원 경로를 갖춘 벤더: Fanar 2. QCRI의 포스트트레이닝 파이프라인은 정말 정교하다 — 400만 개의 SFT 지시문, 28만 개의 DPO 쌍, 다섯 단계, 긴 컨텍스트 적응이 단문 작업의 성능을 떨어뜨리지 않도록 하기 위한 의도적인 역량 재균형 패스 — 그리고 이는 어떤 리더보드 열도 포착하지 못하는 차원에서 드러난다.

같은 워크로드에 두 모델 모두 그럴듯하기 때문에 결정이 어렵다면, 그것을 판가름해 줄 것은 두 모델 모두에 대해 실행해 보고 자신만의 기준으로 채점한 자신의 프롬프트입니다. 그것이 바로 이 두 모델에 관해 아무도 발표하지 않은 실험이며, 위에 인용된 모든 수치보다 더 가치가 있습니다.

이걸 실행하는 일은 예전보다 수고가 덜 듭니다. OrcaRouter는 마크업 0%로 200개가 넘는 모델 전반에 걸쳐 키 하나를 제공하고 제공업체 정가가 그대로 전달되므로, 두 아랍어 체크포인트 간의 맞대결은 두 번의 통합이 아니라 라우팅을 바꾸는 일이 됩니다 — 그리고 항목별 채점은 라우팅 DSL이 바로 이 용도로 만들어진 사례입니다, 왜냐하면 하나의 조합된 호출로 두 모델 모두에 같은 프롬프트를 보낼 수 있어 비교용 하네스를 작성할 필요가 없기 때문입니다. 현재 두 패밀리 모두 저희 카탈로그에 없습니다; 무엇이 있는지 확인하려면 모델 목록을 보면 됩니다.

이 문제를 해결할 수 있는 방법은 무엇일까요?

공통 하네스에서 두 모델을 각각 독립적으로 한 번 실행해 프롬프트와 함께 공개한 결과. 바로 그것이 빠져 있다. 그리고 이 두 모델만이 아니라 모든 주류 아랍어 모델에 빠져 있다 — 이 분야 전체가 스스로 보고한 수치에 의존하고 있기 때문에, Fanar 2의 ArabicMMLU에 관한 8점 불일치가 7개월 동안 누구도 해결하지 않은 채 공개적으로 남아 있을 수 있는 것이다. 누군가 그것을 해결할 때까지는 J​ais 3 표는 IFM의 주장으로, Fanar 2 표는 QCRI의 것으로 취급하고, 아키텍처상의 사실들—512K 대 32K, 체크포인트 7개 대 1개, 파서 플래그 대 호스팅 API—은 실제로 계획에 반영할 수 있는 부분으로 취급하십시오.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.