HiRO-ACEv2 vs Gemma 4 12B: 매개변수 세기를 멈춰야만 비교가 의미가 있다

HiRO-ACEv2와 Gemma 4 12B는 둘 다 Apache 2.0 라이선스로 배포되며 이름에 숫자가 있고 기술 보고서가 뒤따르는 다운로드이고, 유사점은 거의 거기서 끝난다. Gemma 4 12B는 Google의 119억 5천만 개 파라미터 멀티모달 언어 모델로, 텍스트, 이미지, 오디오를 입력받아 텍스트를 출력하며 256K 토큰 컨텍스트 창을 갖추고 2026년 6월에 출시되어 백만 번이 훨씬 넘게 다운로드되었다. HiRO-ACEv2는 Ai2의 2세대 기후 에뮬레이터로, 2026년 10월 12일 Hugging Face 리포지토리에 약 10.9GB의 체크포인트와 강제 데이터와 함께 업로드되었고, 별도 발표도 없이 다음 날 논문이 나왔다. 하나는 호출해서 쓰는 범용 모델이고, 다른 하나는 자신의 컴퓨터에 설치해 실행하는 물리학 프레임워크다.

품질을 놓고 정면 승부를 겨루는 구도로 보면, 이 맞대결은 무의미하며, 그렇지 않은 척하는 것은 이런 페이지가 빠지기 쉬운 안이한 실패일 뿐이다. 2026년에 오픈 웨이트가 실제로 무엇을 가져다주는가라는 질문으로 보면, 이는 진정으로 교훈적이다 — 두 릴리스가 같은 라이선스 태그를 달고 있음에도 개방성 스펙트럼의 양 극단에 위치하고, 그 차이는 둘 중 하나를 써 보기 시작하는 첫 한 시간 안에 드러나기 때문이다.

각각의 용도는 무엇인지, 각각 한 문장으로.

Gemma 4 12B는 프롬프트—텍스트, 이미지, 오디오 클립 또는 이들의 조합—를 받아 텍스트를 생성합니다. 이 모델은 비전 타워가 없고 인코더도 없는 아키텍처를 갖추고 있으며, 선형 계층을 통해 이미지 패치와 오디오 파형을 언어 모델의 임베딩 공간으로 곧바로 투영합니다. 48개 계층, 262K 어휘, 전역 어텐션과 혼합된 1024토큰 슬라이딩 윈도, 그리고 bf16 기준 약 119억 5천만 개의 파라미터를 갖추고 있습니다. 이 모델은 명시적으로 dense 모델이며, 이번 릴리스에는 벤더의 전체 벤치마크 표가 포함되어 있습니다.

HiRO-ACEv2는 100km 해상도의 기후 상태를 입력받아 3km 필드 — 강수, 10m 동향 및 북향 바람, 평균 해수면 기압 — 를 6시간 주기로 생성합니다. 이는 2단계 시스템으로, X-SHIELD를 100km로 조대화한 자기회귀 에뮬레이터와, 그 결과를 3km로 다운스케일하는 확산 모델로 구성됩니다. 텍스트가 아닌 NetCDF 형식의 격자 필드를 출력하며, 벤치마크 표가 전혀 없습니다.

구조적 측면에서 보면 그것이 비교의 전부입니다. 하나는 언어를 언어로 매핑합니다. 다른 하나는 거친 분위기를 섬세한 분위기로 매핑합니다.

{{1}}두 가지를 솔직히 비교할 수 있는 유일한 차원{{/1}}

파라미터는 잘못 짚은 축이고, 그중 하나에는 컨텍스트 길이가 아무 의미가 없다. 실제로 전이되는 차원은 릴리스가 얼마나 완성되었는가이다.

• 로드할 수 있는 프레임워크 — Gemma 4 12B는 Transformers, vLLM, SGLang, llama.cpp, MLX 및 다양한 양자화된 커뮤니티 빌드에서 실행됩니다; HiRO-ACEv2는 Ai2 자체의 fme Python 패키지를 통해 실행되며, 구성은 ai2cm/ace 저장소만을 대상으로 하고 그 외에는 아무것도 없습니다.

• 답변 하나의 가격 — Gemma 4 12B는 이를 서비스하는 제공업체들을 통해 백만 입력 토큰당 약 $0.10, 백만 출력 토큰당 약 $0.30에 제공됩니다. HiRO-ACEv2에는 요금표가 없는데, 요청당 과금할 만한 요소가 전혀 없기 때문입니다. 그 비용은 자체 하드웨어에서 소모되는 GPU 시간이며, 논문의 주장은 그 시간이 기존의 수치적 전지구 폭풍 해상 모델보다 300배 이상 적게 든다는 것입니다.

• 누가 이를 재현했는가 — Gemma 4 12B의 수치는 벤더가 보고한 것이지만, 그 배포는 그렇지 않다: 수십만 건의 다운로드와 방대한 독립 실무자들의 작업물이 그것이 어떻게 작동하는지에 관한 모든 주장을 뒷받침하고 있다; HiRO-ACEv2의 수치는 저자들 자신의 것으로, 이틀 된 것이며, 이 글을 쓰는 시점에 해당 저장소의 다운로드 수는 0이다.

• 라이선스 태그가 무엇에 적용되는지 — 둘 다 Apache 2.0입니다. Gemma 4 12B의 라이선스 부여는 일반 라이선스이고, HiRO-ACEv2의 것은 연구 및 교육 목적을 명시한 Ai2의 책임 있는 사용 지침(Responsible Use Guidelines)과 그 위에 덧씌워진 자체 적용 사용 약관과 함께 제공됩니다.

• 기계적으로 검증할 수 있는 출력 — Gemma 4 12B의 답변은 읽어서 확인하거나 직접 작성한 테스트 스위트로 검증합니다. HiRO-ACEv2 필드는 분포를 기준으로 검증하는데, 그래서 이 논문은 평균 점수가 아니라 99.9999번째 백분위수에 관한 것입니다.

벤치마크 표가 가장 두드러지는 차이입니다.

Google은 Gemma 4 12B Unified에 대한 전체 표를 공개했다. MMLU Pro 77.2%, 도구를 사용하지 않은 AIME 2026 77.5%, LiveCodeBench v6 72.0%, Codeforces ELO 1659, GPQA Diamond 78.8%, MMMLU 83.4%, MMMU Pro 69.1%, MATH-Vision 79.7%, 그리고 128k에서 MRCR v2 eight-needle 수치 43.4%다. 이는 벤더 자체의 수치로, Google의 경쟁사들이 재현하지 못한 것이며, 일반적인 단서가 적용된다: 모델 카드 벤치마크는 구성에 대한 주장이지, 여러분이 실행할 모델에 대한 측정값이 아니다. 하지만 그 각 행은 제3자가 한나절 만에 반증을 시도할 수 있는 숫자이며, 그중 여러 개는 일상적인 사용에서 드러나는 능력을 측정한다.

HiRO-ACEv2의 카드에는 그러한 표가 없습니다. 그것은 다운스케일러가 지표 강수율, 10미터 바람, 해수면 기압 분포를 99.9999번째 백분위수까지 재현한다는 하나의 정량적 진술을 제시하고, 이어서 대부분의 벤치마크 표보다 더 많은 정보를 주는 한계들을 나열합니다. 2014년부터 2022년까지 9년간의 학습 데이터. 관측값이 아니라 X-SHIELD를 재현하는 출력. 남위 66°에서 북위 70° 범위 밖에는 적용할 수 없고, 남위 88° 또는 북위 88°를 넘어서 실행할 수 없습니다. 16×16 1도 학습 패치보다 큰 영역에서 발생하는 패치 경계 불연속성. 포함된 ACE2S-X-SHIELD 체크포인트가 이전 ACE2-ERA5 라인보다 덜 엄격하게 테스트되었다는 메모.

어느 입장도 부정직하지 않다. Google은 모델을 판매하므로 모델이 받는 점수를 광고한다. Ai2는 연구 산출물을 공개하므로 그 산출물이 할 수 없는 일을 광고한다. 벤치마크 표의 부재를 약한 모델의 증거로 받아들이는 독자는 추론을 거꾸로 한 것이다 — 올바른 해석은 이 프레임워크에 필요한 평가가 분포적이며, 이를 실행하는 공개 리더보드는 없다는 것이다.

실제 파이프라인에서 만나는 지점

이 둘이 진정으로 같은 시스템에 속하는 곳이 한 군데 있는데, 그것은 경쟁 관계가 아니다. 기후 에뮬레이션 워크플로는 모델 주변에서 많은 텍스트와 코드를 생성한다. 수십 년의 시뮬레이션 시간에 걸쳐 앙상블을 구동하는 스크립트, 실행이 GPU 시간을 태워버리기 전에 NetCDF 형상을 검증하는 도구, 수백 번의 롤아웃에 걸친 분포 통계 집계, 그리고 논문을 체크리스트로 바꾸는 일상적인 작업이 그렇다. 그중 어느 것도 다운스케일링이 아니며, 그 모두는 언어 모델 작업이다 — 모델을 호스팅하기보다 요청마다 모델을 호출하는 것이 현명한 기본값인 종류의 작업이다.

그것이 OrcaRouter가 담당하는 계층입니다. HiRO-ACEv2는 우리 카탈로그에 없으며 있을 수도 없습니다 — 디퓨전 다운스케일러를 위한 토큰 미터링 엔드포인트가 존재하지 않기 때문입니다 — 따라서 여기에서 그것을 가용성 주장으로 읽혀서는 안 됩니다. Gemma 4 12B도 마찬가지로 현재 우리가 제공하는 G​emma 모델 중 하나가 아닙니다; 우리 카탈로그에는 Gemma 4 26B-A4B와 31B 체크포인트가 있으며, 12B 추론 경로는 귀하가 호스팅하는 곳에서 오게 될 것입니다. 우리가 제공하는 것은 주변 계층입니다: 200개 이상의 모델에 걸친 하나의 API 키, 공급자 정가가 마크업 추가 없이 그대로 전달되며, 공급자 간 자동 장애 조치를 통해 언어 모델도 호출하는 수십 년에 걸친 파이프라인이 한 업스트림이 한 시간 동안 문제를 겪었다는 이유로 멈추지 않도록 합니다.

1분 안에 결정하는 방법

답이 어떤 형태를 띠는지 물어보세요. 출력이 텍스트, 구조화된 추출, 코드 변경 또는 캡션이라면 Gemma 4 12B — 또는 그보다 큰 형제 모델 중 하나 — 를 원할 것입니다. 그리고 특히 12B는 단일 가속기에 들어가면서도 긴 컨텍스트를 위한 여유가 있는 크기로 멀티모달 입력이 필요할 때 올바른 선택입니다. 출력이 수십 년간 시뮬레이션된 기후에 걸쳐 강수, 바람, 기압을 기술하는 3km 격자장이라면, 어떤 언어 모델도 그것을 만들어내지 못할 것이고 Gemma 4는 당신의 문제와 무관합니다. 당신에게 필요한 것은 HiRO-ACEv2, 10.9GB 다운로드, Python 환경, 그리고 GPU입니다.

이 특정 비교의 함정은 파라미터 수에 있다. Gemma 4 12B에는 파라미터 수가 있지만, HiRO-ACEv2는 이를 공개하지 않으며, 10.9 GB의 저장소 용량은 대부분 가중치라기보다 forcing 데이터와 초기 조건이다 — 두 체크포인트를 합치면 약 4.3 GiB다. 이 두 모델을 크기로, 또는 어떤 단일 숫자로 나란히 판단하는 것은 아무도 묻지 않은 질문에 자신 있게 답을 내놓는 셈이다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.