HiRO-ACEv2 vs MathForm 8B: 두 개의 특화 모델, 두 종류의 그라운드 트루스

둘 다 HiRO-ACEv2와 MathForm-8B범용 모델이 되려 하지 않으며, 둘 다 흥미로운 문제가 챗봇보다 좁다고 판단한 팀들이 만들었다. HiRO-ACEv2는 Ai2의 2세대 기후 에뮬레이터로, 2026년 10월 12일 Hugging Face에 10.9GB 저장소로 아무 발표 없이 게시되었으며, 다음 날 자 프리프린트와 함께 올라왔다. MathForm-8B는 OpenBMB의 자동 형식화 모델로, 2026년 8월 14일 Qwen3-8B 백본 위에서 만들어졌으며, 자연어 수학을 Lean 4 명제로 바꾼다. 하나는 3km 격자 대기를 만들어 내고, 다른 하나는 형식적 증명 의무를 만들어 낸다. 이 둘을 비교하는 이유는 능력이 아니다 — 겹치는 용도가 없다 — 오히려 둘 다 주장하는, 각각의 경우에 매우 다른 의미가 되는 어떤 것이다: 기계가 출력이 올바른지 판별할 수 있다는 것.

각 모델이 실제로 출력하는 것

HiRO-ACEv2는 2단계 파이프라인을 실행합니다. 자기회귀 에뮬레이터는 100km로 조대화된 전 지구 폭풍 해상 모델인 X-SHIELD를 생성합니다. 그런 다음 별도로 훈련된 확산 모델이 그 조대 상태를 3km로 다운스케일하여 6시간 평균 지표 강수율, 순간 10m 동향 및 북향 바람, 해면기압을 산출합니다. 리포지토리에는 다운스케일러가 약 1.28GiB의 HiROv2.ckpt로, 조대 에뮬레이터가 약 2.98GiB의 ACE2S-X-SHIELD.ckpt로 저장되어 있으며, 10년치 NetCDF 강제력 데이터, 두 개의 초기 조건 파일, 그리고 이들을 하나로 묶는 YAML 구성 파일이 포함되어 있습니다.

MathForm-8B는 텍스트를 생성하지만, 매우 특별한 종류인 Lean 4 정리 문장을 생성합니다. 이 카드는 OpenBMB의 FormalVerse 데이터셋으로 훈련된 자동 형식화 모델로 설명하며, 먼저 지도 미세 조정을 거친 후 Lean 컴파일과 의미 일관성 피드백에서 보상을 받는 강화 학습을 사용합니다. 이 모델은 8B dense이고 Apache 2.0이며, 자체적으로 발표된 매개변수 수가 아니라 기반 모델인 Qwen3-8B에서 규모를 상속받습니다. 권장 생성 설정은 Transformers, vLLM 또는 SGLang 서버에서 온도 0.6, top-p 0.95 및 16,384개의 새 토큰이며, 평가에는 실행 중인 Kimina Lean Server와 Lean 4.21.0이 필요합니다.

둘 다 설계상 좁습니다. 그것이 첫 번째 진정한 유사점이며, 유사점은 대부분 거기서 끝납니다.

두 가지 종류의 확인, 그리고 왜 그중 하나만이 논쟁을 끝내는가

Lean 쪽에는 결정적인 검증기가 있다. 정리 명제는 Lean 4에서 컴파일되거나 그렇지 않다. 그리고 타입 검사기는 고정된 형식 체계다. 좋은 날과 나쁜 날이 있는 것도 아니고, 보정될 필요도 없다. 바로 그렇기 때문에 MathForm-8B의 훈련 루프는 애초에 컴파일을 보상 신호로 사용할 수 있다. 공개된 수치는 두 체제, 즉 구문 검사와 일관성 검사에서의 Pass@8 비율이며, 여섯 개 벤치마크에 걸쳐 평가되었다. 구문 검사 수치는 88.06%이고 일관성 검사 수치는 72.37%다. 이는 저자들 자신의 수치로, 여기서 재현된 것이 아니며, 둘 사이의 16퍼센트포인트 격차는 이 카드에서 가장 많은 정보를 주는 부분이다. 컴파일되는 명제는 원래 문제가 의미했던 바를 말하는 명제와 같지 않다.

기후 측에는 그러한 검증기가 없다. HiRO-ACEv2의 모델 카드에는 벤치마크 표가 없다. 이 모델의 유일한 정량적 주장은 다운스케일러가 기준 강수, 10미터 바람 및 해수면 기압 분포를 99.9999번째 백분위수까지 재현하며, 기준 열대 저기압 강도 분포를 대체로 따른다는 것이다. 논문은 추론 비용이 기존의 수치 전지구 폭풍 해상 모델보다 300배 이상 적다고 덧붙인다.

그것들 각각은 계산법에 대한 합격/불합격 테스트가 아니라, 기준값에 대한 분포적 주장이다. 그 차이가 각 주장이 도전받지 않고 얼마나 오래 살아남는지를 결정한다. MathForm-8B 수치는 Lean 서버와 GPU로 모델을 벤치마크에 대해 실행하면 반증할 수 있다. HiRO-ACEv2 수치를 반증하려면 10년치 강제력 데이터셋, 비교 대상이 되는 기준 시뮬레이션, 그리고 극단적 꼬리에서 작업할 의향이 있는 분석가가 필요하다. 첫 번째는 대학원생이 일주일이면 할 수 있는 일이다. 두 번째는 논문 한 편이다.

벤더가 알려줄 것과 알려주지 않을 것

두 모델 카드는 정반대의 기질을 지니고 있으며, 나란히 놓고 읽어 보면 카드가 무엇을 위한 것인지에 대해 시사하는 바가 있다.

OpenBMB의 카드는 한계점 섹션이 포함된 주장 시트입니다. 여기에는 학습 코퍼스, 보상 구조, 권장 샘플링 매개변수, 정확한 Lean 버전, 그리고 여섯 개 벤치마크 전반에 걸친 Pass@8을 보고하는 그림이 나와 있습니다. 다만 주목할 점은 숫자가 텍스트가 아니라 이미지에 들어 있다는 것이며, 따라서 페이지를 프로그래밍 방식으로 스크래핑하는 사람은 방법이 신중하게 설명된 것은 찾을 수 있지만 결과는 전혀 찾을 수 없습니다. 제공하지 않는 것은 출시 날짜입니다. 메타데이터 어디에도 유일한 날짜 신호는 arXiv 식별자 2608.14221과 저장소의 생성 타임스탬프인 2026년 8월 14일뿐입니다.

Ai2의 카드는 본질적으로 제약 사항의 목록이다. 두 체크포인트 모두에 대해 2014년부터 2022년까지 9년간의 훈련 데이터. 관측값이 아니라 X-SHIELD를 재현하는 출력물이므로, 참조 시뮬레이션의 편향을 그대로 지닌다. 훈련 강제 조건 밖에서의 일반화는 기대하지 않는다 — v2 논문은 이 프레임워크가 남위 66°에서 북위 70°를 벗어나면 검증되지 않았고 남위 88° 또는 북위 88°를 넘어서는 실행할 수 없다고 언급하며 이 점을 더욱 분명히 한다. 16×16 1도 훈련 타일보다 큰 영역에서 나타나는 패치 중첩 불연속성. 번들로 제공되는 ACE2S-X-SHIELD 체크포인트가 이전 ACE2-ERA5 계열보다 덜 엄격하게 테스트되었으며, 일기 예보용이 아니라는 점에 대한 설명. 그리고 라이선스 — Apache 2.0 — 에는 Ai2의 책임 있는 사용 지침과 연구 및 교육 목적의 프레임이 포함되어 있다.

한 카드는 모델이 어떤 점수를 받는지 알려준다. 다른 카드는 모델이 무엇을 할 수 없는지 알려준다. 둘 다 무엇인가를 숨기고 있지 않으며, 두 번째를 더 약한 릴리스로 착각하는 독자는 이 아티팩트들이 무엇을 위한 것인지 잘못 읽은 것이다.

진정으로 비교할 수 있는 부분: 포크의 가치는 얼마인가

두 릴리스를 같은 방식으로 볼 수 있는 유일한 축이 여기 있으며, 그 축은 서로 반대 방향을 향한다.

• 백본의 출처 — MathForm-8B는 Qwen3-8B를 전면 파인튜닝한 모델이므로, 그 계보가 Hugging Face 메타데이터에 문서화되어 있고 그 조상은 널리 배포된 오픈 모델입니다. HiRO-ACEv2의 구성 요소는 Ai2 자체 파이프라인 내에서 학습되며, 학습 데이터는 GFDL이 제공한 X-SHIELD에 귀속되고, 그 아래에 상류의 오픈 체크포인트가 없습니다.

• 이를 로드할 수 있는 런타임은 몇 개인가요 — MathForm-8B는 Transformers, vLLM 또는 SGLang에서 실행되며, 커뮤니티는 이미 llama.cpp와 Apple silicon용 GGUF 및 MLX 양자화를 만들어 냈습니다. HiRO-ACEv2는 ai2cm/ace 리포지토리를 가리키는 구성과 함께 Ai2의 fme Python 패키지를 통해 실행되며, 대체 경로는 없습니다.

• 생태계가 얼마나 빠르게 움직였는지 — MathForm-8B의 저장소가 등장한 지 나흘 만에 커뮤니티 GGUF 빌드가 공개되었고, 4비트, 6비트, 8비트 MLX 변환도 2주 안에 이어졌다. HiRO-ACEv2의 저장소는 마지막 커밋 후 이틀이 지나도록 좋아요 하나뿐이고 다운로드는 없다.

• 가중치를 얻는 데 드는 비용 — MathForm-8B는 일반 모델 체크포인트로 다운로드되며 소비자용 하드웨어에 맞게 양자화됩니다. HiRO-ACEv2는 10.9 GB 저장소이고, 그 대부분은 가중치가 아니라 강제력(forcing) 및 초기 조건 데이터이며, 크기가 줄어들지 않습니다.

패턴은 애플리케이션 특화 언어 모델은 백본으로부터 생태계를 물려받고, 애플리케이션 특화 물리 에뮬레이터는 아무것도 물려받지 않는다는 것이다. MathForm-8B의 경우, 그것을 실행되게 만드는 작업은 그것이 존재하기 전에 대부분 완료되어 있었다. HiRO-ACEv2의 경우에는 README에서 시작한다.

라우팅 계층이 적합한 곳과 그렇지 않은 곳

여기서 솔직한 답은 비대칭적이며, 두 모델을 똑같이 언급하며 얼버무리기보다 차라리 분명히 밝히는 편이 낫습니다. MathForm-8B 자체는 저희 카탈로그에 없습니다. 이 파인튜닝된 체크포인트는 OpenBMB 자체 배포본에서 나온 것으로, 호출하는 Lean 설치 옆의 자체 서버에서 실행해야 합니다. 그 모델의 원본 역시 저희 카탈로그에 없는데, 이는 통상 반대로 가정하기 때문에 언급할 가치가 있습니다. 파인튜닝의 기반이 된 특정 Qwen3-8B 체크포인트는 2025년 릴리스이며 저희가 서비스하는 Qwen id 중 하나가 아닙니다. 저희가 실제로 라우팅하는 것은 그 주변의 현재 Qwen 세대, 즉 Qwen3.8 및 Qwen3.5 티어와 8B 규모 및 동일한 패밀리 계보를 공유하는 Qwen3-VL-8B-Instruct 체크포인트를 131,072 토큰 컨텍스트에서 입력 100만 토큰당 $0.18, 출력 100만 토큰당 $0.70에.

그것이 바로 형식화 파이프라인이 실제로 필요로 하는 계층이다. 교과서를 후보 명제들로 쪼개거나, 논문이 자동 형식화기로 넘어가기 전에 그 안에서 비형식 정리를 추출하거나, Lean 오류 메시지를 진단으로 바꾸는 일은 평범한 언어 모델 호출이며, 다른 모든 것과 같은 키를 통해 실행될 수 있다. HiRO-ACEv2는 라우팅 가능하지 않으며 현재 형태로는 결코 그렇지 않을 것이다. 라우팅할 토큰 단위로 계량되는 요청이 존재하지 않기 때문이다 — 10.9기가바이트의 체크포인트와 셸 스크립트는 엔드포인트가 아니다.

200개 이상의 라우팅된 모델 전반에 걸쳐 키 하나가 여러분에게 주는 것은, 이 둘 중 하나를 중심으로 구축된 파이프라인에서 주변 작업이 프로젝트가 아니라 호출이 된다는 점입니다: 제공업체의 정가는 마크업이 추가되지 않고 그대로 전달되며, 제공업체 간 장애 조치는 자동으로 이루어지고, 앙상블이나 형식화 실행을 구동하는 스크립트는 자체 출력을 요약하기 위해 두 번째 공급업체 계약을 필요로 하지 않습니다.

양쪽에서 주의해야 할 점

Lean 측에서 중요한 숫자는 훈련 레시피에 이해관계가 없는 그룹이 88.06과 72.37 수치를 독립적으로 재현한 결과일 것이며, 이상적으로는 단일 Pass@8로 평균화하기보다 벤치마크별로 분리된 결과여야 합니다 — 왜냐하면 자동 형식화 실패는 수학적 영역별로 군집화되고, 평균은 실무자가 필요로 하는 바로 그 패턴을 숨기기 때문입니다. 기후 측에서 중요한 숫자는 에뮬레이터 저자가 아닌 다른 사람이 동일한 하드웨어에서 실행한 수치 폭풍 해상 모델과의 비교일 것입니다. 왜냐하면 300배 추론 주장이야말로 이 기술이 운영적으로 채택될지를 결정하는 요소이기 때문입니다.

그때까지는 두 모델 모두 각자의 카드가 권하는 방식으로 읽는 것이 가장 좋다. MathForm-8B는 출력 뒤에 컴파일러가 받쳐 주는 강력한 자동 형식화기이며, 그에 관한 흥미로운 질문은 컴파일된 문장이 단지 참인 진술이 아니라 올바른 내용을 말하는 경우가 얼마나 많으냐이다. HiRO-ACEv2는 이전에는 강수만 출력하던 것에 바람과 기압을 막 추가한 연구용 에뮬레이터이며, 흥미로운 질문은 추가된 필드가 함께 제공되는 강수와 물리적으로 일관되느냐이다. 이는 벤치마크 표가 설령 존재했더라도 알려 주지 않았을 것이다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.