MathForm-8B란 무엇인가? OpenBMB의 조용한 자동 형식화 출시가 수학을 Lean 4로 변환한다

openbmb/MathForm-8B는 OpenBMB에서 개발한 새로운 자동형식화(autoformalization) 모델로, 자연어 수학 명제를 Lean 4로 변환한다. 이 모델은 거의 아무런 발표 없이 공개되었다. 가중치, 데이터셋, 논문이 모두 같은 날인 2026년 8월 14일에 Hugging Face와 arXiv에 "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement"라는 총괄 제목 아래 게시되었다. 이 조용한 출시는 이례적인 결과를 숨기고 있다. 8B 파라미터 모델이 여섯 개 벤치마크에서 구문 검사 기준 평균 Pass@8 88.06%, 더 엄격한 일관성 검사 기준 72.37%를 보고했으며, 논문에 따르면 이는 여러 전문 32B 자동형식화 모델을 능가하는 성적이다. 이 글은 현재까지 알려진 내용을 정리한 것이다. 아래에서 "from the repo"라고 표시된 모든 내용은 모델 카드, 데이터셋 카드, 논문에서 직접 가져온 것이며, 아직 독립적으로 확인되지 않은 사항은 그렇게 표시되어 있다.

주요 시사점

• MathForm-8B는 8B, Apache-2.0 자동 형식화 모델입니다. 비공식 수학 문제를 읽고 이름이 있는 헤더가 포함된 Lean 4 정리 명제를 작성하여, 나중에 증명할 준비를 합니다.

• Qwen3-8B는 OpenBMB가 지식 검색과 컴파일러 검증 정제를 통해 구축한 약 367,000개 예제로 구성된 검증된 Lean 4 데이터셋인 FormalVerse에서 미세 조정되었으며, 이후 Lean 컴파일 및 의미 일관성 피드백을 사용한 강화 학습으로 훈련되었습니다.

• 보고된 수치(공급업체 보고, 재현되지 않음): Syntax Check에서 평균 Pass@8 88.06%, Consistency Check에서 72.37%로, 논문 자체의 표에서 7B~32B 규모의 전문 자동형식화 도구를 능가하는 결과다.

• 발표되지 않았고, 출시 시점에 주요 유료 API에 포함되지 않았으며, 아직 독립적으로 벤치마킹되지 않았습니다 — 프로덕션 도입에 중요한 세 가지 격차입니다.

• 서빙은 자체 호스팅됩니다: Transformers, vLLM 또는 SGLang, 모두 OpenAI 호환 엔드포인트를 노출합니다.

릴리스에 실제로 포함된 내용

2026-08-14에 세 개의 아티팩트가 몇 분 간격으로 게시되었는데, 이는 조율되었지만 사전에 공지되지 않은 릴리스의 전형적인 모습입니다:

• 모델 저장소 openbmb/MathForm-8B — 채팅 템플릿, 4개의 safetensors 샤드, Apache 2.0 라이선스를 갖춘 BF16 형식의 8B 인과 언어 모델

• openbmb/FormalVerse 데이터셋 저장소 — 약 367,000개의 검증된 예제를 포함한 Lean 4 자동 형식화 데이터셋이며, 역시 Apache 2.0 라이선스입니다.

• 논문, arXiv 2608.14221 — 데이터 구축 파이프라인, 훈련 레시피, 그리고 6개 벤치마크 평가를 설명하는 25페이지.

README의 GitHub 코드 링크는 작성 시점 기준으로 여전히 자리 표시자(placeholder) 상태이므로, 평가 파이프라인과 Pass@k 스크립트는 약속만 되어 있고 아직 공개되지 않았습니다. README에는 컴파일 검사를 위해 실행 중인 Kimina Lean Server가 필요하며 실험은 Lean 4.21.0을 사용한다고 명시되어 있습니다.

위 리포지토리 페이지가 현재 릴리스에서 공개된 전부입니다. 모델 카드, safetensors 샤드 4개, 챗 템플릿, 그리고 유일한 문서를 겸하는 README로 구성되어 있습니다. 작성 시점 기준 공지 블로그 게시물은 없습니다.

MathForm-8B가 하는 일 — 그리고 그것이 한정된 작업인 이유

자동 형식화(autoformalization)는 정리 증명 이전 단계로, 평이한 영어로 표현된 수학 문제("모든 실수 x에 대해 x²이 음이 아님을 보여라")가 주어지면, 모델은 인간이나 증명자가 이어서 증명을 시도할 수 있는 Lean 4의 형식적으로 올바른 명제 — 임포트, 타입, 정리 헤더 — 를 생성해야 한다. 이는 수학을 푸는 것과는 본질적으로 다른 능력인데, 모델이 자연어 개념을 Mathlib의 정확한 정의와 타입 계층 구조에 매핑해야 하기 때문이다. 타입 검사는 통과하지만 원래 명제를 조용히 약화시키는 명제(전체 나눗셈 주장 대신 "(2^5) ∣ (13^4 − 11^4)")는 전형적인 실패 모드이며, 이것이 논문이 구문 검사(Syntax Check, 컴파일되는가)와 일관성 검사(Consistency Check, 의미상 동일한 명제인가)를 구분하는 이유이다.

모델 카드는 의도된 사용 패턴을 보여 줍니다: 비형식 문제와 원하는 정리 이름을 담은 프롬프트를 입력하면, 다음과 같은 Lean 4 명제를 반환합니다: code>theorem my_favorite_theorem : ... := by sorry/code> — code>sorry/code>는 증명 의무를 미해결로 남겨 둡니다. 이러한 작업 분담은 중요합니다: MathForm-8B는 정형화기이지 증명기가 아닙니다. Lean 도구를 구축하는 팀들은 이를 사용하여 문제 은행을 기계가 검증 가능한 형태로 변환합니다.

어떻게 훈련되었는지

이 논문의 방법은 두 단계로 이루어진다. 먼저 OpenBMB는 (1) {{1}}생성 전에 Mathlib에서 관련 정의와 기존 형식화를 검색하고{{/1}}, (2) {{2}}후보 명제를 생성하며{{/2}}, (3) {{3}}Lean 컴파일러 진단과 의미 일관성 피드백을 사용해 이를 정제하고{{/3}}, (4) {{4}}두 검사를 모두 통과한 샘플만 유지하는{{/4}} 파이프라인을 통해 FormalVerse를 구축했다. 그런 다음 검증된 말뭉치는 지도 미세 조정에 사용되었고, 이어서 Lean 컴파일과 의미 일관성에서 얻은 보상 신호를 활용한 강화 학습이 수행되었다.

데이터셋 카드는 데이터의 구체적인 성격을 보여줍니다: 각 항목은 비공식적 진술을 검증된 형식적 진술과 짝지어 제공하며, 출처(예: {{1}}AceReason-Math{{/1}})와 주제 레이블(정수론 등)로 태그가 지정되어 있습니다. 모든 예제가 훈련에 들어가기 전에 실제 컴파일러 검사를 통과했기 때문에, 모델은 모델의 원시 출력이 아닌 검증된 진술로부터 학습합니다.

정직하게 라벨링된 벤치마크 표

이 섹션의 모든 수치는 {{1}}공급업체가 보고한{{/1}} 것으로, 논문({{2}}arXiv 2608.14221{{/2}})에서 가져온 것이며 독립적으로 재현되지 않았습니다. {{3}}Pass@8{{/3}}은 모델이 문제당 8번의 시도를 하며, 그중 하나라도 통과하면 성공으로 간주한다는 뜻입니다. 이는 {{4}}pass@1{{/4}}보다 관대한 지표이므로, "예산이 주어졌을 때 모델이 올바른 진술을 생성할 수 있는 빈도"로 읽어야 합니다.

• MathForm-8B 평균 — 구문 검사 88.06%, 일관성 검사 72.37%.

• 벤치마크별로, SC 후 CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

• 어려운 세트는 정직한 세트입니다: FATE-H CC 63% 및 FATE-X CC 37%는 가장 어려운 하위 집합에서 모델의 한계를 보여주는 반면, 더 쉬운 FormalIMATH와 ProverBench에서는 95% 이상의 CC를 보여줍니다.

• 논문에 제시된 최고의 8B 베이스라인 — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — 및 최고의 32B 베이스라인 — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — 모두 MathForm-8B의 88.06 / 72.37에 미치지 못합니다.

• SFT만 사용한 체크포인트(RL 단계 이전)는 84.38 / 66.53에 도달하며, 강화학습 과정은 평균적으로 약 +3.7 SC 및 +5.8 CC의 향상을 가져오고, 가장 큰 개선은 어려운 세트에서 나타납니다.

가장 회의적으로 봐야 할 주장: FormalIMATH와 ProverBench의 100.00 SC 점수(쉬운 세트에서 100% 컴파일은 해당 세트가 수렴되었음을 나타내는 위험 신호입니다), 그리고 동일한 조건에서 다시 실행되지 않은 32B 모델과의 비교입니다. FATE-H 및 FATE-X의 일관성 검사 수치는 독립적인 테스트를 통과할 가능성이 가장 높은 수치입니다.

확인되지 않은 것은 무엇입니까?

• 독립적인 평가는 존재하지 않습니다. 현재까지 제3자가 MathForm-8B를 공개 하네스로 실행한 적이 없으며, 평가 코드도 아직 배포되지 않았습니다.

• 서비스 공지가 없습니다. OpenBMB는 출시 블로그, 가격 페이지, API 엔드포인트를 게시하지 않았습니다. "조용히 출시했다"는 표현은 문자 그대로입니다.

• RL 보상 가중치, 훈련 예산, 하드웨어는 모델 카드에 없으며 논문에만 존재합니다.

• 8B 모델이 Lean 4.21.1+ 또는 비-Mathlib 임포트에 일반화되는지는 테스트되지 않았습니다.

실행 방법

현재 셀프 호스팅이 유일한 경로입니다. README에는 세 가지 경로가 문서화되어 있으며, 모두 OpenAI 호환 채팅 엔드포인트를 사용합니다 code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, 그런 다음 채팅 템플릿으로 생성하세요.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

README에서는 temperature 0.6, top_p 0.95, 그리고 최대 16384개의 새 토큰을 권장합니다. 형식적인 문장은 길게 생성되므로, 넉넉한 생성 창이 실제로 예산을 책정해야 할 시스템 요구 사항입니다.

'8B가 32B를 이긴다'는 부분이 중요한 이유

수치가 뒷받침된다면, {{1}}MathForm-8B{{/1}}은 자동 형식화의 병목이 단순한 파라미터 수가 아니라 데이터 품질과 검증이라는 가장 강력한 논거다. 논문 자체의 표에서도 컴파일러 검증 코퍼스로 훈련된 {{3}}8B{{/3}} 모델 아래에 32B 특화 모델들({{2}}ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B{{/2}})이 위치해 있다. 현재 32B 포멀라이저를 운영 중인 팀에게 이는 실질적인 비용 변화다. {{6}}BF16{{/6}} 기반 {{5}}8B{{/5}} 모델은 대부분의 {{7}}32B{{/7}} 모델이 들어가지 못하는 단일 GPU에 들어가며, 토큰당 서빙 속도도 더 빠르다.

이는 또한 나머지 모델 환경이 계속해서 만들어내는 정직한 선택지를 설정합니다: 검증된 하나의 작업을 아주 잘 수행하는 좁은 전문가 모델과, 검증 보장 없이 많은 작업을 시도할 수 있는 일반 모델 사이의 선택이죠. 특히 정형화(formalization) 측면에서, 전문가는 컴파일러가 출력을 검사하는 모델입니다 — 이것이 바로 자동 장애 조치(failover)가 있는 라우터를 그 앞에 배치해도 안심이 되는 속성입니다. OrcaRouter가 200개 이상의 모델에 걸쳐 공급자 목록 가격 그대로(pass-through)로 실행하는 것과 같은 라우팅 계층은, 며칠 된 오픈 가중치 모델에 테스트 경로를 지정하고 모델이 멈추는 순간 검증된 모델로 폴백할 수 있게 해줍니다 — 프로덕션 경로를 그 모델에 걸지 않고도 조용한 릴리스를 채택할 수 있으며, 공급자가 나중에 해당 모델을 목록에 추가하더라도 토큰 가격에 마크업이 없습니다.

다음에 볼 콘텐츠

The three things that would turn this from "interesting repo" into "trusted tool": the GitHub evaluation code actually appearing; a first independent pass at FATE-H and FATE-X under pass@1 instead of pass@8; and any OpenBMB announcement that adds a hosted route or a paper v2 with ablation numbers. Until at least one of those lands, treat the headline scores as directional — the architecture and the training-data idea are the durable news, not the exact percentage.