Clef vs MathForm-8B: 하나는 질문에 답하고, 다른 하나는 증명을 작성한다

두는 이유는Cloudflare/clef 옆에 openbmb/MathForm-8B 지금 오픈 웨이트에서 가장 혼동하기 쉬운 두 가지이고, 이 둘을 혼동하면 학습 한 번을 날리기 때문입니다. 둘 다 각각 Qwen3.8-27B와 Qwen3-8B 체크포인트를 기반으로 구축된 파인튜닝입니다. 둘 다 Apache-2.0입니다. 둘 다 지난 10주 이내에 공개되었습니다. 둘 다 범위가 좁고 목적에 맞게 만들어졌으며, 제작자들은 이들을 범용이 아니라 특화된 것이라고 설명합니다. 그리고 이 둘은 서로 아무 관련이 없습니다. 왜냐하면 하나는 사용자가 제공한 목록에서 선택된 숫자를 생성하고, 다른 하나는 증명 보조기가 검사할 수 있도록 Lean 4 소스 코드를 토큰 단위로 생성하기 때문입니다.

Clef는 Cloudflare의 270억 개 매개변수 멀티모달 결정 모델입니다. 상태와 타입이 지정된 질문들의 스키마를 주면, 단일 비자기회귀적 패스에서 허용된 모든 답변에 대해 보정된 확률을 반환하며, 경로 어디에도 텍스트 생성이 없습니다. OpenBMB의 MathForm-8B는 자동 형식화 모델입니다. 자연어 수학 명제가 입력되면 Lean 4가 출력되며, 이를 훈련시킨 파이프라인은 2026년 8월 14일 가중치와 함께 공개된 arXiv 프리프린트에 설명되어 있습니다. 한 모델의 한계는 옵션 목록의 크기입니다. 다른 모델의 한계는 Lean 타입 이론의 강력함입니다. 어느 것이 더 나은지 묻는 것은 범주 오류입니다. 그리고 둘 다 Apache-2.0 오픈 웨이트 파인튜닝의 80억에서 270억 개 매개변수라는 사실이 바로 그 오류를 범하기 쉽게 만드는 점입니다.

각 모델의 인터페이스가 물리적으로 금지하는 것

split을 이해하는 가장 빠른 방법은 각각이 무엇을 반환할 수 있는지 읽어 보는 것입니다.

• 입력 — Clef는 상태(텍스트, JSON, 이미지 또는 비디오 프레임)와 이름과 타입이 지정된 1~64개의 질문을 입력으로 받습니다; MathForm-8B는 자연어로 표현된 수학적 진술을 입력으로 받습니다.

• 출력 — Clef는 허용된 각 옵션마다 하나의 확률을 반환하며, 질문별로 소프트맥스 처리됩니다. MathForm-8B는 Lean 4 소스 코드를 반환합니다.

• 질문 유형 — Clef의 유형은 noul(참/거짓, 참일 확률 포함), 선택(2~26개의 이름 있는 옵션) 및 점수(2~26개의 순서 있는 레벨)입니다. MathForm-8B에는 질문 개념이 전혀 없습니다.

• 캘리브레이션 — Clef는 답변당 신뢰도 필드를 공개하며, MathForm-8B는 구문 및 일관성 검사 하에서 Pass@8 비율을 공개한다.

• 서빙 — Clef는 Jev/SystemOne 호환 POST /v1/systemone 본문(호스팅 또는 자체 실행)을 통해 제공됩니다; MathForm-8B는 Transformers, vLLM, SGLang 지침과 함께 제공되며, 모두 16,384 토큰 컨텍스트에서 OpenAI 호환 완성 엔드포인트를 노출하고 max_new_tokens가 16,384로 설정됩니다.

실질적인 결과는 즉시 드러난다. 텍스트 일부에 대한 예/아니오 판단이 필요하다면, Clef는 그 둘 중 그것을 산출할 수 있는 유일한 쪽이다 — MathForm-8B에 "이것에 대한 Lean 4를 작성하라"가 아닌 질문을 할 방법은 없다. Lean 4가 필요하다면, Clef는 그 둘 중 그것을 절대적으로 산출할 수 없는 유일한 쪽이며, 그것도 약해서가 아니다: 스키마에 구속된 채점자에게 정리를 형식화하라고 요청하는 것은 그 계약에 맞지 않으므로, 그 요청은 잘못 답변되기보다는 설계상 거부된다.

두 사람 모두가 속해 있는 파이프라인

이 두 모델이 나란히 자리 잡는 실제 아키텍처가 있으며, 이는 이 분리를 추상적이기보다 구체적으로 만들어 주기 때문에 짚어볼 가치가 있습니다. 연구자와 학생을 위해 수학을 형식화하는 서비스를 생각해 보십시오.

진술은 자연어로 도착하며, 그 종류에는 제한이 없다. 무엇이든 형식화되기 전에, 도착한 것이 무엇인지 판단하는 단계가 반드시 있어야 한다. 이것은 증명해야 할 정리인가, 추가해야 할 정의인가, 기존 증명을 검사해 달라는 요청인가, 아니면 누군가 Lean을 건드리기 전에 명확히 할 필요가 있는 질문인가? 그것은 자기완결적인가, 아니면 사용자가 제공하지 않은 맥락에 의존하는가? 기호는 관례적인가, 아니면 이 표기법은 시스템이 한 번도 본 적 없는 것인가? 그 각각은 작은 선택지 집합을 가진 경계가 정해진 질문이며 — Clef의 정확한 형태다 —, 각 답변에 붙은 보정된 확률이 서비스로 하여금 불확실한 것들을 현명하게 처리하게 한다: 임계값 아래에 있는 것은 추측하지 않고 사람에게 넘긴다.

두 번째 단계는 MathForm-8B에 속한다. 이미 알려진 표기법을 사용하는 자체 완결적 정리로 분류된 명제를 받아 Lean 4를 생성하라. 이는 생성 문제이며, 품질 문제는 출력이 얼마나 자주 컴파일되는지 그리고 원문과 얼마나 자주 같은 의미를 갖는지이다 — 이는 정확히 벤더의 두 평가 축이 측정하는 바이다. 이 조합에서 추출할 가치가 있는 일반적인 패턴은 다음과 같다: 값비싼 특화 생성기 앞에 범위가 제한된 저렴한 분류기를 두는 것이, 생성기에게 애초에 실행되어야 하는지 스스로 판단하도록 프롬프트하는 것보다 보통 더 저렴하고 더 신뢰할 수 있다.

각 측면의 숫자가 실제로 측정하는 것

OpenBMB의 arXiv 초록에 따르면 MathForm-8B는 6개 벤치마크에서 Syntax Check 기준 평균 Pass@8 비율 88.06%, Consistency Check 기준 72.37%에 도달하며, FATE-H 및 FATE-X 하위 집합에서는 일관성 통과율 63%와 37%를 달성해 둘 다 논문이 비교하는 가장 강력한 특화 베이스라인보다 높습니다. 훈련 파이프라인이 이 주장에서 흥미로운 부분입니다. 검색 플래너가 생성 전에 Mathlib에서 관련 정의와 기존 형식화를 끌어오고, 생성된 명제는 컴파일러 진단과 의미 일관성 피드백을 사용해 수정됩니다. 약 367,000개의 검증된 Lean 4 예시로 구성된 FormalVerse 데이터셋은 이렇게 구축된 뒤 지도 미세 조정과 강화 학습이 이루어졌습니다. 이는 논문과 모델 카드에서 벤더가 보고한 수치입니다. 독립적으로 재실행한 곳은 없습니다.

Clef의 수치는 전혀 다른 것을 측정하며 비교할 수 없다. Cloudflare의 Decision Index 실행은 BANKING77 의도 매크로-F1 94.2, 범위 외 처리를 포함한 CLINC150 97.4, GPQA Diamond 48.0—반면 더 오래된 Jev는 78.3점을 기록한다—, 그리고 중앙값 요청 지연 시간 209.3ms를 보고한다. 이것은 분류와 라우팅에 관한 표로, 벤더가 자체 스위트에서 생성했고, 벤더 자체 리더보드에 호스팅되었으며, 재현되지 않았다.

이 두 칼럼에 대해 쓸 수 있는 단 하나의 정직한 문장은, 이들이 벤치마크도, 단위도, 평가 철학도 공유하지 않는다는 것이다. 어려운 형식화 하위 집합에서의 MathForm-8B의 37%와 범위 밖 의도 탐지에서의 Clef의 97.4는 모두 서로 다른 작업에 관한 제작자들의 실제 주장이며, 이 둘을 나란히 놓고 보는 독자는 두 숫자가 모두 존재한다는 사실 외에는 아무것도 배우지 못한다.

무엇을 실행하게 되며, 그 비용은 얼마인지

두 모델 모두 OrcaRouter의 라우트가 아니며, 이 글은 가용성에 대해 어떤 주장도 하지 않습니다 — 카탈로그는 cloudflare/clef와 MathForm-8B에 대해 404를 반환합니다. MathForm 저장소의 크기는 약 16.4 GB이며, 두 모델 모두 Apache-2.0이므로 하드웨어만 갖춘 사람이라면 누구나 내일 바로 셀프 호스팅할 수 있습니다.

• Cloudflare의 Clef — Workers AI에서 백만 입력 토큰당 $0.24이며, 공개된 지연 시간은 단일 H200에서 측정되었습니다.

• MathForm-8B 셀프 호스팅 — 벤더 호스팅도, 토큰당 가격도 없으며, 문서화된 16,384토큰 컨텍스트를 제공합니다. 이는 눈여겨볼 만한 제약입니다: 긴 논문 섹션은 한 번에 담기지 않습니다.

• 분류기 절반을 위한 라우팅된 대안 — TypeSafe의 Jev 1.13은 65,536토큰 컨텍스트에서 백만 입력 토큰당 $0.042이며, 동일한 POST /v1/systemone Clef가 사용하는 본문을 통해 제공되므로, 이는 위 파이프라인의 첫 단계에 드롭인으로 사용할 수 있습니다.

그것이 바로 이 특정한 조합에서 라우팅 계층이 진가를 발휘하는 지점입니다. 이 패턴은 결정자와 생성자로 이루어져 있으며, 실시간 대체물을 가진 쪽은 결정자 절반입니다 — 200개 이상의 모델 앞에 놓인 단일 엔드포인트, 공급자 목록 가격을 토큰당 마크업 없이 그대로 전달, 그리고 자동 장애 조치로 공급자의 일시적인 장애가 파이프라인의 정문을 막지 않도록. 생성자 절반은 직접 실행하는 16.4 GB 아티팩트이며, 어떤 엔드포인트도 그것을 바꾸지 못합니다.

사이즈가 숨기고 있는 또 한 가지

매개변수 수는 성립하지 않는 비교를 유도한다. Clef는 27B이고 MathForm-8B는 8B이므로, 더 큰 모델이 더 유능하고 더 작은 모델이 전문가라고 가정하는 것은 자연스럽다. 성격상으로는 그 반대다. Clef가 큰 이유는 스크린샷과 인보이스를 읽기 위해 필요한 동결된 멀티모달 백본을 탑재하기 때문이며, 그 위에 학습된 부분은 랭크-256 어댑터를 갖춘 작은 스키마 헤드다. MathForm-8B가 작은 이유는 Lean 4가 좁은 목표이고 Qwen3-8B 베이스로 충분히 그것을 달성할 수 있었기 때문이며, 실제 엔지니어링은 매개변수 수가 아니라 훈련 데이터를 생성한 검색 및 검증 파이프라인에 있다.

다시 말해, 크기는 각 모델이 무엇을 감당해야 했는지를 알려줄 뿐, 그 모델이 해결하는 문제가 얼마나 어려운지를 알려주지는 않는다. 영수증을 읽고 "billing, 0.98"을 반환하는 27B 모델과 컴파일 가능한 Lean을 출력하는 8B 모델은 둘 다 자신이 만들어진 목적을 정확히 수행하고 있으며, 80억 대 270억이라는 프레임은 절반쯤은 당신을 잘못된 모델로 이끌 것이다.

결정, 그리고 어느 벤더도 답하지 않은 질문

무한한 자연어를 입력받아, 컴퓨트를 쓰기 전에 라우팅해야 하는 파이프라인이 있다면 첫 번째 단계는 경계가 정해진 분류기입니다 — 멀티모달 입력이 중요하고 데이터에서 성능 수치가 좋게 나오는 경우에는 Clef, 동일한 요청 형태를 더 낮은 정가로 원하면서 평가를 아무도 재현하지 못한 벤더에 아키텍처를 묶이고 싶지 않은 경우에는 Jev 1.13입니다. 두 번째 단계는 전문 생성기이며, 그 생성기가 Lean 4라면 MathForm-8B가 바로 그 목적을 위해 만들어진 오픈 모델로, 공개된 파이프라인과 이를 뒷받침하는 코퍼스를 갖추고 있습니다.

양쪽 모두에서 빠져 있는 것은 동일한 종류의 증거다. Clef의 Decision Index 실행은 Cloudflare 자체의 것이며 독립적으로 반복된 적이 없다. MathForm-8B의 Pass@8 수치는 자체 논문에서 나온 것이다. 둘 다 정직한 테스트를 설명하기는 저렴하고 실행하기는 비싼 영역에서 나온 야심 찬 주장이다 — 어느 벤더도 학습하지 않은 데이터를 가져와 동일한 파이프라인을 적용하고 결과를 공개하는 것 말이다. 누군가 두 모델 중 하나에 대해 그렇게 하기 전까지, 이 비교가 당신에게 알려줄 수 있는 유용한 것은 하나의 윤곽이다: 이 중 하나는 무엇이 들어올지 결정하는 파이프라인 앞단에 속하고, 다른 하나는 그 뒤에서 어렵고 좁은 작업을 수행하는 자리에 속하며, 어느 파라미터 수에서도 서로를 대체하지 못한다.