Beam 1.0 vs MathForm 8B: 한 모델의 오류를 컴파일러가 잡아낸다

다음을 요청하세요: MathForm 8B에게 정리를 형식화하도록. 그러면 답은 컴파일되는 Lean 4 문장이거나 컴파일되지 않는 문장입니다. 다음을 요청하세요: Beam 1.0에게 버그를 수정하도록. 그러면 답은 실행되는 diff이거나 실행되지 않는 diff이며, 그 두 가지 사이의 거리가 바로 이 모델들 사이의 전체 차이입니다. MathForm 8B는 OpenBMB의 81억 9천만 파라미터 자동형식화 모델로, Alibaba의 Qwen3-8B를 기반으로 하고 약 367,000개의 검증된 Lean 4 예제로 이루어진 코퍼스인 FormalVerse에서 지도 미세조정 후 Lean 컴파일 및 의미 일관성 피드백에 대한 강화 학습을 통해 훈련되었습니다. 2026년 8월 14일 Apache 2.0에 따라 공개되었습니다. Beam 1.0은 Reflection의 5,013억 파라미터 희소 전문가 혼합 모델로, 토큰당 234억 개의 활성 파라미터를 가지며, 2026년 10월 5일 발표되었고 2026년 10월 16일 다운로드 가능한 가중치로 출시되었으며, 역시 Apache 2.0에 따릅니다. 크기 비율은 61대 1이며, 이는 이 페이지에서 가장 흥미롭지 않은 숫자입니다.

흥미로운 점은 MathForm 8B는 누구도 신뢰하지 않고도 기계가 판정할 수 있는 출력을 생성하지만, Beam 1.0은 그렇지 않다는 것입니다. 아래의 모든 내용은 그로부터 따라 나옵니다.

각 모델이 생성하도록 요청받는 것

MathForm 8B에는 하나의 출력 계약이 있다. 일상적인 산문으로 작성된 수학적 진술을 받아 Lean 4 진술, 즉 헤더, 이름 붙은 정리, 가설과 목표를 반환한다. 훈련 파이프라인은 그 형태를 중심으로 구축된다: 진술을 기존 정의에 근거시키기 위한 Mathlib 지식 검색, 불량 후보를 걸러내기 위한 컴파일 및 의미 검증, 이를 수리하기 위한 반복적 개선, 그런 다음 살아남은 예시를 훈련 데이터로 바꾸기 위한 궤적 재구성. 논문은 여섯 개 벤치마크에서 구문 검사 하에 평균 Pass@8 88.06%, 일관성 검사 하에 72.37%를 보고한다. 그것들은 OpenBMB의 수치이며, 다른 누구도 재현하지 못했고, 평가에서 더 쉬운 세트들에 치우쳐 있다 — 그러나 그것들은 정답이 있는 과제에 관한 수치다.

Beam 1.0에는 그런 계약이 없다. 그것은 일반 모델이다. 그 모델 카드는 채팅 템플릿, 분석 및 최종 채널을 갖춘 Harmony 스타일 와이어 포맷, 8, 32, 64, 128, 256, 512의 토큰 예산에 매핑되는 여섯 단계의 추론 노력, 그리고 함수가 플랫 TypeScript로 선언되고 XML 본문에서 호출되는 도구 호출 규약을 설명한다. 평가 범위는 에이전트형 코딩(SWE-bench Verified BF16에서 81.6%, Terminal Bench v2.1 80.1, SWE Bench Pro v1 66.1, DeepSWE v1.1 43.3), 추론(GPQA Diamond 90.6, AIME 2026 97.7, LiveCodeBench 88.3), 도구 사용(MCP Atlas 80.8), 일반 역량(LongBench v2 67.5, IFBench 79.6)을 포함한다. 모든 수치는 Reflection 자체 측정치다. 그것이 작성한 코드가 *올바른지*는 실행해 보거나, 검토하거나, 배포한 뒤 결과를 확인함으로써 밝혀진다.

그래서 한 모델의 실패는 스스로 드러난다. 다른 모델의 실패는 나중에 리뷰나 프로덕션에서 나타나며, 당신이 지금까지 겪어온 다른 모든 버그처럼 보이는 평범한 소프트웨어 실패다.

벤치마크는 서로 겹치지 않으며, 그것이 바로 이번 결과입니다

두 평가 세트를 나란히 놓고 보면 빼낼 것이 거의 없다.

• Beam 1.0이 평가받는 기준 — 저장소 규모의 이슈 해결, 터미널 작업, 경쟁 프로그래밍, 대학원 수준의 과학 질문, 도구 오케스트레이션, 장문맥 회상 및 지시 수행.

• MathForm 8B가 평가받는 기준 — 구문 검사기 및 의미 일관성 검사기에서의 Pass@8 형식화 정확도, 6개의 수학 벤치마크 전반에 걸쳐, 논문의 7B-to-32B 특화 베이스라인 대비.

• 겹치는 부분은 사실상 0입니다. 두 모델 모두 동일한 주체가 동일한 과제에서 측정한 행은 하나도 없으며, 앞으로도 없을 것입니다. 한쪽은 일반 역량으로, 다른 쪽은 단일 검증 가능 변환으로 측정되기 때문입니다.

• 개념적으로 실제 존재하는 단 하나의 공통 차원인 추론은 서로 다른 모집단에서 측정된다. Beam 1.0이 GPQA Diamond에서 받은 90.6은 객관식 과학 점수다. MathForm 8B의 72.37% 일관성 비율은 형식화 검증이다. 어느 쪽도 다른 쪽을 예측하지 못한다.

여기서 크기 비교가 단지 불리한 정도가 아니라 오해를 불러일으킬 수 있는 이유가 바로 여기에 있습니다. Beam 1.0은 이 모델의 61배지만, 그렇게 훈련되지 않고서는 MathForm 8B의 작업을 전혀 해낼 수 없습니다 — 출력 계약이 충분히 좁아서 일반적인 능력으로는 그것을 대신할 수 없습니다. 올바른 헤더를 갖춘 이름 있는 Lean 정리를 만들어 내도록 요청받은 501B 범용 모델은 그럴듯해 보이지만 자주 틀린 결과를 내놓을 것이며, 이는 증명 보조기에게는 최악의 실패 모드입니다.

둘 중 하나를 실행하려면 필요한 것

MathForm 8B는 Qwen3-8B의 라이선스를 계승하며, Hub에는 Apache 2.0으로 기록되어 있습니다. 그리고 이것이 그것을 실용적으로 선택하는 근거입니다: 81억 9천만 개의 dense 파라미터, 영어 전용 모델, 일반 추론 대신 Lean 출력으로 생성 예산을 좁힌 점, 클러스터가 아닌 다운로드라는 점. 그 기반인 Qwen3-8B는 독자가 달리 직접 호스팅했을 법한 모델입니다 — 32K 네이티브 컨텍스트를 131K까지 확장할 수 있고 119개 언어를 지원하는 범용 8B입니다. MathForm 8B는 단 하나의 능력을 위해 그 거의 전부를 맞바꿉니다.

Beam 1.0은 어딘가에 자리 잡을 곳이 필요하다. 모델 카드에는 52개 레이어, 토큰당 8개가 라우팅되는 256개 전문가, 152,000토큰 어휘, 2026년 6월 30일 지식 컷오프, 1,000,000토큰 컨텍스트 윈도가 나와 있다. 세 가지 가중치 — BF16 501.3B, FP8 501.3B, NVFP4 255B — 로 출시되며, 추측 디코딩용 2B DFlash2 드래프터도 함께 제공된다. 카드에는 서빙 권장 사항이 없고, Reflection의 자산 어디에도 공개된 API 가격이 없다. Artificial Analysis의 해당 모델 페이지는 가격 필드를 이용할 수 없음으로 표시하고, 공개적으로 사용 가능한 API가 존재하지 않는다고 언급한다. 이것을 가상의 구매가 아니라 현실성 있는 구매로 만들어 주는 것은 4비트 빌드이며, 그것은 여전히 GPU 이야기다.

OrcaRouter는 두 모델 중 어느 것도 라우팅하지 않으며, 이 페이지는 그와 다른 내용을 암시하지 않습니다. 우리가 라우팅하는 것은 그 두 모델이 속하지 않는 서비스 등급입니다: 단일 OpenAI 호환 키 하나로, 공급자 정가에 0% 마크업으로 제공되는 200개 이상의 모델, 따라서 공급업체의 가격 인하는 발표되는 당일 청구서에 반영됩니다. 진짜 필요한 것이 내일 컴파일되는 체크포인트가 아니라 오늘 답하는 모델인 팀에게, 그것이 바로 이 비교가 제공할 수 없는 행입니다.

검증 가능성의 차이, 쉽게 말해

여기에는 비대칭성이 벤치마크가 아니라 운영상의 사실로서 제시되어 있다.

MathForm 8B 출력은 게이트가 있는 파이프라인으로 들어간다. Lean 컴파일러는 그 명제를 승인하거나 거부한다. 의미론적 일관성 검사는 통과하거나 실패한다. 잘못된 출력은 자동으로 폐기될 수 있고, 모델은 무언가가 검증될 때까지 재시도하는 에이전트 루프에 남겨질 수 있다. 이는 바로 RL 단계가 모델이 그렇게 하도록 훈련한 일이다. 오답의 비용은 출하된 결함이 아니라 거부된 샘플이다. 이것은 현재 오픈 웨이트 분야에서 진정으로 드문 특성이며, 형식 수학의 형태를 띤 파이프라인 안에서는 특화된 8B 모델이 그보다 백 배 큰 범용 모델보다 더 유용할 수 있는 이유다.

Beam 1.0의 출력에는 그런 관문이 없습니다. 평가 표는 SWE-bench에서 GitHub 이슈를 얼마나 자주 해결했는지는 알려줄 수 있지만, 해당 저장소를 위해 작성한 패치가 올바른지는 알려줄 수 없습니다. 그것은 테스트에 관한 질문이기 때문입니다. 모델 카드는 와이어 형식에 대해서는 유난히 구체적이고 정확도 문제에 대해서는 유난히 침묵하는데, 이는 이 분야의 현주소를 잘 설명해 줍니다. 에이전트형 코딩 모델을 둘러싼 도구는 코드를 실행하는 데는 능하지만 그것을 인증하는 데는 서툽니다.

도메인에 검사기—타입 시스템, 증명 보조기, 스키마, 시뮬레이터—가 있다면, 그 검사기를 겨냥한 전문 모델이 흔히 레버리지가 더 큰 다운로드입니다. 그런 검사기가 없다면, 당신은 역량을 사면서 평가 비용은 스스로 치르는 셈이고, 그 역량을 더 많이 제공하는 쪽은 더 큰 범용 모델입니다.

그것들 중에서 선택하기

를 선택하세요MathForm 8B — 작업이 형식화이고 그 외에는 아무것도 아닌 경우, 즉 수학 산문 말뭉치를 증명 보조기가 받아들일 수 있는 Lean 4로 변환하는 작업을 사람이 각각을 확인할 수 없을 정도의 규모에서 수행하는 경우에만. 81억 9천만 개 매개변수 규모, Apache 2.0 조건, 좁은 출력 형태는 그 용도에서 모두 장점입니다. 다른 어떤 용도로도 선택하지 마세요: 대화를 하지 않고, 출시할 가치가 있는 산문을 쓰지 않으며, 기본 모델이 하는 방식으로 119개 언어를 처리하지도 않고, 훈련받은 단 하나의 변환 외에 문서화된 능력이 없습니다.

선택하세요Beam 1.0 — 작업이 일반적인 에이전트형 작업, 즉 대규모 리포지토리에서 이슈를 해결하고, 도구를 구동하며, 긴 다단계 계획을 실행하는 종류라면, 그리고 501B MoE를 위한 하드웨어나 서빙 파트너가 있다면. 1M 토큰 컨텍스트, 공개된 평가 표, 4비트 체크포인트는 모두 그 워크로드를 겨냥합니다. 추론 토큰 예산을 책정하세요: 템플릿에는 끄는 스위치가 없고, 서빙 기본값은 최대 추론 노력 수준이며, 이전 턴의 추론을 제거하면 출력이 저하된다고 문서화되어 있습니다.

이 글에서 정말로 다루고 있는 파이프라인을 구축하고 있다면 둘 다 선택하세요. 합리적인 패턴은 모호한 작업을 수행하는 일반 모델과 게이트가 있는 부분을 담당하는 검증 가능한 전문가입니다 — 그리고 이 두 역할은 서로 다른 방식으로 실패하는데, 이것이 둘 다 보유할 가치가 있는 유일한 이유입니다.

3개월 후 이 비교가 다르게 보일 부분

두 개의 행이 빠졌으며 둘 다 날짜를 특정할 수 있습니다. 첫 번째는 Beam 1.0의 가중치에 대한 독립 평가로, 이는 2026년 10월 16일에 가능해졌지만 아직 이루어지지 않았습니다. 이 페이지가 Reflection에 귀속시키는 모든 수치는 여전히 단일 출처입니다. 두 번째는 Beam의 가격입니다. 5,010억 개 매개변수 평가 테이블이 있으면서도 종량제 요금이 없는 모델은 대부분의 팀이 예산을 세울 수 없는 모델이며, Reflection이나 서빙 파트너가 요금을 공개할 때까지 이 둘 사이의 정직한 비용 비교는 다운로드 대 아직 견적이 나오지 않은 임대입니다.

MathForm 8B의 격차는 다르며 기다린다고 해서 좁혀지지 않는다. 보고된 88.06% 구문 검사 및 72.37% 일관성 수치는 검증기가 있는 작업에 대한 공급업체의 수치이고, 검증 자체가 제품이다. 모델과 Lean 설치만 있으면 누구나 직접 측정할 수 있으며, 이는 이 페이지의 대부분 수치에 대해서는 할 수 없는 말이다. 좁은 계약이 주는 것이 바로 그것이다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.