Ember-1 vs MathForm-8B: 빌려온 베이스를 좁혀 만든 두 모델

Ember-1과 MathForm-8B는 어느 연구소도 전략이라고 광고하지 않는 전략을 공유한다. 둘 다 다른 누군가가 훈련한 모델을 좁힌 결과물이다. Ember-1은 Moonshot AI의 Kimi K3에 대한 Fireworks Research의 특화 파생 모델로, 2026년 9월 23일 공개되었으며, 약 40% 더 적은 토큰으로 K3의 정확도에 도달하도록 재훈련되었다. MathForm-8B는 OpenBMB의 8B 자동형식화 모델로, 2026년 8월 14일 Alibaba의 Qwen3-8B를 Apache-2.0으로 파인튜닝한 모델로 조용히 공개되었으며, 비형식 수학을 컴파일러가 검사할 수 있는 Lean 4 정리문으로 바꾼다. 한쪽의 좁히기는 낭비되는 사고 과정을 제거하고 일반 역량은 온전하게 유지했다. 다른 쪽은 일반 역량을 거의 모두 제거하고 대신 검증 가능성을 얻었다. 이 둘을 함께 놓고 보는 것이 전문화가 실제로 무엇을 대가로 치르는지 보는 가장 깔끔한 방법이다. 왜냐하면 두 모델은 훈련 예산을 그 장부의 반대편에 썼기 때문이다.

두 가지 좁히기

Fireworks Research의 개입은 행동적이다. Ember-1은 Kimi K3의 아키텍처와 그 폭넓은 범위를 그대로 유지한다 — 수학, 코딩, 지시 따르기, 대화, 검색, 도구 사용, 소프트웨어 공학이 모두 학습 구성에 등장한다 — 그리고 답변 전에 모델이 숙고하는 시간만 바꾼다. 보고된 결과는 일곱 개 벤치마크와 두 건의 고객 프로덕션 A/B 테스트에서 정확도 손실 없이 추론 길이가 35–50% 감소했으며, 한 프로덕션 코딩 워크로드는 출력 토큰이 49.3K에서 29.9K로 줄어든 반면 점수는 0.751 대비 0.753을 유지했다는 것이다. 모든 수치는 벤더가 보고한 것이며 재현되지 않았다.

OpenBMB의 개입은 계약적이다. MathForm-8B는 Qwen3-8B를 가져와 전체 학습 예산을 하나의 출력 형태, 즉 imports 헤더와 이름이 붙은 정리를 갖춘 Lean 4 명제문에 집중시킨다. 파이프라인은 FormalVerse에 대한 지도 미세 조정으로, 이는 OpenBMB가 모델과 함께 구축하고 공개한 약 367,000개의 검증된 Lean 4 예제 말뭉치다. 그 뒤에는 Lean 컴파일과 의미 일관성 피드백을 보상 신호로 사용하는 강화 학습이 이어진다. 이 모델은 증명을 해결하지 않는다. 증명자가 완성할 명제를 작성하며, 논문 자체의 프레이밍은 6개 벤치마크 평가를 이 작업의 핵심이라고 설명한다.

각자가 포기한 것

Ember-1은 서류상으로 아주 조금밖에 내주지 않았는데, 그것이 바로 전체 주장이다. 공개된 표를 보면 Terminal Bench 2.1에서 Kimi K3 Max의 80.9%를 상대로 82.0%로 승리했고, DeepSWE 1.1에서는 66.4%를 상대로 75.2%를 기록했으며, SWE-bench Verified에서는 93.2% 대 92.2%로, SWE-Interact에서는 21.3% 대 20.0%로 근소하게 패했다. 이는 벤더가 선택한 세트에서 나온 벤더 수치지만, 양상은 일관된다. 즉 능력을 잃었다기보다는 노력을 어디에 쏟을지를 바꾼 모델이다. 다만 토큰 절감률은 Terminal Bench의 51.9%에서 τ-2 Bench Airline의 5.9%까지 걸쳐 있으므로, "약 40%"는 매우 넓은 편차에 걸친 평균이다.

MathForm-8B는 Qwen3-8B가 유명세를 얻은 대부분의 특징을 포기했다. 일반적인 대화를 나누지 않고, Qwen3-8B가 훈련된 119개 언어와 방언을 포괄하지 않으며, 이미지나 오디오를 받아들이지 않는다. 생성 예산은 확장된 혼합 추론이 아니라 Lean 출력에 맞게 책정되어 있다. 그것이 유지한 것은 관대한 라이선스와 작은 풋프린트다. BF16의 safetensors 샤드 네 개로, OpenAI 호환 엔드포인트 뒤에서 Transformers, vLLM 또는 SGLang으로 실행되며, Lean 4.21.0에서 Kimina Lean Server를 요구하는 컴파일 경로를 갖추고 있다.

그 숫자들은 서로 다른 것을 측정하며, 바로 그 격차가 핵심이다

Ember-1의 대표 수치는 에이전트가 올바르게 완료한 작업의 백분율입니다 — Terminal Bench 2.1, 89개 샘플, 82.0%. MathForm-8B의 대표 수치들은 6개 자동 형식화 벤치마크 전반에 걸친 평균 Pass@8 점수입니다: 구문 검사에서 88.06%, 더 엄격한 일관성 검사에서 72.37%. 그것들은 같은 축에 있지 않습니다. 하나는 에이전트가 터미널에서 작업을 끝냈는지 측정하고, 다른 하나는 생성된 정리 문장이 구문 분석되는지 그리고 그것이 유래한 비형식 문제와 같은 의미인지 측정합니다.

MathForm 자체 결과 안의 88.06 대 72.37이라는 격차가 더 시사하는 바가 큰 수치다. “이것은 컴파일된다”와 “이것은 컴파일되며 내가 의도한 바를 말한다” 사이의 격차는 대략 16점이고, 이는 자동 형식화를 어렵게 만드는 실패 유형이다: 타입 검사는 통과하면서 원래 주장을 조용히 약화하는 진술은 명백한 오류보다 더 나쁘다. 왜냐하면 이후 단계 어디에서도 이를 문제 삼지 않기 때문이다. 가장 어려운 세트에서는 일관성 검사가 FATE-H에서 63%, FATE-X에서 37%로 떨어지는 반면, FormalIMATH 같은 쉬운 세트는 95.06%, ProverBench는 94.83%에 머문다. 이는 전문가가 자신이 약한 지점에 대해 솔직하게 말하는 것이며, 단일 평균보다 더 유용하다.

대비, 차원별로

• 기본 모델 — Ember-1: Kimi K3. MathForm-8B: Qwen3-8B.

• 훈련이 바꾼 것 — Ember-1: 능력을 일정하게 유지한 채 모델이 얼마나 오래 추론하는가. MathForm-8B: 일반성을 상당 부분 포기한 대신 모델이 무엇을 출력하는가.

• 파라미터 — Ember-1: 미공개. MathForm-8B: ~8B, dense, BF16.

• 출력 계약 — Ember-1: 일반 텍스트와 도구 호출, K3 수준의 품질. MathForm-8B: 헤더와 이름이 지정된 정리를 포함하는 Lean 4 문장.

• 라이선스 및 가중치 — Ember-1: 공개된 것 없음; 벤더 자체 플랫폼을 통한 연구 프리뷰. MathForm-8B: Apache 2.0, 가중치와 데이터셋 모두 다운로드 가능.

• 보고된 헤드라인 — Ember-1: Terminal Bench 2.1에서 82.0%, 토큰 사용량은 51.9% 더 적음. MathForm-8B: 구문 검사 기준 평균 Pass@8 88.06%, 일관성 검사 기준 72.37%.

• 독립적 검증 — 어느 쪽도 아님; 둘 다 공급업체 보고이며 재현되지 않음.

라이선스 조항이 벤치마크보다 더 많은 것을 결정한다

숫자상의 차이에도 불구하고, 이 두 릴리스의 실질적인 차이는 배포 방식에 있습니다. MathForm-8B는 파일입니다. OpenBMB는 가중치와 FormalVerse 데이터셋, 논문을 같은 날 Apache 2.0 라이선스로 공개했으며, 별도의 발표도 호스팅 API도 없었습니다. 모델 카드가 곧 출시였습니다. 오늘 오후에 내려받아 단일 GPU에서 실행할 수 있고, 누구도 그것을 되돌릴 수 없습니다. Ember-1은 서비스입니다. 가중치도 없고 공개된 가격도 없으며, 접근 기간은 수요에 따라 연장 여부가 결정되는 2주간의 서버리스 기간으로 설명됩니다. 오늘은 호출할 수 있지만 11월에도 호출할 수 있을지는 확신할 수 없습니다.

그 차이는 각 모델이 무엇에 사용될 수 있는지도 정한다. 형식화 컴포넌트는 당신이 통제하는 파이프라인 안에 속하며, 버전에 고정되고, Lean 툴체인이 같은 머신에 있어야 한다 — 그래서 게이팅되지 않은 Apache-2.0 체크포인트가 MathForm-8B의 작업에 맞는 형태이며, README에 빠져 있는 GitHub 코드 링크(작성 시점 기준으로 아직 플레이스홀더)가 어떤 벤치마크 수치보다 더 성가신 공백인 이유다. 추론 비용 모델은 API 뒤에 있어야 하며, 여기서는 토큰 청구서가 최적화 대상이고, 공급업체들이 가격과 지연 시간으로 경쟁한다. Ember-1의 형태도 그 작업에 맞는다. 다만 이는 의존성이 기술적이라기보다 상업적이라는 뜻일 뿐이다.

파이프라인이 둘 다 사용하는 경우

이 두 모델은 경쟁하기보다는 상호 보완적이며, 그 구성은 설명하기 쉽습니다: 형식화 전문가는 문제를 검사 가능한 명제로 변환하고, 추론 모델은 그 명제나 주변 엔지니어링을 다룹니다. 둘 다 OrcaRouter에는 없습니다 — MathForm-8B는 자체 호스팅 전용이고, Ember-1은 벤더 자체 프리뷰에 있습니다 — 하지만 이 구성 자체는 우리 라우팅 DSL이 존재하는 이유가 되는 패턴입니다. 여러 모델을 단일 호출로 구성하는 것은 파이프라인이 두 개의 통합 경로와 두 개의 계약을 유지하지 않고도 전문 모델과 범용 모델을 확보하는 방식이며, 모델 융합은 모델 패널이 함께 답변하도록 함으로써 단일 모델의 실패 모드가 비용이 많이 들 때 한 걸음 더 나아갑니다.

특히 형식화 스택의 경우, 구성의 명분은 평소보다 더 강하다. 눈에 띄는 실패 모드는 컴파일은 되지만 의미가 약간 다른 문장이며, 조용한 오류에 대한 가장 저렴한 방어는 두 번째 모델이 같은 문제를 읽게 하는 것이다. 이는 훈련 결정이 아니라 라우팅 결정이다.

어느 쪽이 더 살 만한가요?

기계적으로 검증 가능한 수학이 필요하다면, MathForm-8B는 둘 중 그런 것을 만들어 내는 유일한 모델이며, 주된 대가는 이 작업에 어차피 쓰지 않을 일반성입니다. 다운로드하고, Lean 서버를 위한 예산을 잡고, 직접 평가를 구축하세요 — OpenBMB의 논문은 그것이 당신의 분포에서 어떻게 수행하는지 알려 주지 않습니다.

더 적은 토큰 비용으로 범용 추론기가 필요하다면, Ember-1은 바로 당신을 겨냥한 제품이며, 다음으로 올바른 단계는 벤치마크 비교가 아니라 현재 운영 중인 무엇이든에 대해 섀도 트래픽을 보내는 것입니다. Ember-1의 위험은 능력이 아니라 가용성이며, 그 위험은 애플리케이션과 모델 사이에 라우팅 계층을 유지함으로써 헤지할 수 있습니다.

이들 중 하나가 이 문제를 해결해 주기를 바라는 사람에게 불편한 결론은, 둘 중 어느 것도 독립적으로 평가된 적이 없다는 것이다. MathForm-8B는 공개된 지 6주가 지났지만 어떤 제3자도 재현 결과를 발표하지 않았고, Ember-1은 공개된 지 하루밖에 되지 않았다. 둘 다 당신에게 평가자가 되어 달라고 요구하는데, 이는 2026년에 특화 모델을 고르는 일의 일반적인 조건이다.

그것들이 실제로 입증하는 것은 좁히기 전략이 양방향으로 작동한다는 점이다. 프런티어 모델은 성능을 떨어뜨리지 않으면서 더 저렴하게 만들 수 있고, 작은 기반 모델은 학습을 컴파일러에 겨냥하게 함으로써 엄밀하게 만들 수 있다. 흥미로운 질문은 이 두 접근법 중 어느 쪽이 이기느냐가 아니라, 그 안의 기법들이 표준 관행이 되고 나면 어느 쪽이든 얼마나 더 오래 필요할지이다.