Kolibri vs MathForm-8B: 이 정확도 주장 중 하나는 컴파일러로 확인할 수 있습니다

Kolibri와 MathForm-8B는 라이선스를 공유할 뿐 그 외에는 거의 아무것도 공유하지 않는다. 둘 다 Apache 2.0이고, 둘 다 오픈 웨이트이며, 둘 다 지난 3개월 이내에 공개되었다 — Aleph Alpha의 Kolibri는 2026년 10월 3일, OpenBMB의 MathForm-8B는 2026년 8월 14일 — 그리고 둘 다 모델 카드의 상당 부분을 수학에 할애한다. 유사점은 거기서 끝난다. Kolibri는 781억 매개변수 규모의 독일어 및 영어 전문가 혼합 모델로, 토큰당 34억 6천만 개의 매개변수를 활성화하며 규제되는 문서 워크플로에 자리하도록 만들어졌다. MathForm-8B는 Qwen3-8B에서 미세 조정된 80억 매개변수 밀집 모델로, 하는 일은 하나다: 일상적인 영어로 작성된 수학 문제를 받아 그것의 형식적으로 올바른 Lean 4 명제를 출력하는 것. 둘 중 하나를 평가하는 누구에게나 중요한 차이는 매개변수 수가 아니다. 바로 MathForm-8B의 정확도 주장이 실행 가능하다는 점이다. 컴파일러로 그 출력을 확인할 수 있다. Kolibri의 정확도 주장은 또 다른 벤치마크 실행 외에는 무엇으로도 확인할 수 없다.

그 비대칭성이 바로 이 글의 전부이며, 이 두 모델을 훨씬 넘어 잘 일반화된다. 벤더의 벤치마크 표는 주장이다. 증명 보조기가 형식화를 받아들이는 것은 결과다. 모델의 전체 출력 공간이 기계가 검증할 수 있는 것이라면, 마케팅 계층은 사라진다 — Lean 컴파일러가 그 명제를 받아들이거나 받아들이지 않거나 둘 중 하나이며, 어떤 출시 글의 프레이밍도 그것을 바꾸지 못한다.

MathForm-8B가 실제로 생성하는 것

자동 형식화는 범위가 좁고 눈에 띄지 않으며 진정으로 어려운 작업인데, 모델 카드는 그 구성에 대해 상쾌할 정도로 구체적이다.

• 입력과 출력 — 자연어 수학 명제를 입력하면, 정리 헤더까지 갖춘 Lean 4 형식화가 출력됩니다.

• 베이스 모델 — Qwen/Qwen3-8B, 파인튜닝됨; OpenBMB 릴리스의 나머지와 함께 Apache 2.0.

• 훈련 — FormalVerse 데이터셋에 대한 지도 미세 조정 후 강화 학습을 진행하며, Lean 컴파일과 의미 일관성 피드백이 강화 신호를 구동합니다.

• 데이터 파이프라인 — Mathlib 지식 검색, 컴파일 및 의미론적 검증, 반복적 개선, 그다음 궤적 재구성. 모델 카드에 있는 파이프라인 다이어그램은 이번 릴리스에서 가장 정보가 많은 부분이다.

• 평가 — 두 가지 개별 검사인 Syntax Check와 Consistency Check에서의 Pass@8 통과율을 여섯 개 벤치마크 전반에 걸쳐 측정하며, 행별로 인용할 수 있는 수치가 아니라 카드의 그림에서 동일 가중 매크로 평균으로 보고됩니다.

• {{1}}툴체인{{/1}} — 컴파일 검사를 위한 실행 중인 {{2}}Kimina Lean Server{{/2}}, 실험을 위한 {{3}}Lean 4.21.0{{/3}}, 그리고 temperature 0.6과 top-p 0.95를 사용하는 최대 16,384토큰 시퀀스{{4}}{{/4}}.

• 서빙 — 16,384 토큰 컨텍스트로 vLLM 또는 SGLang을 사용하며, OpenAI 호환 채팅 인터페이스를 통해 노출됩니다. 그 마지막 세부 사항은 겉보기보다 더 중요합니다. 왜냐하면 이는 모델이 기존 파이프라인에 일반 엔드포인트로 바로 투입된다는 뜻이기 때문입니다.

두 가지 별개의 검사를 주목하라. Syntax Check는 Lean 문장이 파싱되고 타입 검사까지 통과하는지를 보는 것이다. Consistency Check는 형식화된 문장이 자연어 문제와 같은 의미를 갖는지를 보는 것인데, 이는 훨씬 더 어려운 속성이다. 왜냐하면 잘못된 정리를 형식화한, 구문상 유효한 Lean 문장은 컴파일 오류보다 더 나쁘기 때문이다. OpenBMB는 둘 모두를 보고하는데, 이는 정확히 올바른 방식이며, 이 과제가 범용 추론에는 없는 검증 스토리를 갖는 이유이기도 하다.

Kolibri가 수학으로 하는 일, 그리고 그것이 왜 다른 종류의 수인지

Kolibri는 벤치마크 기준으로 수학을 잘합니다. Aleph Alpha 자체 포스트트레이닝 하네스에서 reasoning effort high 설정일 때, AIME 2025에서 영어 96.9, 독일어 87.5를 기록하고, AIME 2026에서는 96.0과 90.0을 기록하며, 수학 스위트 전반에서 영어 평균 96.5로 독일어 88.8과 대비됩니다. 같은 표에서 맥락을 위해 보자면, AIME 2025 영어에서 Kolibri의 96.9는 91.7의 Nemotron 3 Super 120B-A12B와 84.6의 Qwen3.6 35B-A3B보다 높고, 97.9의 Qwen3.8 27B보다는 살짝 낮습니다.

그 수치들은 모두 벤더가 보고한 것이고, 벤더의 하네스에서 나온 것이며, 독립적인 재현이 없습니다. 그리고 콜리브리를 교차 검증할 수 있는 Artificial Analysis 페이지도 존재하지 않습니다. 그것은 그 숫자들에 대한 비판이 아닙니다. 그것들이 어떤 종류의 대상인지에 대한 진술입니다. AIME 점수는 객관식 시험에서 정답을 맞힌 최종 답안의 비율입니다. 그것은 그 모델이 정수에 도달할 수 있다는 것을 알려줍니다. 그것이 도출된 추론이 건전했는지에 대해서는 아무것도 알려주지 않으며, 제3자가 검사할 수 있는 산출물도 남지 않습니다.

MathForm-8B의 출력 옆에 놓고 보면 그 차이는 극명하다. AIME 문제에 대한 Kolibri의 답은 하나의 숫자다. MathForm-8B의 출력은 Mathlib에 대해 컴파일되거나 그렇지 않은 Lean 4 정리 문장이다. 수학적 주장이 방어 가능해야 하는 시스템, 이를테면 형식 검증 파이프라인, 증명 보조기 워크플로, 감사 추적을 구축하고 있다면, 두 번째 산출물은 첫 번째보다 훨씬 더 가치가 있으며, 어떤 벤치마크 행도 그 점을 표현하지 못한다.

둘이 실제로 만나게 될 곳

싸움으로 보면, 이 맞대결은 흥미롭지 않다: 8B 전문가는 수학 형식화에서는 78B 범용 모델을 이기지만, 다른 모든 것에서는 진다. 독일어 행정 산문, 장문맥 문서 추론, 100단계 에이전트 궤적 전반에 걸친 도구 호출을 포함해서. 하지만 둘은 대체재가 아니며, 유용한 질문은 둘 모두로 구성된 파이프라인이 어떤 모습인지다.

자연스러운 구성은 라우팅 방식이다. 강력한 추론과 도구 호출 기능을 갖춘 범용 모델이 수집, 모호성 해소, 검색을 처리하고, 형식적 산출물이 필요한 2퍼센트의 사례에는 전문가 모델이 호출된다. 이를 수작업으로 하면 두 벤더, 두 계약, 두 SDK, 두 세트의 자격 증명, 그리고 누군가 유지보수해야 하는 디스패치 계층이 필요하다. 바로 이 경우에 단일 엔드포인트가 제값을 한다: 하나의 OpenAI 호환 키, 수학 형태의 요청은 형식화 엔드포인트로 보내고 나머지는 모두 범용 모델로 보내는 라우팅 규칙, 그리고 둘 중 하나가 느릴 때의 페일오버. 이것이 라우팅 DSL이 하는 일이다 — 개발 시점에 선택을 하드와이어링하는 대신 여러 모델을 하나의 호출로 구성하는 것 — 그리고 여러 모델이 함께 답하는 패널이 유용한 경우에는 모델 퓨전이 이를 담당한다. Kolibri도 MathForm-8B도 현재 OrcaRouter에는 없다; 우리는 모든 벤더와 모델 표기로 카탈로그를 뒤져 두 모델을 찾아봤지만 어느 쪽도 없다. 구성 논리는 이 두 특정 엔드포인트에 관한 것이 아니라 문제의 형태에 관한 것이다.

카탈로그에 올라와 있는 것은 측정 가능한 가격에 제공되는 그 패턴의 범용 모델 쪽 절반입니다. Qwen3.8-27B는 262,144토큰 창에 입력 토큰 100만 개당 $0.33, 출력 $2.40에, Qwen3.8-Max는 1M 토큰 창에 $2.00와 $6.00에 등록되어 있습니다. 문서 파이프라인에 형식화 단계를 과연 추가할 가치가 있는지 탐색하는 팀이라면, 저렴한 실험은 범용 작업을 그쪽으로 라우팅하고, 진짜로 Lean 산출물이 필요한 요청의 양을 측정한 뒤에야 16,384토큰 전문 엔드포인트를 프로비저닝할 가치가 있는지 판단하는 것입니다. 제공업체의 정가는 토큰당 아무것도 더하지 않고 그대로 전달되므로, 수치는 제공업체가 그 수치를 바꾸는 날 바로 바뀝니다.

라이선스는 그것들이 동일한 유일한 항목이다

둘 다 Apache 2.0이며, 맞춤형 연구 라이선스와 허용 사용 부속 조항이 흔한 범주에서 이는 언급할 가치가 있는 진정한 동등성의 지점입니다 — 이는 두 모델 모두 상업적으로 사용되거나 수정되거나 재배포되기 전에 법률 검토를 필요로 하지 않는다는 뜻입니다.

의무 사항은 다른 곳에서 갈립니다. Kolibri는 약 78GB의 가중치 풋프린트를 가지며, 최소 하드웨어로 A100 80GB 카드 2장, H100 SXM5 2장, H200 1장, B200 1장 또는 B300 1장이 필요하고, 여기에 벤더의 aleph-alpha-inference 패키지와 vLLM 플러그인이 더해집니다. bfloat16의 MathForm-8B는 가중치가 약 16GB이며 16,384토큰 컨텍스트로 단일 최신 가속기에서 서빙됩니다. 의존성은 Lean 툴체인이고, 평가 파이프라인의 경우 실행 중인 Kimina Lean Server입니다. 이 배포 중 하나는 워크스테이션에 들어갑니다. 다른 하나는 그렇지 않습니다.

맥락 수치는 오히려 반대 방향으로, 그것도 큰 폭으로 작용합니다. Kolibri의 네이티브 윈도는 262,144토큰이며, 1,048,576까지 검증되었습니다. 이것이 Kolibri를 문서 모델로 만드는 이유입니다: 독일 규제 제출 서류 전체나 항공우주 정비 매뉴얼이 한 번의 호출에 들어갑니다. MathForm-8B는 설계상 16,384토큰으로 제한됩니다. 형식화 요청은 단일 문제 진술이고, 그것이 더 길어야 할 이유가 없기 때문입니다. 어느 숫자도 결함이 아닙니다. 그것들은 단지 서로 다른 작업을 설명할 뿐입니다.

선택 및 아래의 확인 질문

• 출력이 검증 가능해야 한다면 MathForm-8B를 선택하세요. 다운스트림 시스템이 Lean 4를 소비하거나, 증명 보조기가 결과를 승인하는 것이 요점이라면, 어떤 범용 모델도 MathForm-8B를 대신할 수 없으며, Syntax Check와 Consistency Check에서의 Pass@8 수치야말로 어떤 AIME 행보다도 따져봐야 할 대상입니다.

• 긴 컨텍스트에서 독일어와 영어 문서를 읽고, 문서 전반에 걸쳐 추론하며, 도구를 호출하고, 컨텍스트가 답을 뒷받침하지 않으면 답변을 보류하며, 한 줄로 명시할 수 있는 라이선스 아래 자체 경계 내에 배포할 수 있는 단일 모델이 필요하다면 Kolibri를 선택하세요. 수학은 Kolibri가 갖춘 역량이지, Kolibri라는 제품 그 자체가 아닙니다.

• 형식화 파이프라인을 구축하고 있다면 둘 다 고려하세요. 대안으로서가 아니라, 하나의 라우팅 규칙 뒤에 있는 두 엔드포인트로 두고, 그것이 필요한 좁은 범위의 요청에 대해서는 전문가를 호출하도록 하세요.

그리고 만약 당신이 둘 중 하나를 벤치마크 수치의 강점만으로 평가하고 있다면, 먼저 한 가지 테스트를 적용하세요. 그 수치가 무엇을 산출물로 남기는지 물어보는 것입니다. MathForm-8B의 경우에는 Lean 파일과, 그 파일을 받아들이거나 받아들이지 않는 컴파일러가 있으며, 오늘 오후에 직접 둘 다 실행해 볼 수 있습니다. Kolibri의 경우에는 출시 표에 있는 하나의 백분율이 있을 뿐인데, 이는 벤더가 보고한 것이고 재현된 적이 없으며, 대조해 확인할 독립적인 인덱스 페이지도 없습니다. 그리고 그것을 반증할 유일한 방법은 78 GB의 가중치를 다운로드하고, 하드웨어를 임대하고, 하네스를 다시 실행하는 것입니다. 프로덕션에 무엇을 넣을지 결정할 때, 그 비대칭성은 점수 자체보다 더 가치가 있습니다.