Intern-Decision-0.8B vs MathForm 8B: 이 중 하나는 자신의 작업을 스스로 검증할 수 있다

어떤 작은 전문 모델에 관해 물을 수 있는 가장 유용한 질문은 누가 그것을 검증하는가이다. Intern-Decision-0.8B와 MathForm 8B는 둘 다 일반 모델을 좁은 영역용으로 미세 조정해 존재하게 되었고, 둘 다 Qwen 가중치의 Apache-2.0 파생물이며, 둘 다 마케팅 캠페인 없이 Hugging Face에 올라왔다. 그러나 두 모델은 배포 방식을 결정하는 어떤 경계선의 반대편에 서 있다. MathForm 8B는 OpenBMB의 8B 자동 형식화 모델로, 2026년 8월 14일 공개되었으며 자연어 수학을 Lean 4로 번역하고 그 결과를 컴파일러에 넘긴다. 컴파일러는 그것을 받아들이거나 받아들이지 않는다. Intern-Decision-0.8B는 InternLM의 852,985,920개 파라미터 결정 헤드로, 2026년 9월 26일 업로드되었으며, 사전에 사용자가 제공한 선택지들에 대한 보정된 확률 분포를 반환한다. 그리고 그것이 반환하는 레이블이 맞는지를 독립적으로 검증하는 것은 세상 어디에도 없다. 이 모델들 중 하나는 증명이 있는 출력을 낸다. 다른 하나는 신뢰도 점수가 있는 출력을 내며, 이 두 가지로 무엇을 할 수 있는지의 차이가 바로 이 글 전체의 내용이다.

그러한 프레이밍은 크기 차이 — 8B 대 0.8B, 열 배 차이 — 가 이 비교에서 가장 흥미롭지 않은 숫자인 이유도 설명해 준다. 어느 모델도 상대가 잘하는 것을 잘하려고 하지 않으며, 어느 한쪽의 평가도 다른 쪽에 대해 알려주는 바가 없다. 두 모델이 공유하는 것은 출시 패턴과 Qwen 계보인데, 둘 다 검증 질문보다 덜 중요하다.

각각이 실제로 무엇인지

MathForm 8B는 논문에 설명된 2단계 레시피의 배포된 산출물입니다 MathForm: 지식 검색과 검증 유도 정제를 통한 수학적 자동형식화 확장 (arXiv 2608.14221). 검색 플래너는 생성기가 실행되기 전에 Mathlib에서 관련 정의와 기존 형식화를 가져옵니다. 생성된 명제는 컴파일러 진단과 의미 일관성 피드백을 사용해 수정됩니다. 그 결과로 만들어진 코퍼스인 FormalVerse에는 약 367,000개의 검증된 Lean 4 예제가 포함되어 있습니다. 그리고 MathForm 8B는 Lean 컴파일과 의미 일관성 신호를 보상으로 사용하는 강화 학습이 뒤따르는 지도 미세 조정을 통해 이 데이터로 훈련됩니다. 이 모델은 Qwen3-8B를 기반으로 한 텍스트 전용 모델이며, OpenAI 호환 API를 갖춘 Transformers, vLLM 또는 SGLang을 통해 제공됩니다. 권장 컨텍스트 길이는 16,384 토큰이고 최대 생성 예산은 16,384 토큰입니다. 평가 파이프라인, 벤치마크 파일 및 Pass@k 스크립트는 모두 OpenBMB GitHub 저장소에 있으며, 학습 데이터셋은 공개되어 있습니다.

Intern-Decision-0.8B는 아무도 설명하지 않은 레시피의 출시된 산출물입니다. 모델 카드는 이것이 "Qwen3.5-0.8B에서 미세 조정된 멀티모달 구조적 의사결정 모델"이라고 말한 뒤 거기서 멈춥니다 — 데이터 설명도, 학습 절차도, 논문도, 저장소도 없습니다. 대신 철저히 문서화한 것은 추론 계약입니다. 번들 엔진은 각 질문의 옵션을 단일 토큰 심볼로 매핑하고, 하나의 <decision> 자리표시자를 필드마다 두는 스켈레톤을 렌더링하며, 단일 인과 순방향 패스를 실행하고, 각 자리표시자 앞 위치의 로짓을 읽고, 해당 필드에 허용된 심볼에 대해서만 소프트맥스를 적용하고, 피팅된 캘리브레이션을 적용한 다음, 심볼을 당신의 옵션 값으로 다시 매핑합니다. 아무런 generate() 호출도 없고 경로 어디에도 샘플링이 없습니다. 텍스트와 최대 8개의 이미지를 받고, 각각 최대 62개의 옵션을 가진 1~16개의 질문을 처리하며, 8,192 토큰을 초과하는 입력은 잘라내지 않고 거부합니다. 기본 캘리브레이션 온도는 2.747760550703이며, 1,728개 사례에 대한 NLL 최소화로 체크포인트마다 피팅됩니다.

그 두 문단을 나란히 놓고 읽어 보면 비대칭이 극명하다. MathForm 8B는 논문, 데이터셋, 평가 파이프라인, 리포지토리를 함께 제공한다. Intern-Decision-0.8B는 API 설명과 벤치마크 표를 함께 제공한다.

검증 비대칭성, 이것이 진짜 핵심이다

MathForm 8B의 출력은 사람이 아닌 다른 무언가로도 검증할 수 있다. 이는 Lean 4를 출력하며, Lean 4는 컴파일되거나 컴파일되지 않는다. OpenBMB의 수치가 바로 이 이유로 두 가지 체계 아래 보고된다: Syntax Check에서 Pass@8 88.06%는 출력이 컴파일됨을 의미하고, Consistency Check에서 72.37%는 출력이 컴파일됨을 의미하며, 또한 의미 일관성 검사가 형식 명제가 비형식 명제가 말한 것을 의미한다는 데 동의함을 의미한다. 두 수치는 모두 여섯 개 벤치마크에 걸친 평균이며, 논문은 또한 FATE-H에서 63%, 더 어려운 FATE-X 하위 집합에서 37%의 CC 통과율을 보고하면서 이것이 특화된 32B 자동형식화기들을 능가한다고 주장한다. 이들은 벤더가 보고한 수치다 — OpenBMB가 실행했다 — 하지만 중요한 속성은 통계적이 아니라 구조적이다: MathForm 8B의 출력을 소비하는 다운스트림 시스템은 모델에게 판단을 요청하지 않고도 잘못된 형식화를 거부할 수 있다. 컴파일러가 오라클이다.

Intern-Decision-0.8B는 타입 계약을 가지며 오라클이 없습니다. 출력 형태는 보장됩니다 — 선언된 필드 choice는 나열한 옵션 값들에 대한 분포를 반환하고, score는 당신의 루브릭에 대한 확률 가중 기대값을 반환하고, noul은 예-확률을 반환합니다. 모델 외부의 그 무엇도 argmax가 올바른지 알려줄 수 없습니다. 신뢰도 값은 모델 자신의 정확성에 대한 자체 추정이며, 카드의 보정 작업은 그 추정을 의미 있게 만들기 위한 정직한 시도입니다 — argmax를 보존하면서 확률을 날카롭게 하거나 부드럽게 하는 피팅된 온도로, 홀드아웃 사례에서 검증된 것입니다 — 하지만 잘 보정된 오답은 여전히 오답입니다. 파이프라인이 레이블이 올바른지 알아야 한다면, 레이블된 데이터가 필요하고, 직접 측정해야 합니다.

그것은 Intern-Decision-0.8B에만 고유한 결함이 아니다. 그것은 모든 분류기의 조건이며, TypeSafe의 Jev와 Convai의 Laya를 포함하는 의사결정 모델 전체 범주에서 해결되지 않은 문제다. 분명히 말할 가치가 있다. 왜냐하면 Brier 점수 열이 있는 벤치마크 표는 캘리브레이션이 검증이라는 인상을 줄 수 있기 때문이다. 그것은 아니다. 캘리브레이션은 이 모델이 80%라고 말할 때 평가된 분포 전반에서 약 80%의 경우 맞는다는 것을 알려준다 — 이는 임계값을 설정하고 기대값을 계산하는 데 진정으로 유용하며, 항목별 정확성 보장은 아니다.

점수판, 두 모델이 모두 가진 행에 대해

• 매개변수 — Intern-Decision-0.8B: 1.50GB 언어 샤드, 176MB 비전 샤드, 25MB 프로젝터 전반에 걸쳐 852,985,920개. MathForm 8B: 8B dense, Qwen3-8B 기반.

• 베이스 모델 — Intern-Decision-0.8B: Qwen3.5-0.8B, 2026년 2월 출시. MathForm 8B: Qwen3-8B.

• 작업 — Intern-Decision-0.8B: 당신이 작성하는 스키마에 대한 타입 지정 결정 — 선택, 점수, 이진. MathForm 8B: 자연어 수학을 Lean 4 형식화로.

• 출력 — Intern-Decision-0.8B: 필드별 보정된 분포와 argmax, 텍스트 생성 없음. MathForm 8B: 생성된 Lean 4 소스, 대개 김.

• 검증 — Intern-Decision-0.8B: 외부 검증 없음; 신뢰도는 자체 보고 방식. MathForm 8B: Lean 4 컴파일러, 그리고 의미 일관성 검사.

• 공개된 증거 — Intern-Decision-0.8B: 7개 벤치마크에 걸친 공급업체 벤치마크 표, 재현되지 않음, 논문 없음. MathForm 8B: 논문, 약 367,000개 예시의 공개 데이터셋, 평가 파이프라인 및 저장소, 공급업체 실행.

• 라이선스 — 둘 다 Apache 2.0이며, Intern-Decision-0.8B는 업스트림 가중치를 위한 보존된 Qwen 라이선스 파일도 추가로 포함하고 있습니다.

비용과 지연 시간은 서로 비교할 수 있는 게 아니며, 그건 회피하는 말이 아니다.

InternLM은 단일 RTX 4090에서 로컬 Hugging Face 경로를 통해 Intern-Decision-0.8B를 쿼리당 평균 33.98ms, p95 37.50ms로 측정했으며, 2B 형제 모델은 평균 33.28ms를 기록했습니다. MathForm 8B의 자체 카드는 temperature 0.6 및 top_p 0.95에서 형식화당 최대 16,384개의 새로운 토큰을 권장합니다. 이 두 측정값은 같은 양이 아닙니다. 하나는 프롬프트에 대한 단일 순방향 전달이고, 다른 하나는 수천 개의 토큰 동안 실행될 수 있는 자기회귀 생성입니다. 형식화 예산에 34ms 결정을 곱해도 상대적 효율성에 대해 아무것도 알 수 없습니다. 왜냐하면 모델들이 같은 양의 작업을 수행하지 않기 때문입니다. 하나는 읽고 점수를 매기고, 다른 하나는 증명 스크립트를 읽고 작성합니다. 처리량이 제약 조건이라면 관련 사실은 비율보다 간단합니다. MathForm 8B는 생성당 하나의 명제를 형식화하며, 8B 밀집 모델에서 출력당 16K 토큰에서는 GPU를 포화시키는 워크로드이며 OpenBMB가 문서화한 vLLM 또는 SGLang을 통한 배치 처리의 후보입니다. Intern-Decision-0.8B는 한 번의 패스로 전체 레코드를 포괄하는 16개의 질문에 답변하므로 작업 단위는 필드가 아닌 레코드이며, 레코드 예산은 8,192 토큰 입력 한도입니다. 이는 긴 상태, 풍부한 스키마 및 최대 8개의 이미지를 채워 넣을 때 독자가 예상하는 것보다 더 빨리 도달합니다.

각각이 적합한 도구인 경우

MathForm 8B는 수학에 대한 인간 검토가 병목인 파이프라인에 속합니다. 자동 형식화가 존재하는 이유는 Lean을 작성하는 것이 읽는 것보다 느리고, 기계 검증 가능한 명제는 증명 보조기가 그다음 공격할 수 있는 대상이기 때문입니다. 그것을 신뢰할 수 있게 만드는 속성, 즉 컴파일러 검증 출력은 또한 그것을 좁게 만드는 속성이기도 합니다: 그것은 형식화할 뿐 증명하지 않으며, 카드에는 컴파일 검사에 실행 중인 Kimina Lean Server가 필요하고 실험에서 Lean 4.21.0을 사용했다는 점이 명시되어 있습니다. 그것을 도입하는 사람은 그 스택을 도입하는 것입니다. 며칠 또는 몇 주 된 오픈 웨이트 모델과 마찬가지로, 테스트 경로를 그것으로 지정하고 멈출 때 검증된 모델로 폴백하는 것이 그것을 평가하는 저위험 방식이며, 바로 이것이 폴백 체인 전반에 걸친 자동 페일오버를 갖춘 게이트웨이가 있는 이유입니다 — 응답이 시작되기 전에 도착하는 재시도이므로, 멈춘 형식화가 호출자에게 도달하는 일은 결코 없습니다.

Intern-Decision-0.8B는 닫힌 답변 집합이 이미 존재하고, 그것을 복원하기 위해 텍스트를 생성하는 비용이 순전히 낭비인 곳에 적합하다. 트리아지, 라우팅, 루브릭 채점, 작성된 정책에 따라 기록을 판정하는 것 — 생성 모델이 목록에서 선택하는 값비싼 방법으로 사용되는 경우들이다. 그 장점은 결정론적이고, 파싱해야 하는 문자열 대신 사용 가능한 확률을 반환하며, 디스크에서 1.73 GB로 노트북 브라우저의 메모리 비용보다 여유롭게 낮게 실행된다는 점이다. 그 단점은 문서가 API 표면에서 멈춘다는 것, InternLM 외부의 누구도 이에 대한 결과를 발표하지 않았다는 것, 그리고 안전 문제를 시사하는 하나의 벤치마크 열 — Jev의 96.29에 대비한 WildJailBreak 점수 64.48 — 이 설명되지 않는다는 것이다. 그 테스트를 직접 실행하지 않고는 적대적 입력 앞에 그것을 두지 마라.

두 모델은 모두 주목할 만한 계보를 공유하는데, 이는 "오픈"이 무엇을 제공하는지를 바꾸기 때문입니다. 각각은 Qwen 체크포인트를 파인튜닝한 것이며, 각각 업스트림 라이선스를 올바르게 유지합니다. MathForm 8B는 Apache 2.0에 따라 카드에 Qwen3-8B 출처가 명시되어 있고, Intern-Decision-0.8B는 Apache 2.0에 따라 저장소에 별도의 LICENSE-QWEN 파일이 있습니다. 어느 쪽도 매출 임계값이나 사용 분야 제한을 두지 않습니다 — 연간 매출 1,000만 달러 미만인 법인에만 상업적 권리를 조건으로 부여하는 Liquid AI의 LFM Open License v1.0과는 다릅니다. 상업적으로 구축하고 있다면, 그것은 이 두 릴리스를 소형 모델 생태계의 일부와 구분 짓는 차이이며, 두 릴리스 모두에 똑같이 적용됩니다.

문서화되지 않은 체크포인트 없이 의사 결정 계층을 원한다면

"의사 결정 헤드가 이 문제에 맞는 형태다"라는 것과 "이 특정 의사 결정 헤드라면 리뷰어에게 당당히 내세울 수 있다"라는 것 사이의 간극을 바로 호스팅 대안이 메워준다. TypeSafe의 Jev 1.13은 InternLM이 자사 모델군을 Jevbench, Typed Decision, ToolACE에서 벤치마킹한 상대 모델이며, 오늘날 단일 OpenAI 호환 엔드포인트를 통해 호출할 수 있고, 백만 입력 토큰당 $0.042에 출력은 0으로 청구된다 — 중간에서 마진을 붙인 것이 아니라 벤더가 공개한 요율을 마크업 없이 그대로 전달한 가격이다. 리포지터리가 없는 0.8B 체크포인트에 투자하기 전에 의사 결정 헤드가 애초에 도움이 되는지부터 측정해 보고 싶은 독자에게 이것은 저렴한 첫 실험이며, Jev 자체의 서드파티 평가는 Intern-Decision-0.8B가 아직 갖지 못한 실적을 뒷받침해 준다.

짧은 대답

이 둘은 서로 대안이 아니다. MathForm 8B는 프로그램이 검증할 수 있는 출력을 내는 전문 모델로, 검증이 어려운 부분인 작업을 겨냥하며, 그 주장을 입증할 논문, 데이터셋, 평가 하네스를 함께 제공한다. Intern-Decision-0.8B는 오직 당신만 검증할 수 있는 출력을 내는 전문 모델로, 답이 이미 적혀 있고 어려운 부분은 그 답에 빠르고 저렴하게 도달하는 것이었던 작업들을 겨냥하며, 추론 모듈과 표를 함께 제공한다. 형식화가 필요하다면, 이 중 고려할 것은 하나뿐이다. 레이블이 필요하고 그것을 대조해 확인할 정답 데이터를 만들 준비가 되어 있다면, 0.8B가 더 흥미로운 다운로드다 — 빠르고, 결정적이며, Apache 2.0이고, 그것이 얼마나 좋은지 알아보는 비용이 예산 항목이 아니라 한나절일 만큼 작다.