Granite 4.2 3B 출시: IBM의 노트북 크기 추론 모델이 AIME 2025에서 78.33을 기록했다고 주장

오늘 밤 노트북에서 Granite 4.2 3B를 실행할 수 있습니다. 이것이 헤드라인에 오른 숫자 이면의 실질적인 사실입니다: IBM은 2026년 8월 25일 Apache-2.0 라이선스 하에 Granite 4.2 3B를 출시했습니다. 이는 새로운 Granite 4.2 제품군 — Granite 4.2 3B, Granite 4.2 8B, Granite 4.2 30B — 중 가장 작은 세 개의 밀집(dense) 추론 모델 중 하나이며, 모델 카드는 AIME 2025에서 78.33을 기록한다고 주장합니다. 이는 몇 년 전만 해도 크기가 100배나 되는 모델만이 달성할 수 있었던 수학 추론 점수입니다. 가중치는 약 30억 개의 파라미터로 구성됩니다: bfloat16에서는 6~8GB, 실용적인 양자화에서는 2GB 미만입니다. 이번 출시의 핵심은 바로 이것입니다 — 예전에는 데이터센터에서 구매해야 했던 추론 모델이 이제는 가방 하나에 들어갑니다.

정직한 해석은 그 옆에 나란히 놓여야 합니다. 카드의 모든 수치는 IBM 자체의 것이며, 가중치가 공개된 날 기록된 것으로, 어떤 독립 연구소도 그 수치를 재현한 적이 없습니다. 아직 호스팅 API는 없습니다. 카드에는 추론 제공업체가 명시되어 있지 않으므로, 오늘 이 모델을 만나려면 직접 실행하거나 호스팅 티어가 나타나기를 기다려야 합니다. 이것은 제품군 중 가장 작은 모델에 대한 현 시점 정보 정리이며, 즉 저장소가 실제로 뒷받침하는 주장이 무엇인지 정확히 규정하는 것을 의미합니다.

무엇이 출시되었는가, 그리고 얼마나 조용히

Granite 4.2는 IBM의 추론 세대입니다. 명시적 체인-오브-소트(chain-of-thought)를 기반으로 구축된 최초의 Granite 제품군이며, 대형 모델에 대규모 에이전트 훈련을 추가한 최초의 제품이기도 합니다. 세 가지 크기 모두 Apache 2.0 라이선스 하에 제공되는 덴스(dense) 디코더 전용 트랜스포머로, 5단계에 걸쳐 약 15조 개의 토큰으로 사전 훈련되었으며, 모두 128K 기본 컨텍스트에서 실행되고 512K까지 장기 컨텍스트 확장을 지원합니다. 이 발표는 언론 공개가 아니었습니다. 주요 출처는 8월 25일 모델 카드와 함께 게시된 Hugging Face 기술 블로그의 "Granite 4.2 LLMs: How They're Built"입니다. 중국 기술 언론은 몇 시간 안에 이 제품군을 다루었고, Ollama는 이미 granite4.2:3b 빌드를 등록했습니다.

3B를 엣지 멤버로 만드는 것은 무엇인가?

3B는 Granite-4.1-3B-Base로부터 사후 훈련되었으며, 자매 모델들과 구별되는 점은 그것이 가지고 있지 않은 것입니다. Granite 4.2 8B와 Granite 4.2 30B는 둘 다 IBM의 에이전틱 강화 학습을 받았습니다. 이는 모델이 샌드박스 환경에서 터미널을 작동하고, 코드를 실행하고, 웹을 검색하는 방법을 가르치는 훈련으로, 그래서 이 두 모델은 SWE-Bench와 Terminal-Bench 점수를 보유합니다. 3B는 그 블록을 완전히 건너뛰며, 에이전틱-RL 하네스가 훈련된 적이 없기 때문에 해당 카드에는 SWE-Bench나 Terminal-Bench 결과가 보고되지 않습니다.

3B가 유지하는 것은 추론 코어와 인터페이스입니다:

• 파라미터 — 3B (safetensors 메타데이터 기준 임베딩 포함 총 약 4B), Granite-4.1-3B-Base 기반의 밀집 디코더 전용 Transformer.

- 아키텍처 — 그룹 쿼리 어텐션(40개 헤드, 8개 KV 헤드), RoPE(θ=10,000,000), SwiGLU MLP(은닉 크기 8,192), RMSNorm, bfloat16.

• 컨텍스트 — 기본적으로 131,072 토큰; 다섯 번째 사전 학습 단계는 컨텍스트 창을 512K로 확장합니다.

• 추론 모드 — 기본적으로 전체 사고(<think>...</think>), enable_thinking=False를 통한 비사고, 그리고 쉬운 질문에 짧은 추론 예산을 사용하는 저노력 모드.

도구 호출 — OpenAI 호환 함수 호출로, 더 큰 형제들이 사용하는 것과 동일한 스키마를 가지며, vLLM 엔드포인트를 통해 제공됩니다. OpenHands, OpenCode 및 Pi 통합이 문서화되어 있습니다.

• 언어 — 12개 테스트됨: 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어.

• 서빙 — Hugging Face Transformers, vLLM (전용 추론 파서를 갖춘 v0.20+), SGLang, llama.cpp용 GGUF 빌드, FP8/NVFP4/MXFP4 양자화, 그리고 Ollama.

벤더가 보고한 수치

카드에는 강력한 추론 점수가 나열되어 있으며, 그 점수들은 모두 IBM 자체 평가 결과입니다. 수학 및 추론 평가에서 3B는 AIME 2025에서 78.33, HMMT 2025년 2월에서 66.67, GPQA에서 54.80, LiveCodeBench v6에서 69.71을 기록합니다. 지시 수행의 경우: MMLU-Pro에서 67.84, IFBench에서 74.33입니다. 긴 컨텍스트의 경우 RULER 점수는 64K에서 67.52, 128K에서 55.30입니다. 에이전트 일반 평가에서 3B가 실제로 지원하는 부분 — 에이전트-RL 블록 없이 기본 도구 사용 — 은 BFCL v4에서 52.41을 기록합니다.

이 중 어느 것도 독립적으로 재현된 바 없습니다. 모델은 8월 25일에 출시되었으며, Artificial Analysis에는 아직 해당 모델에 대한 항목이 없고 제3자 평가도 발표되지 않았습니다. 주목할 수치는 78.33 AIME입니다. 3B급 밀집 모델로서 이는 소규모 오픈 모델이 역사적으로 도달해 온 범위를 훨씬 상회하며, 이와 같은 서류상 수치는 재현 실행이 확증하거나 조용히 철회하는 바로 그런 수치입니다. 이 섹션의 모든 수치는 IBM의 주장으로 간주하십시오.

확인된 것과 확인되지 않은 것은 무엇인가?

아티팩트를 통해 확인된 사항: 가중치는 다운로드할 수 있고, 라이선스는 Apache 2.0이며, 아키텍처, 컨텍스트 길이, 추론 모드, 도구 호출 인터페이스가 모델 카드와 일치합니다. 또한 학습 레시피는 데이터 비율과 제품군 학습에 사용된 NVIDIA GB200 NVL72 클러스터(CoreWeave 호스팅)에 이르기까지 이례적으로 상세하게 문서화되어 있습니다. 출시 당일 통합 작업을 통해 확인된 사항: Ollama는 이미 granite4.2:3b를 등재했으며, 모델 카드에는 vLLM, SGLang, Transformers, GGUF 서빙 경로가 문서화되어 있습니다.

아직 확인되지 않은 사항: 독립적 벤치마크 결과; IBM 자체 watsonx든 제3자든 호스팅 API가 등장할지 여부와 그 가격; 512K 확장이 RULER 니들 테스트가 아닌 실제 장문 문서 워크로드에서 어떻게 작동하는지; 그리고 3B의 기본 도구 호출이 의지할 에이전트 RL 훈련 없이 프로덕션 에이전트 루프에서 어떻게 버티는지.

3B가 경쟁하는 분야와 테스트 방법

3B의 승부수는 작고 로컬하다는 점이 타협이 아닌 특징이라는 것이다. 그 아래로 제품군은 끝난다. 3B는 Granite 4.2 라인의 최하위 모델이다. 그 주변의 저비용 추론 분야는 호스팅 측면에서 매우 두텁다. DeepSeek V4 Flash와 Gemini 3.5 Flash-Lite가 저렴한 호스팅 추론 계층을 지탱하고 있으며, 소형 오픈 가중치 추론 모델들도 연중 내내 출시되고 있다. 3B가 이들 모두와 다른 점은 한 가지다. 밀집형(dense) 구조에 Apache-2.0 라이선스를 사용하며, 요청 한 건의 한계 비용이 중간급 GPU 하나의 전기료에 불과할 정도로 작다는 것이다. 그러나 동시에 신제품이고, 검증된 바 없으며, 타사 평가가 하나도 없다.

그 조합이 바로 라우팅 계층이 제 역할을 다하는 지점입니다. OrcaRouter는 Granite 4.2 3B를 라우팅하지 않습니다 — 솔직한 가용성 기준으로 보면 vLLM, SGLang, 또는 Ollama를 통한 자체 호스팅이거나, IBM이 제공하는 채널에서 순차적으로 제공되는 방식입니다 — 그러나 경쟁 대상이 되는 호스팅 모델들은 OrcaRouter에 공급업체의 공개 가격 그대로, 0% 마크업으로, 하나의 API 키 뒤에서 전달됩니다. 3B의 로컬 추론이 호스팅되는 저가 모델을 임대하는 것보다 나은지 판단하는 비교 하네스를 구축 중이라면, 하나의 키가 호스팅 필드를 가리키고, 단일 엔드포인트를 통해 자체 호스팅 Granite와 A/B 테스트를 수행하며, 자동 장애 조치가 GPU 풀이 포화되는 시간을 흡수합니다. 호스팅 대안의 가격 인하는 발생 당일에 전달 가격에 그대로 반영됩니다.

볼 만한 것

이번 릴리스가 어떻게 기억될지는 세 가지가 결정할 것이다. {{1}}첫째, AIME와 GPQA 수치에 대한 독립적인 재현이다. 카드에 적힌 78.33과 타사 실행에서 나온 78.33 사이의 격차가 소형 모델 주장의 성패를 가른다.{{/1}} {{2}}둘째, watsonx나 다른 호스트가 3B를 채택하는지, 그리고 토큰당 가격이 얼마인지다. 2기가바이트 미만의 양자화된 추론 모델은 놀라울 정도로 저렴한 호스팅 계층을 만들 수 있다.{{/2}} {{3}}셋째, 저노력 추론 모드가 쉬운 질문에서도 품질을 유지하는지다. 그 모드가 노트북 크기 추론 모델을 실제 제품 트래픽에서 사용 가능하게 만드는 요소이기 때문이다.{{/3}} Granite 4.2 3B는 조용히 출시된 진정한 오픈 소스이자 문서화가 잘 된 추론 모델로, 내일이면 여러분의 하드웨어에서 실행할 수 있다. 열린 질문들에 대한 답은 모두 몇 주 안에 나올 것이다.