'Inkling 2 Mini vs Inkling 2 Small'이라고 적힌 생성된 제목 카드와 '11 인덱스 포인트, 394GB 차이'라는 부제목, 그 아래에는 'Inkling 2 Mini — 파일 1개, 약 20GB'와 'Inkling 2 Small — 파일 36개, 393.5GB'라고 적힌 두 개의 둥근 카드가 있으며, '11 포인트'라고 표시된 구분선으로 나뉩니다. OrcaRouter 로고는 오른쪽 하단에 있습니다.
Guides & Insights

Inkling 2 Mini 대 Inkling 2 Small: 394GB를 위한 11가지 포인트

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

두 체크포인트, 하나의 제품군, 그리고 11점의 Index 점수를 위해 디스크와 메모리를 얼마나 쓸 의향이 있는지로 귀결되는 선택. Inkling 2 Mini는 작은 쪽이다. 총 264억 개 파라미터에 활성 34억 개, Thinking Machines Lab이 2026년 11월 20일 Apache 2.0으로 공개한 약 20GB짜리 단일 파일이다. Inkling 2 Small은 큰 쪽이다. 총 5,940억 개에 활성 170억 개, 36개 파일에 걸쳐 393.5GB이며, 11월 5일 출시와 함께 시작된 일주일간의 비공개 제공 이후 11월 12일 가중치가 공개되었다. 둘을 각각 독립적으로 측정하는 Artificial Analysis Intelligence Index v5.0.1에서 두 모델은 20.1점과 31점을 기록한다. 그 한 줄이 트레이드오프의 전부를 보여주지만, 두 모델이 얼마나 다르게 동작하는지는 충분히 드러내지 못한다.

다음은 두 종류의 증거를 구분한다. 그 차이가 이 제품군에 관한 대부분의 논쟁을 좌우하기 때문이다. Index 점수, Index 작업당 비용, 속도, 컨텍스트, 라이선스는 Artificial Analysis 수치와 공급업체 메타데이터이며, 2026년 11월 21일 기준으로 확인한 값이다. 모든 벤치마크 백분율은 해당 출시 게시물에 실린 Thinking Machines 자체 평가 표에서 나온 값으로, 회사가 학습한 체크포인트에 대한 것이며, 제시될 때마다 공급업체 보고 값으로 표시된다. 두 표 중 어느 것도 연구소 외부에서 재현되지 않았다.

각 체크포인트가 실제로 무엇인지

아티팩트부터 시작하겠습니다. 아티팩트들은 같은 종류의 것이 아니기 때문입니다. Inkling 2 Small은 평면적인 전문가 혼합 모델입니다. 총 594B, 토큰당 17B가 활성화되며, 가중치는 출시 8일 후 24개의 safetensors 샤드와 그보다 더 큰 MXFP8 변형으로 공개되었습니다. Inkling 2 Mini는 가지치기되고 루프가 추가된 파생 모델로, 동일한 메인라인 레시피에서 전문가의 3분의 2를 삭제하고 중간 레이어에 루프를 추가한 것입니다. 약 20GB의 단일 파일로 제공되는데, 4비트로 엔드투엔드 학습되었고 학습된 정밀도 그대로 배포되기 때문입니다. 20개 레이어는 NVFP4, 4개는 MXFP8이며, 따라서 변환 손실을 치를 필요가 없습니다.

• 총 매개변수 — Inkling 2 Mini 26.4B vs Inkling 2 Small 594B.

• 활성 파라미터 — 3.4B 대 17B, Mini는 세 번의 루프 패스를 계산에 포함하면 토큰당 5.4B의 유효 가중치 활성화에 도달합니다.

• 다운로드 — 단일 파일로 약 20GB vs 36개 파일에 걸쳐 393.5GB, 또는 MXFP8 변형의 경우 622.8GB.

• 인덱스 — 20.1 대 31, 둘 다 Intelligence Index v5.0.1 기준.

• 인덱스 작업당 비용 — $0.59 대 $1.18.

• 출력 속도 및 첫 토큰 — 9.72초에 초당 280토큰 vs 39.68초에 초당 118토큰.

• 맥락 — 두 모델 카드 모두 1M 토큰이며, Artificial Analysis도 두 모델 모두 1M으로 기록했습니다. Tinker에서 Inkling 2 Small의 서빙 티어는 모델 카드보다 좁고, Mini도 같은 격차를 그대로 물려받습니다. 100만은 역량으로 보되 운영상의 약속으로 보지는 마세요.

• 라이선스 — 둘 다 Apache 2.0입니다. Small의 카드는 LICENSE 파일을 포함하지 않은 채 이를 명시하고 있고, Mini의 카드는 같은 부재 상태로 메타데이터에 이를 명시합니다. 법무 검토에서 저장소 트리에 문서가 있기를 원한다면 알아둘 가치가 있습니다.

Screenshot of the Artificial Analysis model page for Inkling 2 Small, showing a score of 31 on the Intelligence Index against a median of 23 for its class, 154M tokens generated during the index run against a 104M median, pricing of $0.30 per 1M input and $1.00 per 1M output tokens, $1.18 per index task, 21.2 minutes per task, a 1M-token context window, a 39.68-second time to first token and 118 output tokens per second.

열한 가지 포인트, 그리고 그것들이 어디서 비롯되는지

두 벤더 표를 나란히 읽어야만 추가 컴퓨팅으로 무엇을 얻는지 알 수 있다. 인덱스 점수만으로는 그것이 드러나지 않기 때문이다. 두 모델은 같은 연구소에서 일부 겹치는 평가 하네스로 평가되었으므로, 각 행은 서로 대략 비교 가능하다 — 그리고 오직 서로 간에만 그렇다.

• DeepSWE v1.1 — Inkling 2 Small 72.1% vs Inkling 2 Mini 48.2%. 코딩 블록에서 가장 큰 격차입니다.

• SWE-bench Pro v2, Hard — 86.3% 대 77.9%.

• SWE-bench Verified — Mini의 경우 79.2%, bash만 사용. Small 자체의 출시 표에는 동일한 행이 표시되지 않으므로, 이는 두 게시물을 서로 맞춰 볼 수 없는 유일한 코딩 벤치마크입니다.

• Vibe Code Bench v1.1 — 81.6% 대 77.9%.

• FrontierCode v2.0 — 25.4% 대 15.1%. 두 모델 모두 가장 취약한 벤치마크에서 10포인트 격차.

• PMPP-Hard, 커널 최적화 벤치마크 — Small은 494.27 AUC로 Mini의 455.82보다 높으며, 이는 파라미터 수가 시사하는 것보다 더 가까운 격차로, 출시 게시물에서 Mini가 더 큰 형제 모델에 "접근한다"고 말할 때 가리키는 행입니다.

• BrowseComp — 90.2% vs 79.0%; DeepSearchQA 90.9% vs 85.3%; MCP Atlas 85.0% vs 82.7%. 검색 및 도구 사용은 격차를 한 자릿수로 좁힙니다.

• CritPt v2, full — 55.7% 대 31.4%. 과학적 추론은 추가로 저장된 지식이 가장 뚜렷하게 드러나는 분야입니다.

• AA-Omniscience — 16.1(비환각률 73.3%) 대 −8.6(63.4%).

마지막 행은 곱씹어볼 만하다. 전지성 점수가 음수라는 것은 모델이 답변을 하지 않는 것보다 못하다는 뜻이며, 11포인트 지수 격차는 대부분 그 지점에서 발생한다. 더 큰 모델은 아는 것이고, 더 작은 모델은 추론해내는 것이다. Thinking Machines도 루프가 직렬 연산을 추가할 뿐 저장된 사실을 추가하지는 않는다고 설명하면서 다른 말로 이를 스스로 말한다. 가지치기는 전문가의 3분의 2를 잘라냈고, 지식은 남아 있는 전문가 안에 산다.

같은 레시피, 더 작은 팬

패밀리 유사성은 마케팅이 아니다. 두 모델 모두 유사한 데이터 믹스로 SFT를 거쳤고, 2,000스텝에 걸쳐 총 2.2T 토큰 규모의 RL 단계를 거쳤으며, 둘 다 정렬을 위해 온폴리시 증류를 사용했다. 포스트트레이닝 파이프라인은 동일한 파이프라인이다; 차이는 그 파이프라인에 무엇이 도달했는가이다.

그곳에서 Mini가 택한 경로는 알 만한 가치가 있습니다. 벤치마크의 여러 행을 설명해 주기 때문입니다. 이 경로는 희소도 48에서 시작해 각 토큰을 384개 전문가 중 8개로 라우팅했습니다. 중간 학습의 어느 시점에 Thinking Machines는 레이어당 가장 많이 사용된 전문가 128개를 유지했습니다 — 3분의 2를 줄인 것입니다 — 그리고 더 큰 내부 Inkling 모델에서 증류한 1T 토큰으로 손실을 회복했으며, 살아남은 전문가들이 삭제된 전문가들의 작업을 이어받도록 학습시켰습니다. 그다음에는 루핑을 추가했습니다. 6개 레이어로 된 블록 4개이고, 가운데 두 블록은 세 번 실행되며, 학습된 게이트가 이전 패스의 메시지를 다음 패스로 병합합니다. 게이트는 이득 0에서 시작하므로 학습은 평범한 모델로 시작됩니다.

그 설계에서 내린 두 가지 판단은 시사하는 바가 크다. 이 회사는 28개 평가에서 두 방식을 모두 테스트한 뒤 중간 12개 레이어를 반복하는 쪽이 27개에서 더 낫다는 것을 확인하고, 마지막 12개 레이어 대신 중간 12개 레이어를 반복했다. 이때 연산 등가 이득은 1.51–1.91×였고, 마지막 12개를 반복했을 때는 1.24–1.36×였다. 또한 첫 블록과 마지막 블록은 단일 패스로 유지했는데, 이는 이 블록들이 토큰-표현 변환을 담당하고 중간 블록들이 추상화를 담당한다는 이론에 따른 것이다. 그렇기 때문에 Mini는 파라미터를 추가하지 않고도 저장된 24개 레이어로 토큰당 48회의 레이어 적용을 얻는다.

그 트릭의 대가는 운영 측면에 있다. 플랫 MoE는 모든 추론 스택이 2년 동안 서빙해 온 것이다. 루프 모델은 출시된 거의 그날부터 SGLang과 vLLM 지원을 받아 왔으며, 모델 카드는 루프 모델 런타임 지원이 새롭고 속도가 달라질 수 있다고 분명히 밝힌다. 이번 달 프로덕션 경로로 이 둘 중 하나를 선택해야 한다면, 지루한 쪽이 성숙한 커널을 갖춘 쪽이다.

하드웨어가 진정한 구분선이다

두 체크포인트는 같은 머신을 두고 경쟁하지 않으며, 이 점이 점수보다 더 많은 배포를 결정한다. Mini는 단일 NVIDIA DGX Spark, 32GB 이상의 Apple silicon 기기, 또는 32GB VRAM을 갖춘 GPU에서 실행되도록 명시되어 있다. 회사 자체 데모에서는 MacBook Pro에서 비행기 모드로 오프라인 플레이 가능한 비행 시뮬레이터를 구축하고, 한 노트북에서 20개 에이전트가 있는 마을 시뮬레이션을 돌린다. 얼리 액세스에서 수행된 Stanford 효율성 연구는 DGX Spark에서 MXFP8 및 낮은 추론 강도로 와트당 지능 0.703을 기록했다. 이는 연구실 외부 연구자들이 한 기기에서 측정한 것으로, 이번 출시에서 가장 강력한 독립적 신호다.

Small은 노드가 필요하다. 393.5GB의 가중치는 개인이 보유한 어디에도 들어가지 않는다. 그래서 이를 사용하는 자연스러운 방식은 호스팅 엔드포인트이며 — 해당 벤더의 경우 Tinker — 대부분의 독자에게 흥미로운 비교는 "어떤 파일을 다운로드해야 하나"가 아니라 "이 중 무엇을 애초에 실행할 수 있나"이다. Mini는 노트북으로 그 질문에 답한다. Small은 예산으로 답한다.

그 비대칭성이 바로 라우팅이 제 역할을 하는 지점이며, 막연히 말하기보다 구체적으로 짚을 가치가 있습니다. 두 모델 모두 OrcaRouter에 없으므로 오늘날 둘 중 어느 쪽으로도 라우팅할 대상이 없습니다. OrcaRouter에 있는 것은 같은 결정의 호스팅된 측면입니다. 즉, 594B 체크포인트가 실제로 겨냥하는 워크로드를 위해 호출하게 될 모델들을 하나의 키로, 제공업체의 정가에 마크업 없이 이용할 수 있게 해 주는 것입니다. 여기서 중요한 것은 라우팅 DSL입니다 — 작업별로 분할하여 비용이 큰 호출이 필요한 요청에만 그 호출이 일어나도록 하고, 제공업체가 다운될 때 자동 장애 조치를 제공하며, 값싼 로컬 모델은 나머지 전부를 처리합니다. Mini를 로컬에서 실행하고 어려운 꼬리 부분에만 외부 호출을 하는 것이 두 모델 중 하나로 모든 것을 처리하는 것보다 청구서가 적으며, 이번 릴리스가 실제로 가능하게 만든 구성이 바로 그것입니다.

세 가지 사례로 본 결정

개발자 머신이나 단일 오프라인 박스 안에서 작동하는 에이전트를 만든다면, Inkling 2 Mini가 답이며 실질적인 경쟁 상대는 없습니다. 20GB 다운로드에 초당 280토큰, Apache 2.0, 그리고 벤더 자체 비교표에서 동급 크기의 모든 오픈 웨이트 모델을 앞서는 코딩 성능표까지 갖췄습니다. 샌드박스에서 실행하세요 — 모델 카드가 파괴적 파일 작업과 디버깅 중 루프를 경고하긴 하지만 — 그러면 이미 보유한 하드웨어에서 저장소 규모의 에이전트 작업을 해낼 것입니다.

대규모 문서 코퍼스에서, 자신이 작성하지 않은 문서를 대상으로 검색하는 작업이 워크로드라면 Small의 장점은 주로 문서가 말한 내용을 회상하는 행에 있습니다. CritPt 55.7% 대 31.4%, omniscience 16.1 대 −8.6, 비환각률 73.3% 대 63.4%는 컴플라이언스나 금융 환경에서 작은 차이가 아닙니다. 그런 환경에서는 자신감 있는 오답이 느린 정답보다 더 큰 비용을 초래하기 때문입니다. 이를 얻으려면 노드나 엔드포인트 비용을 지불해야 합니다.

혼합 워크로드에 맞춰 선택하고 있다면, 분업이 핵심이다. Mini의 약점은 지식이며, 지식은 외부에서 공급할 수 있는 단 하나의 요소다 — 검색 계층, 검색 도구, 어려운 꼬리 구간을 위한 더 큰 모델. Mini의 강점은 20GB급에서 다른 누구도 따라올 수 없는 가격으로 장기 지평의 에이전트 지속성을 제공한다는 점이다. 작은 모델을 사고, 지식은 빌리고, 594B 체크포인트는 실행하는 대상이 아니라 확장해 올라가는 대상으로 취급하라.

Screenshot of the Artificial Analysis model page for Inkling 2 Mini, showing a score of 20 on the Intelligence Index against a median of 10, 161M tokens generated during the index run against an 85.7M median, pricing of $0.15 per 1M input and $0.50 per 1M output tokens, $0.59 per index task, 9.0 minutes per task, and a 1M-token context window, alongside the technical specification panel listing the reasoning, input and output modalities, context window, parameter counts and licence.

주의할 점이 하나 있는데, 이는 세 가지 사례 모두에 해당하므로 묻어두기보다는 끝에 두는 것이 마땅하다. 두 모델의 벤치마크 표는 모두 해당 연구소 자체의 것이며, 이 비교에서 지수 점수는 유일하게 독립적으로 측정된 역량 수치다. 31과 20.1은 서로 비교할 수 있고, 86.3%와 77.9%는 서로 비교할 수 있을 뿐 그 외 어떤 것과도 비교할 수 없다. 공급업체가 제공한 행을 경쟁사가 공개한 점수 옆에 인용하는 사람은 두 모델을 비교하는 것이 아니라 두 개의 하네스를 비교하는 것이다.

A generated two-column scoreboard titled 'Inkling 2 Mini vs Inkling 2 Small — the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B, total parameters 26.4B, download about 20GB, cost per index task $0.59, and output speed 280 tokens per second. The Inkling 2 Small column reads Intelligence Index 31, active parameters 17B, total parameters 594B, download 393.5GB, cost per index task $1.18, and output speed 118 tokens per second. A footer states that index, cost and speed are per Artificial Analysis and benchmark percentages are vendor-reported.