Inkling 2 Small, 17B 활성 파라미터로 코딩에서 보조를 맞추다 — 분산을 들여다보기 전까지는

Thinking Machines의 출시 차트에 있는 두 선은 같은 숫자에서 만난다. Inkling 2 Small은 PMPP-Hard 작업 69개 중 54.25개를 단일 시도로, 64개를 네 번의 시도에 걸쳐 해결한다. Claude Opus 5.5는 단일 시도로 60개, 네 번의 시도에 걸쳐 64개를 해결한다. 2026년 11월 5일 출시된 Inkling 2 Small은 총 파라미터 594B, 활성 파라미터 17B의 mixture-of-experts 모델이며, 그 차트는 이 아키텍처가 무엇을 얻고 무엇을 얻지 못하는지를 가장 명확하게 보여준다: 어려운 엔지니어링 작업에서 프런티어 모델의 상한선을, 다만 그 모델의 시도당 신뢰성은 없이.

요즘 떠도는 주장은 범위가 더 좁고 듣기 좋은 쪽이다. 코딩 벤치마크에서 훨씬 큰 모델들과도 손쉽게 보조를 맞춘다는 것이다. 이 주장은 벤더 자체 표와 한 줄씩 대조해 검증할 수 있는데, 어떤 부분에서는 살아남고 어떤 부분에서는 무너지며, 자기보다 훨씬 작은 모델을 상대로 가장 흥미롭게 무너진다. 이 글은 그 표를 한 줄씩 읽은 뒤, 표가 답할 수 없는 질문을 던진다. 모델이 실제로 청구서에 올라간 뒤 작업당 그 보조 맞추기에 얼마의 비용이 드는가.

주석 없이 읽는 여섯 개의 코딩 행

아래 내용은 모두 Thinking Machines가 발표와 함께 공개한 평가 표에서 가져온 것입니다. 이는 벤더가 직접 운영한 하네스입니다. 회사도 그렇게 밝히고 있으며, 코딩 관련 행에는 숨겨진 단위 테스트와 프로그램 기반 검사가 사용된다고 말합니다. 여기 있는 어떤 것도 독립적으로 재현되지 않았습니다. 이는 중요한데, 같은 표에는 Inkling 2 Small의 Artificial Analysis Intelligence Index가 30.6으로 표기되어 있는 반면, Artificial Analysis 자체의 실시간 페이지에는 31로 표기되어 있기 때문입니다. 이는 논쟁거리가 아니라 반올림 차이일 뿐이지만, 이 표가 실시간 게시판이 아니라 연구소가 채취한 스냅샷임을 알려줍니다.

비교 대상 중 가장 큰 오픈 웨이트 모델인 Kimi K3를 상대로는, 속도 주장이 무승부로 유지된다:

• FrontierCode v2.0 — Inkling 2 Small 25.4% 대 Kimi K3 17.3%.

• DeepSWE v1.1 — 72.1% 대 68.5%.

• SWE-bench Pro v2 (Hard) — 86.3% 대 88.2%.

• Vibe Code Bench v1.1 — 81.6% 대 85.0%.

• PostTrainBench v1.2 — 31.9% 대 31.5%.

• Terminal Bench Science v0.1 — 5.7% vs 8.1%.

각각 세 개의 행입니다. 토큰당 17B 파라미터를 실행하는 모델이 소모하는 연산량에서 10배 더 큰 모델과 맞먹으며, 그렇게 하는 지점이 보통은 분리되는 코딩 스펙트럼의 양 끝입니다. 바로 FrontierCode의 처음부터 작성하는 패치 벤치마크와 DeepSWE의 저장소 규모 에이전트형 벤치마크입니다. 무게를 둬야 할 것은 DeepSWE입니다. 이는 모델이 좋은 diff 하나를 만들어내는 것이 아니라 여러 도구 호출 전반에 걸쳐 계획을 일관되게 유지해야 하는 행이기 때문입니다.

DeepSeek V4.1 Flash 1017과 비교하면 상황이 역전되며, 이는 아키텍처보다 상업적으로 중요한 비교입니다. DeepSeek의 플래시 등급이 저렴하기 때문입니다. Inkling 2 Small은 두 모델이 모두 실행한 다섯 개 항목 중 네 개에서 뒤처졌습니다 — FrontierCode 25.4% 대 28.5%, DeepSWE 72.1% 대 77.0%, Vibe Code Bench 81.6% 대 87.7%, Terminal Bench Science 5.7% 대 12.9% — 그리고 PostTrainBench에서만 앞섰습니다, 31.9% 대 30.5%. DeepSeek에는 SWE-bench Pro 항목이 없는데, 이는 Thinking Machines에 불운합니다. 86.3%가 Inkling 2 Small의 최고 코딩 수치이며 승리했을 때 가장 설득력 있는 단일 항목이었을 것이기 때문입니다.

더 작은 모델은 그것이 따라가지 못하는 대상이다.

출시 자료에서 앞세우지 않는 비교 대상은 Claude Haiku 5.5이며, 이것이야말로 구매자를 망설이게 해야 하는 항목이다. Haiku는 Anthropic 라인업의 작고 저렴한 티어로, 594B 모델과는 전혀 다르며, 두 모델이 공유하는 다섯 개 코딩 항목 중 세 개에서 승리한다: FrontierCode 34.9% 대 25.4%, Vibe Code Bench 90.4% 대 81.6%, Terminal Bench Science 20.0% 대 5.7%로, 이 격차는 세 배가 넘는다.

Inkling 2 Small은 나머지 두 항목을 확실히 가져간다: DeepSWE 72.1% 대 59.9%, SWE-bench Pro 86.3% 대 52.9%. 함께 놓고 보면, 이 패턴은 크기와 전혀 무관하다. Haiku는 단일 산출물 — diff, UI, 완료까지 이끈 터미널 세션 — 에 점수를 주는 항목에서 이긴다. Inkling 2 Small은 모델이 여러 단계에 걸쳐 한 문제를 계속 풀면서 자신의 답을 개선해야 하는 항목에서 이긴다. Gemini 3.8 Flash와 비교하면 격차는 더 작다: Inkling은 FrontierCode, SWE-bench Pro, Vibe Code Bench를 가져가고, DeepSWE에서는 72.1% 대 73.8%로 아슬아슬하게 지며, Terminal Bench Science에서는 5.7% 대 10.0%로 크게 진다.

{{1}}발표에서 나온 한 가지 세부 사항은 리더보드를 읽는 사람이라면 누구나 기억해 둘 만하다.{{/1}} Thinking Machines는 Inkling 2 Small의 초기 체크포인트를 OpenCode에서 Fledge-Alpha라는 이름으로 테스트했다고 말한다. {{2}}출시 전에 코딩 게시판에서 본 Fledge-Alpha 점수는 가명으로 나온 이 모델이었으며, 완성된 모델이 아니었다.{{/2}}

네 번의 시도가 무엇을 사고, 18.5분이 무엇을 치르는가

PMPP-Hard는 69개 과제, 네 번의 독립적 시도, 10시간 예산으로 구성되며, 평균 해결 과제 수로 채점됩니다. Inkling 2 Small의 54.25는 좋지만 눈에 띌 정도는 아닙니다 — 63의 GPT-6 Astra, 60.5의 Kimi K3.1 Pro, 60의 Opus 5.5 뒤에 있고, 55.75의 Kimi K3, 55.25의 DeepSeek V4.1 Flash, 52.5의 GLM 5.3, 50.25의 Mistral Large 4 앞에 있습니다.

Pass@4가 64라는 점에서 이 숫자는 더 이상 평범하지 않습니다. 이 수치는 Opus 5.5의 64와 동률이며 Astra의 63과 Kimi K3.1 Pro의 63을 앞섭니다. 네 번의 기회를 주면 차트에서 가장 뛰어난 모델들과 같은 한계에 도달하지만, 한 번만 주면 거의 여섯 개 과제 뒤처집니다. 워크플로가 이미 여러 시도를 샘플링하고 테스트를 실행해 승자를 고른다면 중요한 격차는 작습니다. 한 번만 샘플링하고 바로 출시한다면 그 격차가 전부입니다.

동일한 비대칭성은 커널 자동 연구 차트에서도 나타나며, 그곳에서는 Inkling 2 Small에 유리하지 않습니다. 기준선 대비 최고 커널 속도 향상: Claude Opus 5.5 18.80×, GPT-6 Astra 10.26×, Inkling 2 Small 6.02×, DeepSeek V4.1 Flash 5.66×, GLM 5.3 5.03×, Mistral Large 4 3.43×. 같은 작업에서 최전선 모델의 속도 향상 대비 약 3분의 1 수준으로, 보조를 맞추기에는 거리가 멉니다.

그다음은 실제 경과 시간입니다. 공개된 모든 평가는 effort 0.99 — Thinking Machines가 xhigh라고 부르는 설정 —, temperature 1.0에서 실행되었습니다. 개발 하네스가 아닌 라이브 엔드포인트를 테스트하는 Artificial Analysis는 Intelligence Index 작업당 18.5분을 측정했으며, 이는 동종 모델 중앙값 7.0분과 대비됩니다. 또한 출력 토큰은 154M으로 중앙값 89.8M과 대비됩니다. 인덱스 작업당 비용은 $1.18로, 해당 보드의 29개 모델 중 27위입니다. 출력 속도는 초당 135토큰이며 첫 답변 토큰까지 34.15초로, 중앙값 11.57초와 대비됩니다. 이 모델은 토큰당 느린 것이 아닙니다. 오래 사고하고 그 과정에서 많은 양을 작성하기 때문에 느립니다.

17B 활성 수치가 실제로 효과를 발휘하는 곳

전문가 혼합(MoE) 모델은 활성 파라미터를 기준으로 과금되며, 이것이 이 아키텍처의 상업적 근거 전부입니다. Inkling 2 Small의 가격은 입력 토큰 100만 개당 $0.30, 출력 100만 개당 $1.00이며, 캐시된 입력은 90% 할인된 $0.03입니다. Artificial Analysis 기준으로 캐시 적중:입력:출력 비율이 7:2:1일 때 100만 개당 혼합 가격은 $0.18입니다. 해당 보드의 중앙값 모델은 입력 $0.24, 출력 $0.87을 청구하므로, Inkling 2 Small은 594B 모델이 아니라 중간 계층 모델처럼 가격이 책정됩니다.

훈련 구성이 이러한 강조점을 설명합니다. 코딩은 강화학습 롤아웃의 38.5%, 토큰의 65%를 차지했습니다 — 단일 최대 블록이었고, RL 동안 모델이 생성한 모든 것의 3분의 2 이상이었습니다. 비전은 롤아웃의 13.9%였지만 토큰의 3%에 불과했습니다. 이 모델이 그 밖에 무엇이든, 이 모델은 코드를 길게 작성하고 수정하도록 후속 훈련되었습니다.

정직한 계산은 토큰당이 아니라 성공한 시도당입니다. 인덱스 작업당 $1.18에 한계에 도달하려면 네 번의 시도가 필요한 Inkling 2 Small은 한 번에 거기에 도달하는 두 배 가격의 모델과는 다른 구매입니다. 어느 구성도 틀리지 않았습니다. 그것들은 당신의 지연 시간 예산과 맺는 서로 다른 계약입니다.

오늘 당신이 부를 수 있는 것과 부를 수 없는 것

Inkling 2 Small은 Tinker를 통해 추론 및 파인튜닝이 가능하며, 가중치는 비공개이고 별도의 두 번째 제공업체는 없습니다. Thinking Machines는 외부 안전성 테스트와 레드팀팅을 거친 후 "다음 주"에 Apache 2.0으로 전체 가중치를 공개할 계획이라고 밝혔으나, 2026년 11월 6일 현재까지 공개되지 않았습니다. 서버리스 엔드포인트는 256K 컨텍스트로 제공되며, 이는 모델이 처리하도록 훈련된 1M 창보다 좁습니다.

그것은 OrcaRouter에 없으며, 이 글은 그렇지 않은 척하지 않을 것입니다. OrcaRouter에 있는 것은 이 글에서 방금 살펴본 비교 세트의 대부분입니다 — Kimi K3, DeepSeek V4.1 Flash 1017, GLM-5.3 Flash, Gemini 3.8 Flash, MiMo V2.6 Pro — 하나의 키로 접근할 수 있는 범위는 200개 이상의 모델이며, 공급자 정가가 그대로 전달되고 마크업이 추가되지 않습니다. 이는 이 글에서 암시하는 바로 그 용도에 중요합니다: 17B-active MoE가 여러분의 저장소에 충분히 좋은지 알아보고 싶다면, 가장 저렴한 실험은 네 개의 계약을 체결하는 대신 한 번의 청구로 그 양쪽에 있는 모델에 대해 자체 평가를 실행하는 것입니다.

자동 장애 조치는 그 일의 나머지 절반입니다. 벤치마크 표는 14분쯤에 공급자 쪽에서 일시적 장애가 발생했을 때 긴 에이전트 실행이 살아남는지에 대해서는 아무것도 말해주지 않으며, DeepSWE에서 가장 비슷해 보이는 모델들이 바로 실제로 서로 바꿔가며 사용하게 될 모델들입니다.

이 해석을 바꿀 수 있는 세 가지가 있다. FrontierCode나 DeepSWE의 독립적인 재실행이다. 이 수치들은 연구소 자체 수치이고 SWE-bench Pro 행이 설득력 면에서 큰 역할을 하고 있기 때문이다. 가중치 공개다. Apache 2.0이라면 594B 모델을 자체 호스팅할 수 있게 되어 작업당 $1.18이라는 수치를 직접 통제할 수 있기 때문이다. 그리고 xhigh 아래로 공개된 어떤 등급이든 그렇다. 이 글의 모든 수치는 최대 노력으로 산출되었는데, 더 낮은 설정이 154M tokens의 일부만으로 대부분의 정확도를 얻는다면 비용 타당성은 개선되며 아직 아무도 그것을 입증하지 않았다.

한 키에 설정된 비교 세트

위 행들에서 Inkling 2 Small이 비교 대상으로 삼은 모델들은 두 가지 예외를 제외하면 오늘날 단일 엔드포인트에서 호출할 수 있는 모델입니다. 두 예외는 Tinker 전용인 Inkling 2 Small 자체와, OrcaRouter 카탈로그에 없는 Claude Haiku 5.5입니다. 표의 나머지는 다음과 같습니다: Inkling 2 Small이 비기는 오픈 웨이트 모델인 Kimi K3; 다섯 행 중 네 행에서 Inkling 2 Small이 뒤처지는 저렴한 모델인 DeepSeek V4.1 Flash 1017; Inkling 2 Small이 여유 있게 앞서는 소형 모델인 GLM-5.3 Flash; 그리고 Inkling 2 Small과 우열이 갈리는 중형 모델인 Gemini 3.8 Flash.

실행할 가치가 있는 것은 바로 그 세트입니다. 팀에게 흥미로운 질문은 17B-active 전문가 혼합 모델이 추상적으로 인상적인지가 아니라 — 위 표가 이미 그 답을 보여줍니다 — 여러분이 신경 쓰는 특정 저장소, 테스트 스위트, 커널에서 이미 프로덕션에 있는 모델을 능가하는지이기 때문입니다. 그것은 오직 여러분 자신의 평가만이 답할 수 있는 질문이며, 네 벤더에 걸쳐 답하는 것보다 하나의 키로 네 모델에 걸쳐 답하는 것이 훨씬 저렴합니다.

이번 출시가 입증하는 범위는 이에 대한 반응이 시사하는 것보다 좁다. 활성 파라미터가 17B인 594B 모델은 이제 코딩에서 가장 큰 오픈 웨이트 모델과 무승부를 기록하고, 지속적인 작업에 보상을 주는 두 행에서는 승리하며, 단일 산출물을 평가하는 세 행에서는 작은 폐쇄형 모델에 패한다. 이는 실질적인 결과이지만 최전선 결과는 아니다. 당신의 워크로드가 그 선의 어느 쪽에 있는지 알아내는 비용은 백만 토큰당 0.30달러와 1.00달러, 어려운 작업당 18.5분, 그리고 한 번 이상 샘플링하려는 의지다.