
Inkling 2 Mini, 20GB로 출시: 루프로 사고하는 20GB 모델
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 183 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 568 tok/s
- AlibabaNEWQwen: Qwen4 Max2026-11-16$1.50 / $4.50 100만 토큰당 · 385 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 84 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 121 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 107 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 214 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
체크포인트는 약 20GB이고, 그 숫자가 논거다. Inkling 2 Mini는 토큰당 34억 개 파라미터가 활성화되는 264억 파라미터 전문가 혼합 모델로, Thinking Machines Lab이 2026년 11월 20일 Apache 2.0 라이선스로 공개했으며, 단일 다운로드로 32GB 통합 메모리를 갖춘 Mac이나 단일 NVIDIA DGX Spark에서 실행된다. 같은 날 Artificial Analysis는 이 모델의 속도를 측정하고 점수를 매겼다: Intelligence Index v5.0.1에서 20.1, 입력 토큰 100만 개당 $0.15와 출력 토큰 100만 개당 $0.50, 인덱스 작업 하나를 완료하는 데 $0.59, 초당 출력 토큰 280개. 흥미로운 부분은 점수가 아니다. 이 모델이 더 많은 파라미터를 저장하는 대신 동일한 12개 레이어를 세 번 실행하여 그 점수에 도달한다는 점이며, 이것이 26B 체크포인트가 노트북이 가진 것보다 더 많은 메모리를 필요로 하지 않으면서 더 큰 모델처럼 동작하게 만드는 이유다.
두 종류의 숫자를 부주의하게 섞으면 그 릴리스는 깔끔한 승리처럼 읽힌다. 그러나 둘을 분리해 두면 훨씬 더 구체적인 무언가로 읽히며, 이것이 바로 이 글에서 하려는 일이다. 인덱스, 작업당 비용, 속도, 장황도, 라이선스는 2026년 11월 21일에 읽은 Artificial Analysis 측정값과 메타데이터다. 아래쪽의 모든 코딩 및 추론 행은 Thinking Machines가 자체 학습한 체크포인트에 자사 하네스를 적용한 결과이며, 해당되는 곳에 그렇게 밝혀 두었다. 연구소 외부에서 그 행들을 재현한 사람은 아무도 없다.
Thinking Machines이 게시한 것
이번 릴리스는 가중치 우선이다. Hugging Face 저장소는 11월 17일에 생성되어 20일에 마지막으로 수정되었는데, 이는 깜짝 공개라기보다 단계적으로 올린 체크포인트의 모습이며, 모델 카드에는 릴리스 날짜로 2026년 11월 20일이 명시되어 있다. 주목할 만한 실제 라이선스 파일 상황이 있다. 카드 메타데이터에는 Apache 2.0이 선언되어 있고 저장소 태그에도 동일하게 표시되어 있으므로, 이는 11월 5일에 Inkling 2 Small이 선보였던, 허용적 라이선스를 약속만 하던 릴리스와 달리 실제 허용적 라이선스 릴리스다.
• 매개변수 — 총 26.4B, 활성 3.4B, 루프를 계산에 포함하면 토큰당 유효 가중치 활성화 5.4B; Thinking Machines는 추가 루프 패스마다 활성 매개변수가 약 1.0B 더 많다고 본다.
• 풋프린트 — 약 20GB 규모의 체크포인트 하나로, 20개 레이어는 NVFP4, 4개 레이어는 MXFP8이며, 사후에 양자화하는 대신 학습 당시의 정밀도 그대로 제공됩니다.
• 모달리티 — 텍스트와 이미지는 비전 트랜스포머를 거쳐 공유 은닉 공간으로 투영되어 입력되고, 텍스트는 출력됩니다.
• 컨텍스트 — 모델 카드에는 최대 1M 토큰이라고 명시되어 있고, Artificial Analysis는 1M으로 기록합니다.
• 서빙 — Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth 및 llama.cpp GGUFs, Llama App, 그리고 Apple 실리콘에서의 Ollama 및 Exo Labs. Miles 및 SkyRL용 포스트 트레이닝 레시피가 있습니다.
• 호스팅됨 — 추론 및 커스터마이징을 위한 {{1}}Tinker{{/1}}, 플레이그라운드 포함. 이는 공급업체 자체 엔드포인트이자 유일한 엔드포인트입니다. {{2}}Inkling 2 Mini{{/2}}는 OrcaRouter에 없으며, 아래의 어떤 내용도 그와 다르게 암시하지 않습니다.
함께 제공되는 컴패니언 모델이 있습니다. TML-d24-varloop-research는 동일한 아키텍처로, 1회에서 5회 사이의 루프 패스를 받아들이도록 훈련되었으며, 연구자들이 프로덕션 모델이 3회로 고정한 깊이를 바꿔볼 수 있도록 존재합니다. 이 모델 역시 Hugging Face에 있으며, 이번 릴리스의 모니터링 가능성 연구 대부분이 이 모델을 대상으로 이루어졌습니다.

루프가 곧 제품이다
Inkling 2 Mini는 희소 전문가 혼합(mixture-of-experts) 피드포워드 층을 갖춘 24개 층의 디코더 전용 트랜스포머이며, 6개 층씩 네 블록으로 나뉩니다. 첫 번째 블록은 한 번 실행되고, 마지막 블록은 한 번 실행되며, 가운데 두 블록 — 12개 층 — 은 공유 가중치로 세 번 실행됩니다. 따라서 토큰은 24개 층 분량의 저장된 가중치에서 가져온 48번의 층 적용을 거칩니다.
반복은 복사가 아니다. 중간 블록들을 통과하는 각 패스는 프렐류드의 출력을 읽으며, 두 번째와 세 번째 패스는 또한 Thinking Machines가 메시지라고 부르는 것, 즉 학습된 게이트를 통해 병합된, 이전 패스에서 중간 블록들 자체가 낸 출력을 읽는다. 그 게이트는 처음에는 메시지를 완전히 차단하므로, 학습은 평범한 비루프 모델로 시작되고 메시지에 대한 게인은 시간이 지나면서 높아진다. 이는 학습 안정성 트릭이며, 루프를 처음부터 학습하는 대신 학습 중간에 추가할 수 있는 이유이기도 하다.
어느 레이어를 반복할지는 임의적이지 않았다. 회사는 중간 12개 레이어를 반복하는 것과 마지막 12개 레이어를 반복하는 것을 28개 평가에서 비교했고, 그중 27개에서 중간이 이겼으며, 동일 연산량 기준 이득은 1.51–1.91배 대 1.24–1.36배였다. 여기서 얻는 직관은 초기와 후기 레이어는 토큰과 내부 표현 사이를 변환하느라 바쁘고, 중간 레이어는 더 많은 직렬 단계에서 이득을 보는 추상적 추론을 담당한다는 것이다.
전문가들은 설계된 것이 아니라 가지치기되었다. 훈련은 희소도 48에서 시작되어 각 토큰을 384개 전문가 중 8개로 라우팅했다. 중간 훈련 중 어느 시점에 회사는 레이어당 가장 많이 사용된 128개 전문가를 유지하고, 더 큰 내부 Inkling 모델에서 증류한 1T 토큰으로 손상을 복구한 뒤, 2,000단계에 걸쳐 총 2.2T 토큰으로 SFT와 RL 단계를 실행했다. 이는 Inkling 2 Small과 동일한 사후 훈련 믹스이며, 두 모델의 강점이 같은 지점에 놓이는 이유다.
스물, 그리고 그 밑에 있는 것
헤드라인 점수는 실제이며 독립적으로 측정된 값이고, 동시에 이 지수가 유용하게 구분해 낼 수 있는 하한에 가깝기도 합니다. Artificial Analysis는 오픈 웨이트 보드에서 20을 해당 모델의 비교 클래스 기준으로 평균을 크게 웃도는 점수로 평가하는데, 그 보드의 중앙값은 10입니다. 그러나 {{1}}20{{/1}} 바로 주변의 대역은 {{2}}위아래 1점 차이{{/2}}의 모델들로 빽빽하며, 이 지수는 모델들을 {{3}}그렇게 세밀하게{{/3}} 정렬하지는 않습니다. 점수 20은 {{4}}모델이 기준을 넘어선다{{/4}}는 뜻이지, 그 주변 1점 이내의 모든 모델을 앞선다는 뜻은 아닙니다.
점수가 실제로 뒷받침하는 것은 이 정도 규모의 모델에 중요한 포지셔닝이다. 출시 보도에서 내세운 파레토 주장, 즉 활성 파라미터당 프런티어 지능이라는 주장은 Artificial Analysis 자체 요약이 뒷받침하는 것으로, 이 모델을 동급 규모에서 지능이 선도적인 모델 중 하나로 평가하고 비슷한 크기의 다른 오픈 웨이트 모델과 비교해 합리적인 가격이라고 말한다. 이 모델이 그 지점에 도달하는 것은 루프 덕분인데, 루프는 파라미터를 늘리지 않고 직렬 연산을 확보하며, 이 주장은 모델이 무언가를 풀어내는 대신 무언가를 알고 있기를 요구하는 순간 성립하지 않는다.
비용과 속도 항목은 이번 릴리스가 가장 강해 보이는 부분이다. 입력 $0.15, 출력 $0.50으로 추론 등급의 최저 가격대에 책정되어 있으며, 인덱스 작업당 $0.59는 같은 점수대의 27B dense 모델 비용의 4분의 1이다. 에이전트 루프에서 드러나는 두 가지 측면에서 빠르다: 첫 답변 토큰까지 9.72초, 초당 출력 토큰 280개다. 이를 상쇄하는 약점은 장황함이다 — 인덱스 실행을 완료하는 데 출력 토큰 161M을 사용했으며, 이는 동종 모델 중앙값 85.7M와 대비되며 같은 등급의 일반적인 모델 출력의 약 1.9배다. 토큰당 청구 기준으로는 괜찮다. 고정 토큰 예산에서는 약 절반의 작업을 하게 된다는 뜻이다.

코딩 행, 공급업체 보고
Thinking Machines가 공개한 표는 그 주장에서 가장 강력한 부분이며, 전적으로 자사 자료다. 이는 벤더 하네스에서 나온 재현되지 않은 수치들이고, 그중 몇몇은 중립적인 하네스가 아니라 회사 자체 에이전트 스캐폴드로 실행된 것이므로, 해당 연구소가 학습시킨 체크포인트에 관한 주장으로 읽어야 한다.
• SWE-bench Verified — 79.2%, bash만 사용.
• SWE-bench Pro v2, 고난도 — 77.9%.
• SWE-bench Multilingual — 73.7%.
• DeepSWE v1.1 — 48.2%, Qwen3.8-27B에 대해 보고된 42.2% 대비.
• Terminal Bench v2.1 — 71.6%로 Qwen3.8-27B의 73.0%에 뒤처짐; Terminal Bench v4.0에서는 둘 다 5.6%를 기록.
• FrontierCode v2.0 — 15.1%, Qwen3.8-27B의 14.9%에 비해.
• 에이전틱 검색 및 도구 — BrowseComp 79.0%, DeepSearchQA 85.3%, MCP Atlas 82.7%로, 각각 같은 표의 Qwen3.8-27B 수치를 상회합니다.
• 비전 및 문서 — MMMU Pro 74.9%, OmniDocBench v1.6 92.8%, ScreenSpot Pro 일반 76.5%, Python 도구 사용 시 87.7%.
• 추론 — HLE-Diamond 15.2%, CritPt v2 31.4%, ARC-AGI v1에서 84.5%, v2에서 49.3%, LongBench v2 66.9%.
그 표의 형태는 아키텍처와 일치하며, 이번 릴리스에서 가장 유용한 부분이다. 모델이 강해 보이는 행은 장기 지평에서의 지속성과 도구 사용에 보상을 주는 행들이다: 검색, 저장소 규모 패칭, 문서 파싱. 평범해 보이는 행은 단일한 정확한 회상이나 어려운 과학적 추론을 필요로 하는 행들이다. 루핑은 직렬 단계를 추가한다. 저장된 사실을 추가하지는 않는다.
루핑은 추론을 얻을 뿐, 사실을 얻지는 못한다
그 구분은 이번 릴리스 자체의 논지이며, 회사는 이를 주장만 하지 않고 검증한다. 사실성 벤치마크인 AA-Omniscience에서 벤더 표는 Inkling 2 Mini에 대해 비환각률 63.4%와 함께 −8.6을 표기한다. 그곳에서 음수 점수는 해당 모델이 답변을 거부하는 것보다 worse하다는 뜻이다. 즉, 자신 있게 오류를 생성한다. 회사의 설명은 지식 격차가 동일한 총 크기의 다른 모델들과 비슷한 수준이며, 모델이 검색을 잘함으로써 이를 보완한다는 것이다. 이는 BrowseComp와 DeepSearchQA 행이 정확히 보여주는 바이고, 이 모델에 대한 정직한 요약이 "찾는 데는 강하고 기억하는 데는 약하다"인 정확한 이유다.
가변 루프 동반 모델은 이 점을 더 선명하게 보여준다. 추론을 적어 내려가지 않고 50% 신뢰도로 작업을 완료할 수 있는 시간 지평인 no-chain-of-thought 시간 지평은 한 번의 패스에서 16초, 세 번의 패스에서 37초로 늘어난 뒤 평평해지는 반면, N-Hop 조회 작업에서의 직렬 추론은 학습 당시 깊이의 두 배인 열 번의 패스까지 계속 향상된다. 이득은 다중 홉 검색, 수학 및 과학 추론, 장기 지평 에이전트 작업에 집중된다. 폐쇄형 사실 QA는 거의 변하지 않는다.
모니터링 가능성 결과는 연구자들이 가장 관심을 가질 부분이다. 왜냐하면 그것이 루프 모델에 대한 반론이기 때문이다. 모델이 한 토큰 안에서 더 많은 계산을 수행하면, 가시적인 사고의 연쇄에는 더 적은 추론이 나타나고, 사고의 연쇄 모니터는 더 적게 본다. Thinking Machines는 이를 측정했고 이 규모에서는 그 효과가 우려했던 것보다 작다는 것을 발견했다. 가변 루프 모델의 추론은 5패스에서 1패스 때보다 길이가 절반 미만이었으며(평균 1,661 대 3,703 토큰), 문장 길이와 사전 단어 비중은 변하지 않았다. 이는 덜 읽히는 추론이라기보다 더 직접적인 추론으로 해석된다. LinuxArena 스텔스 평가에서 Inkling 2 Mini는 3.9%로 Qwen3.8-27B의 20.5%보다 훨씬 낮다. 그중 어느 것도 보장은 아니다 — 이는 이전에 누구도 다운로드 가능한 가중치를 가져본 적 없는 아키텍처 계열에 대한 첫 측정이며, 회사는 다른 이들이 확인할 수 있도록 모델을 공개한 측면도 있다고 분명히 밝힌다.
운영하는 데 드는 비용
셀프 호스팅은 광고된 방식이며 계산은 간단하다. 이미 보유한 머신에 있는 20GB 체크포인트는 한계 토큰 비용이 전혀 없으며, 벤더 자체의 효율성 연구 — 스탠퍼드의 Hazy Research와 Scaling Intelligence 연구소가 얼리 액세스에서 MXFP8과 낮은 추론 노력으로 수행한 — 에 따르면 DGX Spark에서 와트당 지능 0.703으로, Qwen3.6-35B-A3B의 0.430, Gemma 4 26B-A4B의 0.159와 대비된다. 이는 단일 장치에서 나온 벤더에 가까운 결과이지 플릿 측정은 아니지만, 그 방향성은 결코 미묘하지 않다.
직접 실행하는 것에 반대하는 솔직한 근거는 루프형 아키텍처의 서빙 성숙도가 대략 하루에 불과하다는 점입니다. SGLang, vLLM 등은 지원을 나열하고, 모델 카드도 루프 모델 런타임 지원은 새로운 편이며 속도가 달라진다고 그 자체 문구로 경고합니다. 자신의 장비에서 측정한 처리량은 어떤 엔진을 선택했는지와 그 커널이 얼마나 최신인지에 따라 달라지며, 이는 이 모델의 다른 어떤 요소보다 빠르게 바뀔 것입니다.
여기서 라우터가 제 역할을 하는 지점은 Mini를 서비스하는 데 있지 않습니다. 우리는 Mini를 호스팅하지 않습니다. 그것은 Mini 주변에 무엇을 두느냐에 있습니다. 검증되지 않은 아키텍처에 대한 평가가 사용자와 오류 페이지 사이의 유일한 것이어서는 안 되며, 이를 배열하는 방법은 Mini가 곁에서 실행되는 동안 프로덕션 경로에는 신뢰하는 모델을 호출하는 것입니다. Qwen3.8-Flash는 OrcaRouter에서 100만 입력 토큰당 $0.15, 100만 출력 토큰당 $0.47에 제공되며, 공급자의 정가가 마크업 없이 그대로 전달됩니다. 또한 라우팅 DSL과 자동 장애 조치를 통해 Mini가 우리가 접근할 수 있는 엔드포인트에 도달하는 날 Mini를 그 뒤에 둘 수 있습니다. 키 하나로 그 실험의 양쪽을 모두 커버할 수 있다는 것이 이 주장의 전부입니다.

주목할 네 가지
첫 번째는 독립적 재현입니다. Artificial Analysis에는 지수, 비용, 속도, 장황함이 측정되어 있지만, 코딩 표는 연구소의 것입니다. Thinking Machines 외부의 누군가가 공개 가중치에서 SWE-bench Pro v2 또는 DeepSWE를 실행하기 전까지는 77.9%와 48.2%는 주장일 뿐입니다.
두 번째는 Tinker 외에 호스팅된 엔드포인트가 등장하는지 여부다. 20GB Apache 2.0 체크포인트는 제3자 제공업체들이 빠르게 확보하는 바로 그런 유형의 산출물이며, 작업당 $0.59가 지속 가능해 보이게 만들 가격 경쟁은 두 번째 판매자가 등장해야만 시작된다.
세 번째는 루프 자체입니다. 파일럿이 작동한다면 이 기법은 이식 가능합니다. 중간 계층을 세 번 통과하고, 메시지를 병합하는 게이트가 있으며, 추가 파라미터는 없습니다. 이 분야의 모든 소형 모델 레시피가 그 후보가 되며, 흥미로운 질문은 이 모델이 20점을 받는지 여부가 아니라 다음 모델이 동일한 메모리로 24점을 받는지 여부가 됩니다.
네 번째는 이번 출시가 해결하지 못하는 부분이다. 루프형 모델은 추론을 가시적인 사고의 연쇄에서 꺼내 순전파로 옮긴다. Thinking Machines는 54억 활성 파라미터에서 의미 있는 모니터링 가능성 손실을 발견하지 못했다. 아무도 500억 규모에서 동일한 측정을 공개하지 않았다. 그것이 이번 릴리스가 비로소 물을 수 있게 해 주는 질문이며, 점수보다 20GB 다운로드에 관심을 가질 더 나은 이유다.
이번 주에 결정하려는 사람이라면 선택은 명확하다. 이미 가지고 있는 하드웨어에서 오프라인으로 실행되는 유능한 에이전트형 코더를 원하고, 그것을 샌드박스에 넣고 신뢰하기 전에 사실 기억력을 테스트할 의향이 있다면, Inkling 2 Mini는 지금 구할 수 있는 가장 흥미로운 소형 모델이며, 시험해 보는 비용은 다운로드 하나뿐이다. 뒤에 검색 레이어 없이 고객에게 바로 내놓을 수 있는 답이 필요하다면, 이 모델은 그런 모델이 아니며, 인덱스에서의 20점이 그렇게 만들어 주지도 않을 것이다.
