Веса Inkling 2 Small уже доступны: 394 ГБ, Apache 2.0 и счёт размером с ноду

Первый коммит с весами в репозитории Inkling 2 Small датирован 19:53 UTC 12 ноября 2026 года — за девять часов до написания этого текста. До этого модель представляла собой прайс-лист и таблицу бенчмарков: Thinking Machines Lab запустила её 5 ноября с закрытыми весами, эндпоинтом Tinker и заявленным намерением опубликовать контрольные точки под Apache 2.0 «на следующей неделе». Таким образом, самой модели восемь дней. Новое здесь то, что её теперь можно скачать, и это не маленький файл.

Два репозитория опубликованы. Основной чекпойнт занимает 393,5 ГБ и распределён по 36 файлам, 24 из которых — шарды safetensors. Вариант MXFP8 занимает 622,8 ГБ. Оба заявлены как Apache 2.0 в метаданных карточки модели. Это всё, что на данный момент содержит анонс, — карточка модели, репозитории и обновление в один абзац, добавленное к посту о запуске. Всё нижеследующее основано на этих первичных источниках, а также на двух кукбуках по обслуживанию, выпущенных вместе с ними; и стоит прямо сказать о том, чего всё ещё не хватает: внешнее тестирование безопасности, которое было заявленным предварительным условием для открытия этих весов, не опубликовано.

Что на самом деле содержится в скачанном файле?

Начните с размера, потому что именно он в первую очередь определяет, доступна ли вам эта модель в принципе. Схема со смешанной точностью почти точно объясняет это число, и это хороший признак того, что опубликованные цифры согласуются друг с другом, а не представляют собой маркетинговый текст.

• Разделение контрольной точки — эксперты NVFP4 в слоях с 0 по 39, эксперты MXFP8 в слоях с 40 по 47, согласно руководству SGLang.

• Прогнозируемый размер — усреднение 5,33 бита на параметр по разбиению 40/48 и 8/48 даёт 396 ГБ для 594 млрд параметров.

• Измеренный размер — 393,5 ГБ для основного репозитория, включая файлы токенизатора и конфигурации.

• Репозиторий MXFP8 — 622,8 ГБ, и индекс safetensors насчитывает 612,4 млрд сохранённых параметров против 383,1 млрд в основном репозитории, потому что упаковка весов экспертов в четыре бита уменьшает количество учитываемых элементов, а не самой модели.

В основе архитектуры лежит 48-слойный decoder-only трансформер с разреженным блоком feed-forward на основе смеси экспертов: 384 маршрутизируемых эксперта, 8 активных на токен, скрытая ширина 4 608, 48 голов внимания над 8 головами ключ-значение по 128 измерений каждая и словарь на 201 024 токена. Внимание гибридное, а не однородное — 40 из 48 слоёв используют скользящее окно на 1 024 токена, и только 8 являются глобальными, откуда и берётся бюджет длинного контекста. Визионная башня — это отдельный 23-слойный трансформер со скрытой шириной 1 024 и 16 головами, читающий патчи 20×20 пикселей с объединением 2×2, поэтому каждый токен изображения покрывает область 40×40 пикселей; в карточке запрашиваются изображения со стороной от 40 до 4 096 пикселей.

Кроме того, для спекулятивного декодирования прикручена голова многотокенного предсказания — пять слоёв, размер блока — 8, ранг Маркова — 256, а целевые слои — 5, 11, 17, 23, 29, 35, 41 и финальный блок. Это ровно те восемь слоёв глобального внимания, и именно эта деталь говорит о том, что драфт-голова проектировалась под гибридный стек, а не была добавлена постфактум. Thinking Machines называет получившийся декодер «DSpark».

Один организационный момент для тех, чья юридическая проверка требует документов: лицензия заявлена в метаданных карточки модели как Apache 2.0, а сама карточка ссылается на стандартный текст лицензии, но в дереве репозитория нет ни LICENSE, ни LICENSE.md, ни LICENSE.txt, ни NOTICE. Все четыре отсутствуют. Заявление действительно и однозначно; артефакта, который обычно ожидают найти юридические команды, там нет.

Список оборудования и где поставщик и руководство расходятся

Карточка модели задаёт нижнюю границу видеопамяти. Рецепты обслуживания задают топологию. Это не одно и то же число, и именно разрыв между ними — самое практичное, что есть на этой странице.

• NVFP4 primary — не менее 500 ГБ агрегированной VRAM; примеры карты — 2× B300 или 4× H200.

• Вариант MXFP8 — не менее 800 ГБ; примеры — 4× B300 или 8× H200.

• SGLang, топология на один GPU — GB200, GB300 и B300 при TP 4 / EP 4; B200 при TP 4 / EP 4, при этом для запаса по KV рекомендуется TP 8; H200 с NVFP4 при TP 8 / EP 8; MI350X и MI355X при TP 8 / EP 8; Vera Rubin при TP 4 / EP 4; TPU7x — 8 / 8 на хосте с четырьмя чипами.

• MXFP8 на B200 или GB200 — TP 8 / EP 8, примерно 151 ГБ весов на каждый GPU.

• Ограничение, лежащее в основе всего этого, — экспертный параллелизм должен быть равен тензорному параллелизму, поскольку масштабы активации экспертов NVFP4 охватывают всю входную ширину каждого эксперта и не могут быть шардированы по тензорному параллелизму.

Итак, пример с 4× H200 на карточке соответствует нижнему порогу в 500 ГБ, но это не та топология, которую валидирует справочник; H200 указана в конфигурации 8-way. Пороги по хранилищу и памяти подсказывают, поместится ли это. Они не говорят, запустится ли это, а для данного чекпоинта второе число вдвое больше первого на железе, которое есть у большинства. Если вы занимаетесь провижинингом, планируйте по рецепту, а не по нижнему порогу.

Путь AMD существует всего два дня и ещё не объединён.

Радар, который вывел этот материал на поверхность, зацепил пул-реквест с поддержкой AMD, а не релиз весов, и если честно описывать этот PR сам по себе, то это работа над движком — то, что новостью не является. Здесь это важно только потому, что он попал в ту же неделю, что и чекпоинты, и потому что это второй производитель чипов с образом контейнера.

{{1}}Пул-реквест{{/1}} добавляет поддержку gfx950 для MI350X и MI355X, построен поверх базового порта Inkling 2 Small. {{2}}Что он меняет:{{/2}} ядра ROCm находятся в отдельных модулях *_hip.py, доступных только под HIP, пути CUDA и NPU не затронуты, единый пул KV и prefill с полным графом становятся значениями по умолчанию при запуске, MegaMoE отклоняется, а не запускается, а квантование quick-reduce игнорируется, если только флаг окружения не разрешает его. gfx950 требуется, если только вторая переменная окружения не переопределяет это — то есть карты класса MI300 отклоняются при запуске, и автор PR говорит, что gfx942 «не запускался».

Измерения в PR, которые являются собственными и непроверенными данными автора: 426 модульных тестов проходят на одном MI350X, 98,0% на GSM8K-200 при сбалансированном уровне усилий и 97,5% с DSpark при длине принятия 4,04, а время на один выходной токен при 2048 входных и 512 выходных токенах составляет 5,15 мс в сбалансированном режиме против 2,10 мс с DSpark. Это соответствует примерно 194 и 476 выходным токенам в секунду в одном потоке на восьми ускорителях. При включённом AITer показатели точности становятся 97,5% и 96,5%.

Статус PR — черновик. CI по нему не запускался — базовое задание заблокировано из-за отсутствующей метки, и для проверяемого коммита не зафиксировано ни одного запуска AMD — а все перечисленные владельцы кода всё ещё ожидают проверки. Рассматривайте поддержку MI350X как то, что вы можете собрать из исходников на этой неделе, а не как то, что можно купить.

Отдавать его — значит использовать dev-образ, а не релиз.

Оба основных стека имеют поддержку с первого дня, но ни один из них ещё её не выпустил. SGLang прямо говорит, что поддержка пока не входит ни в один релиз, и указывает на сборки dev-inkling-2-small с отдельными образами для Hopper и Blackwell, Vera Rubin, MI35x и TPU7x. vLLM требует nightly или более новую версию либо образ vllm/vllm-openai:inkling-2-small. Это нормально для модели такого размера и настолько новой, но это меняет смысл слова «поддерживается»: вы отслеживаете ветку, и rebase может сломать ваше развёртывание.

Операционные детали, которые действительно выйдут боком:

• Контекст — конфигурация TP 4 в vLLM ограничена 262 144 токенами на одном шасси; для полного окна в 1 048 576 токенов требуется TP 8 на двух узлах. При TP 4 один запрос на 1M токенов требует 64,47 GiB KV-кэша, что превышает оставшийся объём памяти одного шасси.

• Спекулятивное декодирование — SGLang проверяет 8 токенов за шаг с помощью встроенной головы DSpark; эквивалентная настройка в vLLM задаёт 7 спекулятивных токенов с вероятностным драфтингом. В рецепте предупреждают, что при температуре 1.0 доля принятия падает на 15–25 %, если черновик строится жадно.

• Парсеры — для рассуждений используется inkling, для вызовов инструментов — inkling2, а SGLang автоматически выбирает оба, если они не заданы. Парсер вызовов инструментов в vLLM включается опционально, и в рецепте указано, что вызовы инструментов не проходили сквозное бенчмарк-тестирование, а только модульное тестирование.

• Разделение prefill/decode — проверено только в конфигурации 1P1D на лотке GB300 с четырьмя GPU, NVFP4, без MegaMoE, при этом статическая доля памяти принудительно снижена до 0,86, поскольку автоматическое значение 0,963 привело к нехватке памяти. Такая схема разделения не подходит для контрольной точки MXFP8.

• Дезагрегация энкодера — пока отсутствует в образах, и языковой сервер останавливается, если ни один работоспособный энкодер недоступен.

• Запас памяти — на 192-ГБ модулях B200 или GB200 при TP 4 ёмкость KV составляет примерно треть от того, что даёт лоток GB300; именно это, а не напечатанный на карте размер окна, является реальным ограничением параллелизма при длинном контексте.

На самой карточке модели также есть одно сообщение от сообщества, появившееся в первые часы после загрузки, под названием «Карты Hopper в настоящее время несовместимы с образом vllm». Ответа мейнтейнера не видно, и я не смог это воспроизвести, поэтому считайте это сигналом, а не выводом, и проверьте, прежде чем задействовать узел Hopper. На стороне SGLang H200 действительно указан в конфигурации 8-way, так что путь через Hopper не закрыт — просто это не тот путь, который описывает рецепт vLLM.

Во сколько обходится self-hosting и почему ответ редко сводится к цене

Причина скачать 394 ГБ — контроль, а не юнит-экономика, и арифметика быстро это проясняет.

На Tinker модель стоит $0,30 за миллион входных токенов, $0,03 за миллион кэшированных входных и $1,00 за миллион выходных при контексте 256K. Artificial Analysis измеряет 84 выходных токена в секунду и 67,71 секунды до первого токена ответа, при $1,18 за задачу индекса и 29,6 минуты на задачу, против 154 млн выходных токенов по всему набору и медианы среди аналогов в 89,8 млн. Именно количество токенов все и выдает: это модель, которая долго думает, прежде чем ответить, а при прайс-листовой цене за выходные токены один поток, работающий на полную мощность в течение часа, выдает около 302 000 токенов, или примерно на тридцать центов выходных токенов. Чтобы обойти узел, который стоит доллар в час, нужно поддерживать занятыми около четырех потоков; чтобы обойти узел за двадцать долларов в час, нужно шестьдесят шесть. Очень немногие оценочные нагрузки — и еще меньше агентных — поддерживают такую параллельность для модели с временем до первого токена 67 секунд.

Что вы получаете взамен, владея весами: полное окно в 1M на своих условиях, а не на уровне обслуживания Tinker с 256K, отсутствие бета-листа ожидания перед продакшеном, дообучение на собственном стеке, данные, которые никогда не покидают вашу сеть, и прогоны оценок, которые не тарифицируются по токенам. Чем вы жертвуете: рабочей релизной сборкой, восьмипутевой топологией, которую приходится покупать, а не арендовать, и стеком обслуживания, который теперь поддерживаете вы.

Такова честная картина этого решения, и именно здесь слой маршрутизации вписывается, не будучи обязанным делать вид, что он размещает у себя то, чего на самом деле нет. Inkling 2 Small отсутствует в каталоге OrcaRouter — мы проверили актуальный список моделей на этой неделе, и среди 215 моделей нет записи inkling — поэтому API-путь для этой модели остаётся на собственной платформе Tinker компании Thinking Machines и, согласно обновлению о запуске, у нескольких сторонних провайдеров инференса. Что более 200 моделей за одним ключом действительно дают вам, так это запасной вариант: вы можете запустить эксперимент с самостоятельным размещением на одном узле и держать продакшен на моделях, которые мы маршрутизируем, с автоматическим переключением при сбое, если эксперимент провалится, а на моделях, которые мы маршрутизируем, списочная цена провайдера передаётся без изменений. Когда второй и третий хостинг-провайдеры подхватят эти контрольные точки, резервный путь перестанет быть теоретическим — и вендорная привязка, которая в первую очередь и является главным аргументом за скачивание 394 ГБ, ослабнет.

Где это теперь находится, когда открыто

Балл не изменился, когда веса были опубликованы; изменилось то, что теперь модель входит в рейтинг, из которого ранее была исключена. В рейтинге открытых весов Artificial Analysis Inkling 2 Small занимает четвёртое место из 28 с индексом интеллекта 31 при медиане сравнительного набора 24.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 при максимальном усилии — 33.

• GLM-5.3 при максимальном усилии — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro и Ling 3.1 Flash 1019 — по 30 штук каждого.

• Mistral Large 4 при высоком уровне усилий — 26.

• Qwen3.8 27B при xhigh — 20.

Интересен в этом списке не верх. Все модели выше Inkling 2 Small — из китайской лаборатории, а лучшая модель с открытыми весами от некитайской лаборатории — Mistral Large 4 с результатом 26. Открытие этих весов сокращает этот конкретный разрыв с двадцати пунктов до пятнадцати и сдвигает верхнюю позицию некитайского столбца. Фронтир оно не затрагивает: лучшая открытая модель впереди с отрывом в пятнадцать пунктов, а закрытые модели находятся ещё дальше.

Собственная таблица оценок производителя длиннее и более приукрашена, и каждая цифра в ней получена Thinking Machines на собственном испытательном стенде при высоком уровне усилий — без воспроизведения, а значит, это потолок, а не ожидаемое значение. Строки, важные для агентной работы: SWE-bench Pro v2 Hard — 86,3%, DeepSWE v1.1 — 72,1%, Vibe Code Bench v1.1 — 81,6%, BrowseComp — 90,2% и DeepSearchQA — 90,9%, оба с компактированием, MCP Atlas — 85,4% full и 85,0% public, HLE — 44,1% text-only, FrontierCode v2.0 — 25,4%. Строка, которая даёт противоположный сигнал, — Terminal Bench Science с 5,7%: это низко в абсолютных значениях и согласуется с профилем длинного горизонта и длительного обдумывания, а не с широким заявлением о возможностях. Производитель указывает 30,6 для Intelligence Index, тогда как актуальная таблица показывает 31 — разница между снимками, а не спор.

Что изменило бы эту оценку?

Три вещи, в порядке их значимости.

Процесс обеспечения безопасности, который должен был стать условием для этого релиза, не был опубликован. В июльском посте Thinking Machines о безопасном пути к открытым весам описываются четыре внешние организации, проводившие тестирование перед развёртыванием Inkling первого поколения, а в посте о запуске от 5 ноября этот релиз связывался с «внешним тестированием безопасности и ред-тимингом». В обновлении от 12 ноября, объявляющем о весах, есть одно предложение и одна ссылка — на репозиторий Hugging Face — и нет ни результатов оценки, ни выводов ред-тиминга, ни пересмотра ранее озвученных условий. Это не значит, что тестирования не было. Это значит, что читатель не может его проверить, и организация с политикой закупок, требующая подтверждений, не найдёт их здесь.

Поддержка уровня релиза изменила бы то, кто может её внедрить. Сейчас выбор — это ветка разработки в SGLang, ночная сборка в vLLM или сборка пути AMD из исходников на основе неслитого черновика. Как только поддержка появится в тегированном релизе, модель станет вопросом развёртывания, а не инженерным проектом, а восьмипутевая топология перестанет быть исследовательской конфигурацией.

Независимое воспроизведение при настройках по умолчанию показало бы, чего 31 стоит на практике. Следить нужно за агентными строками: SWE-bench Pro с 86.3 и DeepSWE с 72.1 — это серьёзные заявки для модели с 17 млрд активных параметров, и получены они при максимальных усилиях. Сторонние прогоны при усилиях по умолчанию всегда дают более низкий результат. Вопрос в том, насколько ниже, и пока никто за пределами Thinking Machines на него не ответил.

Пока хотя бы один из них не появится, правильное описание Inkling 2 Small звучит на удивление точно: это чекпоинт под Apache 2.0, который можно скачать уже сегодня, который не поддерживается ни одним выпущенным стеком обслуживания, чьи самые сильные утверждения исходят от создавшей его лаборатории и чей лицензионный шлюз открылся без бумаг, которые должны были этому предшествовать. Это настоящий релиз и настоящий разрыв, и именно за этим разрывом стоит следить.