Ling-3.0-flash-base: тихий чекпойнт-релиз Ant Group — теперь официально

Лаборатория inclusionAI компании Ant Group загрузила Ling-3.0-flash-base и пять родственных контрольных точек на Hugging Face 11 августа 2026 года без какого-либо анонса, и в течение целой недели все шесть репозиториев оставались без единого скачивания — по-видимому, никто за пределами лаборатории этого не заметил. Затем, 19 августа, официальный аккаунт лаборатории публично представил коллекцию, и все карточки моделей в ней были обновлены в течение нескольких минут. Это материал о том, что нам известно на данный момент об этом релизе. Краткая версия: Ling-3.0-flash-base — это не чат-модель и не должна быть таковой. Это сырая базовая контрольная точка до выравнивания (pre-alignment) модели Ling-3.0-flash — модели на основе смеси экспертов (Mixture-of-Experts) со 124 млрд параметров и 5,1 млрд активных параметров, выпущенной под лицензией MIT для тех, кто хочет продолжить её обучение, а не использовать её для инференса.

Хронология: неделя тишины, затем объявление.

Последовательность важна, потому что она указывает, как читать всё остальное в этом материале. Все шесть репозиториев были созданы 11 августа, а веса для Ling-3.0-flash-base — объединённой контрольной точки, той, что дала название этой статье, — появились вместе с коммитом «первоначальный релиз модели» 12 августа. Никакого анонса — ни записи в блоге, ни поста в соцсетях — этому не сопутствовало. На момент исследования, неделю спустя, каждый из шести репозиториев по-прежнему не имел ни одного скачивания.

Эта тишина прервалась 19 августа. Официальный аккаунт Ant Ling публично анонсировал коллекцию контрольных точек, а карточки Hugging Face для всех шести репозиториев были обновлены в течение нескольких минут друг от друга — временные метки почти точно совпадают. Поэтому честная формулировка такова: веса были загружены тихо, объявление появилось на неделю позже, и всё, что сейчас можно узнать о релизе, исходит из самих карточек моделей плюс короткого репозитория с обучающими рецептами. Больше ничего независимо не подтверждено.

Что фактически было выпущено: шесть контрольных точек, три этапа обучения

InclusionAI описывает выпуск как «набор контрольных точек в процессе обучения» для серии Ling-3.0, самого эффективного на сегодняшний день семейства фундаментальных языковых моделей. Для каждого из двух наименьших размеров — Ling-3.0-tiny и Ling-3.0-flash — лаборатория опубликовала три контрольные точки, по одной на каждый этап обучения:

• Предобученные — Ling-3.0-flash-base-30T и Ling-3.0-tiny-base-30T: завершено крупномасштабное предварительное обучение; без промежуточного обучения, без слияния, без пост-обучения.

• Промежуточное обучение — Ling-3.0-flash-base-midtrain и Ling-3.0-tiny-base-midtrain: завершили этап промежуточного обучения; слияние контрольных точек и пост-обучение не проводились.

• Объединённые — Ling-3.0-flash-base и Ling-3.0-tiny-base: базовые контрольные точки, объединённые через WSM, полученные из промежуточно обученных весов и представляющие финальное базовое состояние перед пост-обучением.

Все шесть — это базовые чекпоинты. Ни один из них не прошел этап выравнивания — супервизируемая тонкая настройка, оптимизация предпочтений, RL — который превращает базовую модель в то, что можно предоставить пользователям. В карточке модели это сказано прямо: не рекомендуется для прямого развертывания чата для конечных пользователей, для критически важных с точки зрения безопасности приложений без дополнительного выравнивания и оценки, или для производственного использования без последующего обучения и валидации под конкретную задачу.

Что такое базовый чекпоинт — и почему важна особенность WSM

Если вы когда-либо использовали модели только через API, «базовая контрольная точка» может показаться меньшей или более старой версией уже знакомой вам модели. Но это не так. Базовая контрольная точка — это невыровненный файл весов нейронной сети, получаемый в результате предварительного обучения; поведение по следованию инструкциям и вызову инструментов, которое вы на самом деле используете, наслаивается на него позже. Публикация базовых контрольных точек — это способ, которым лаборатория передает исследовательскому сообществу исходный материал для собственного продолжения предварительного обучения, тонкой настройки, дистилляции и обучения с подкреплением (RL).

Что делает этот релиз более интересным, чем типичный дамп базовых весов, так это рецепт обучения, лежащий в его основе. InclusionAI использует технику, которую называет Warmup-Stable and Merge (WSM), и она заменяет обычное затухание скорости обучения в конце тренировки взвешенным слиянием контрольных точек. Простыми словами: вместо того чтобы позволять скорости обучения снижаться к завершению запуска, лаборатория обучает при стабильной скорости, сохраняет контрольные точки на финальном отрезке и объединяет их с обученными весами. Заявленные мотивы вендора из карточки модели:

• Поскольку отсутствует фаза затухания, чтобы «запечь» финальную смесь данных, полученная базовая модель лучше подходит для продолжения предварительного обучения и динамического расширения данных.

• Поскольку рецепт слияния можно исследовать офлайн, команда может сравнивать различные профили затухания, не перезапуская дорогостоящий обучающий прогон для каждого из них.

Этот второй пункт — то, что превращает релиз в исследовательский артефакт, а не в диковинку: весь смысл этих чекпоинтов в том, что они предназначены для дальнейшего обучения, и рецепт рассчитан на то, чтобы это выдерживать.

Что внутри Ling-3.0-flash-base

Архитектура идентична пост-обученной модели Ling-3.0-flash, которая уже должна быть знакома из более широкого освещения этой модели. Из карточки модели и config.json:

• Размер — 124B всего параметров по данным производителя (полный чекпоинт на диске, включая эмбеддинги, насчитывает примерно 127B на Hugging Face); при этом активируется 5.1B на токен.

• Sparsity — разреженная MoE с разреженностью 1/64: 512 маршрутизируемых экспертов, при этом для каждого токена активируются 8 маршрутизируемых экспертов и 1 общий эксперт.

• Внимание — нативная гибридно-линейная архитектура: 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в повторяющемся паттерне 5:1 на 42 слоях трансформера.

• Контекст — конфигурация содержит позиционное встраивание на 256K токенов (262,144), тот же собственный контекст, что и у пост-обученного аналога.

• Веса — BF16, поставляемые в виде 28 шардов safetensors (~255 ГБ на диске), с кастомным bailing_hybrid кодом моделирования, включённым в репозиторий.

• Лицензия — MIT, без оговорок о допустимом использовании.

Одно честное предостережение насчёт цифры размера: в карточке модели вендора указано "Total 124B", и именно эта цифра ходит повсюду — но общее количество параметров safetensors в репозитории составляет около 127.5B, если учитывать слой эмбеддингов. Показатель 124B — это сумма без эмбеддингов, и эти две цифры не противоречат друг другу; полезно знать, на какую именно вы смотрите, когда видите "127B" на боковой панели или в загрузчике.

Для чего это предназначено и для чего нет

Рекомендуемые варианты использования, указанные в карточке модели, однозначны:

• Продолженное предобучение

• Промежуточное обучение

• Контролируемая тонкая настройка для адаптации домена

• Оптимизация предпочтений и пост-обучение RL

• Исследование дистилляции

Исследования long-context и MoE систем

И его список «не рекомендуется как есть» столь же явен: прямое развертывание в чатах для конечных пользователей, критически важные для безопасности приложения без выравнивания, производственное использование без пост-обучения. Иными словами, это сырой материал для тех, кто обучает модели, а не модель, которую люди развертывают. Если вы не планируете ничего дообучать или обучать с нуля, вам здесь нечего скачивать — и в этом нет ничего плохого.

Другая половина истории — это бесшовно масштабируемая конструкция. InclusionAI утверждает, что Ling-3.0-tiny-base и Ling-3.0-flash-base используют один и тот же рецепт обучения, поэтому сообщество может сначала проверить стратегию продолженного предобучения или дообучения на маленькой контрольной точке — которая занимает гораздо меньше памяти GPU — а затем применить ту же проверенную стратегию к более крупной контрольной точке flash. Это осознанный выбор рабочего процесса, а не случайность логистики релиза, и это самое полезное свойство коллекции для тех, кто действительно хочет экспериментировать.

Аппаратная реальность и путь, который на самом деле хотят большинство людей

Никуда не деться от размера базовых весов flash. BF16 при ~255 ГБ означает необходимость серьёзного мульти-GPU узла (или оптимизированной по памяти обучающей конфигурации) ещё до начала работы; официальной FP8 или FP4 квантизации базового чекпоинта нет — имеющиеся в каталоге организации квантизованные варианты предназначены для пост-обученной модели. Примеры тонкой настройки находятся в inclusionAI/ling-cookbook — GitHub-репозитории, который явно находится в стадии разработки. Если продолжение предобучения не является фокусом вашей команды, базовые чекпоинты — не ваша отправная точка.

Большинство людей, читающих о семействе Ling-3.0, вообще не хотят базовую контрольную точку — они хотят модель, которая разговаривает. Это пост-обученная модельLing-3.0-flash, доступная через собственный API вендора и несколько сторонних платформ. Когда появляется такая быстрая, недавно выпущенная модель с открытыми весами, самый дешёвый способ оценить её в сравнении с вашим текущим стеком — запустить её бок о бок с тем, что вы уже используете, — и именно для этого нужен роутер: один API, один ключ и автоматический переход на резерв, чтобы сбой провайдера не прервал испытание. OrcaRouter подключается таким образом к 200+ моделям и передаёт расценки провайдеров напрямую с нулевой наценкой, так что цена, которую вы видите, — это цена самого провайдера, а вендорская доля в тот же день поступает на нашу сторону.

Что ещё не подтверждено

Поскольку этому релизу всего день с момента анонса, список неподтверждённого длинный, и его следует воспринимать как список задач, а не как критику:

• Независимые бенчмарки базового чекпойнта отсутствуют. В карточке модели встроена диаграмма бенчмарков вендора, где сравнивается Ling-3.0-flash-base с предварительно обученными аналогами по математике, программированию, рассуждению, многоязычным и длинноконтекстным наборам тестов — но это собственная оценка вендора, размещённая на внутреннем сервере изображений, без раздела о методологии и без воспроизведения третьими лицами.

• Пока нет воспроизведений сообществом. На момент проведения исследования все шесть репозиториев показали ноль загрузок и практически нулевую вовлеченность. Релиз слишком свежий, чтобы кто-то успел опубликовать независимый fine-tune или запуск продолженного предобучения на основе этих весов.

• Инструментарий находится на ранней стадии. Эта bailing_hybrid архитектура поставляется с собственным кодом моделирования, поэтому вы зависите от trust_remote_code или от фреймворка, который добавил поддержку. Поваренная книга по тонкой настройке — явно незавершённая работа.

• Само объявление скудно по содержанию. Публичное представление состоялось в виде ветки в X и карточек моделей; отдельного документа о запуске, описывающего обучающие данные, вычислительные ресурсы или точный рецепт смешивания, помимо того, что указано в карточках, не существует.

Напротив, дообученная родственная модель имеет независимую историю: Ling-3.0-flash отслеживается в Artificial Analysis с Индексом интеллекта 38 — показатель взят с лидерборда, а не от вендора. Ничего из этого пока нет для Ling-3.0-flash-base; базовый чекпоинт нигде не размещён, поэтому его нет ни в одном лидерборде. Оба артефакта находятся на совершенно разных стадиях проверки, и не стоит их смешивать.

Кто должен действовать сейчас

Три группы должны читать это по-разному:

• Исследователям, выполняющим продолженное предобучение, доменную SFT или дистилляцию — этот релиз для вас. Базовая контрольная точка WSM-merged специально создана для дальнейшего обучения, а рецепт «сначала tiny, затем flash» даёт дешёвый способ проверить подход перед масштабированием. Начните с Ling-3.0-tiny-base, подтвердите рецепт, затем переходите к Ling-3.0-flash-base.

• Инженерам, которым нужна рабочая модель — вам нужна пост-обученная Ling-3.0-flash, а не этот выпуск. Базовые контрольные точки не будут следовать инструкциям и нигде не предоставляются; не подключайте к ним API-клиент.

• Все остальные — полезный ход — наблюдать. Интересными сигналами в ближайшие несколько недель станут первое независимое дообучение на основе этих весов, воспроизведение сообществом вендорской бенчмарк-диаграммы, а также то, добавит ли сторонний стек обучения первоклассную поддержку для bailing_hybrid архитектуры.

Часто задаваемые вопросы

В чем разница между Ling-3.0-flash-base и Ling-3.0-flash?

Ling-3.0-flash — это модель, прошедшая пост-обучение: она согласована с помощью контролируемой тонкой настройки и RL, следует инструкциям, поддерживает вызов инструментов и предоставляется через API. Ling-3.0-flash-base — это та же архитектура на более раннем этапе: это финальная объединённая базовая контрольная точка перед любым пост-обучением, и она не будет вести себя как чат-модель. Базовая версия существует для того, чтобы исследователи могли проводить собственное продолженное предобучение, тонкую настройку или дистилляцию, а не начинать с нуля.

Почему лаборатория выпускает чекпойнты, которые не прошли пост-обучение?

Поскольку пост-обучение — это именно то, что большинство исследователей хотят делать самостоятельно, а базовая контрольная точка является правильной отправной точкой для этого. Раздельный выпуск предобученных, промежуточно обученных и объединённых контрольных точек означает, что команда может выбрать этап, соответствующий её работе: продолжить предобучение с предобученных весов или выполнить тонкую настройку и RL с объединённой базы — и, благодаря WSM, без ограничений на затухание скорости обучения, которые делают базовую модель нестабильной при дальнейшем обучении.

Можно ли запустить Ling-3.0-flash-base на потребительском оборудовании?

Практически нет. Веса BF16 занимают примерно 255 ГБ и распределены по 28 шардам, при этом у базового чекпоинта нет официальной квантизированной версии. Меньший собрат, Ling-3.0-tiny-base, предназначен как раз для экспериментов на более скромном оборудовании — и он использует тот же рецепт обучения, что и flash-чекпоинт, так что проверенные эксперименты легко масштабируются.

Можно ли использовать Ling-3.0-flash-base в коммерческих целях бесплатно?

Да — он выпущен под лицензией MIT без оговорки о допустимом использовании. Это покрывает как исследовательское использование, так и, в принципе, коммерческое использование весов и любых дообученных моделей, созданных на их основе. Это базовый чекпоинт, поэтому «использование» здесь означает обучение на нём; в лицензии ничего не сказано о размещённом API, потому что для базовой модели такого API не существует.

Итог

Для большинства читателей Ling-3.0-flash-base — это указатель, а не продукт: он показывает, в каком направлении движется семейство Ling-3.0 и как лаборатория рассчитывает, что сообщество будет строить на его основе, но здесь нет ничего, что можно было бы вызывать через API. Для меньшей группы, которая на самом деле занимается продолженным предварительным обучением, тонкой настройкой или дистилляцией, это действительно полезный релиз — шесть контрольных точек под лицензией MIT, специально разработанных для дальнейшего обучения, с путём «сначала маленькое», который делает эксперименты доступными. Что перевело бы его из «полезного релиза» в «проверенный рецепт» — это именно то, чего сегодня не хватает: независимое воспроизведение кем-то вне лаборатории того, что могут сделать контрольные точки WSM, когда кто-то продолжает их обучать.