Ling-3.1-flash-1019 теперь имеет открытый исходный код: 574 ГБ, MIT и проверка реальности на 256K

В 05:46 UTC 27 октября команда Ling в Ant Group создала репозиторий Hugging Face под названием Ling-3.1-flash-1019 и заполнила его 54 шардами safetensors общим объёмом 573,8 ГБ по лицензии MIT. Рядом с ним находится Ling-3.1-flash-base, контрольная точка BF16 объёмом 1,14 ТБ, предназначенная для дальнейшего обучения, а за обоими находится Ling-3.1-flash, модель, для которой эта сборка — версия после дообучения. Пятью днями ранее Ant опубликовала лишь показатель: 44 балла в Artificial Analysis Intelligence Index v4.3.2, что выше 41, пообещав веса и API. Сегодня у обещания есть список файлов, и поэтому сегодня впервые любой за пределами оценочного конвейера Ant может проверить это число, а не просто прочитать его.

Этот разрыв — и есть суть истории, и он работает в обе стороны. Лаборатория, которая объявляет результат бенчмарка до того, как выпускает артефакт, просит верить ей на слово; лаборатория, которая затем выпускает артефакт пять дней спустя — размером 574 ГБ и под разрешительной лицензией, — по крайней мере дала средства, чтобы с ней не согласиться. Интересные вопросы теперь не о баллах. Они о том, что внутри загрузки, во сколько обходится обслуживание и действительно ли контекст в 1M токенов на карточке модели — это тот контекст, который вы получаете.

Что на самом деле находится в репозитории

Репозиторий 1019 — это не тонкий адаптер и не дельта. Это полный чекпоинт: 54 файла весов размером примерно 10,7 ГБ каждый, токенизатор, шаблон чата и пользовательский код моделирования (BailingMoeV3ForCausalLM), который требует trust_remote_code. В поставляемой конфигурации объявлена схема квантования FP8 (E4M3, блочное масштабирование 128×128) поверх гибридно-линейной архитектуры MoE, которую линейка Ling использует с версии 3.1:

• Общее и активное число параметров — 560B всего, 25B активных на токен, те же показатели, что и у Ling-3.1-flash.

• Слои — всего 72: 63 слоя линейного внимания KDA и 9 слоёв MLA с гейтированием в соотношении 7:1, а также 4 плотных слоя.

• Эксперты — 512 маршрутизированных, 8 активируются на токен, 1 общий.

• Словарь — 157 184 токена; размер скрытого слоя — 4 096.

• Объём — 573.8 ГБ safetensors в 54 шардах, по нашим подсчётам, согласно списку файлов репозитория на 27 октября.

Базовая модель — это артефакт иного рода. Ling-3.1-flash-base была создана 25 октября и содержит 121 файл и 1,14 ТБ весов BF16 — примерно вдвое больше размера выровненного чекпоинта, поскольку она не квантована в FP8. В её карточке она описывается как базовый чекпоинт Ling-3.1-flash для продолженного предобучения, доменной адаптации и исследований по постобучению, и там прямо сказано, что она не предназначена для прямого использования в чате или в критически важных для безопасности целях без выравнивания. Оба репозитория имеют метку MIT.

44, и часть, которую Ant не измерил

Artificial Analysis указывает Ling-3.1-flash-1019 с результатом 44 в своём Intelligence Index; на странице, которую мы прочитали сегодня, модель занимает четвёртое место среди 122 моделей, а на странице самой модели указано, что оценки были независимо измерены Artificial Analysis. Это самая сильная форма, которую этот показатель принимал до сих пор, и её стоит отделять от остальной части таблицы запуска.

Приросты по каждому бенчмарку взяты из собственной карточки модели Ant, а не из независимого повторного прогона: AA-Briefcase вырос примерно с 1400 до 1524 Elo, AutomationBench-AA — с 62% до 68%, CritPt — с 18% до 26%, SciCode — с 54% до 57%. Два из этих бенчмарков — AA-Briefcase и AutomationBench-AA — являются компонентами индекса Artificial Analysis, поэтому число индекса и таблица поставщика не являются независимыми доказательствами друг друга. Это одно и то же утверждение на двух уровнях детализации. Считайте 44 измеренным AA, а пары «до/после» — заявленными поставщиком, пока кто-нибудь не опубликует харнесс и seed.

Есть и вторая асимметрия. На момент измерения Artificial Analysis не зафиксировала ни одного публично доступного API для сборки 1019, и поле скорости вывода для этой модели до сих пор пустое. Поэтому сегодня бенчмарк можно воспроизвести, только скачав 574 ГБ и запустив его самостоятельно. Это не жалоба на релиз; это описание того, что меняет «открытость». До сегодняшнего дня никто не мог воспроизвести результат. После сегодняшнего дня это может сделать любой, у кого есть соответствующее оборудование.

Три очка покупаются за жетоны

Индекс — это показатель качества, а не эффективности, и аспект эффективности в этом релизе — самая нелестная его часть. Artificial Analysis замерила 350 млн выходных токенов для прогона 1019 против 220 млн для Ling-3.1-flash — примерно на 59% больше сгенерированных токенов для прохождения того же набора тестов — и ставит новую сборку на 48-е место из 48 по многословности, тогда как у медианной модели этот показатель составляет 140 млн. Стоимость прогона индекса для неё — $1,49 за задачу против $1,01 у предшественника.

Часть этого — арифметика, которую можно вывести из собственной тарифной сетки Ant. При $0,90 за миллион выходных токенов 350 млн токенов — это $315 выходных затрат против $198 за 220 млн, то есть разница в $117 ещё до учёта хотя бы одного входного токена или чтения из кэша. Для команды, которая бюджетирует по задачам, а не по токенам, «бесплатное» обновление чекпоинта ближе к увеличению счёта на 47% ради прироста индекса на три пункта. Хороша ли такая сделка, полностью зависит от того, во сколько вам обходится неудачная задача, а на этот вопрос не отвечает ни одна таблица лидеров.

Размер контекстного окна в конфигурации — 256K.

В карточке модели указан контекст в 1M токенов. В поставляемой конфигурации указано иное. Во всех трёх репозиториях — 1019, Ling-3.1-flash и базовом — config.json задаёт для max_position_embeddings значение 262 144, а для rope_scaling — null, при RoPE theta 6 000 000. Поэтому стандартная загрузка этих весов в SGLang или vLLM обслуживает 256K позиций, а не миллион, если только оператор не предоставит конфигурацию масштабирования, которой в репозитории нет.

Это наша интерпретация опубликованных конфигурационных файлов, а не заявление, сделанное Ant. Возможно, хостинговый Ling API применяет схему масштабирования на стороне сервера и действительно обслуживает 1M; открытые веса такую схему не содержат. Это также не новое расхождение — релиз Ling-3.1-flash от 15 октября содержал то же заявление о 1M при той же настройке 262 144. Всем, кто подбирает оборудование под рабочую нагрузку в миллион токенов, следует проверить потолок в собственном стеке, прежде чем фиксировать обязательства, потому что значение, которое имеет значение, — это то, которое принимает сервер, а не то, что указано во введении.

Сервинг: восемь H200, четыре GB300 и одна ловушка копипаста

Ant рекомендует SGLang и публикует day-0-образ lmsysorg/sglang:dev-ling-3.1-flash со спекулятивным декодированием MTP и оптимизациями декодирования Hopper. Документированная эталонная конфигурация — восемь GPU H200 при TP8 плюс EP8; для четырёх GB300 в карточке указано использовать --tp 4 --ep 4. Также включён рецепт vLLM с тензорным параллелизмом 8, экспертовым параллелизмом, кэшированием префиксов и тремя спекулятивными токенами. Утверждается, что два флага окружения — SGLANG_ENABLE_FP8_BLOCK_GEMV и SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT — обеспечивают примерно на 10% более быстрое декодирование при batch-1 на Hopper.

Объём объясняет конфигурацию оборудования. При 573,8 ГБ весов в FP8 контрольная точка оставляет около 550 ГБ запаса на восьми H200 (1 128 ГБ HBM) и около 578 ГБ на четырёх GB300 (1 152 ГБ). Этого достаточно для весов и рабочего KV-кэша, но недостаточно, чтобы легкомысленно относиться к длинным контекстам.

В Quickstart есть ещё одна ловушка, о которой стоит предупредить: она может стоить кому-то целого дня. Собственная команда SGLang из карточки модели 1019 передаёт --model-path inclusionAI/Ling-3.1-flash, а её клиентский пример отправляет "model": "Ling-3.1-flash". Если выполнить рецепт дословно, загрузится предшественник с 41 баллом, а не сборка с 44 баллами. Явно укажите в пути inclusionAI/Ling-3.1-flash-1019 и зафиксируйте имя обслуживаемой модели, иначе ваш первый бенчмарк «1019» будет бенчмарком старого чекпоинта.

Для чего нужен Ling-3.1-flash-base — и чем он не является

Базовый релиз из этих двух важнее для всех, кто обучает модели, а не просто обращается к ним. Контрольная точка объёмом 1,14 ТБ в формате BF16 под лицензией MIT с той же архитектурой 560B/25B даёт лаборатории законную отправную точку для дальнейшего предобучения, доменной адаптации, дообучения с учителем, оптимизации предпочтений, экспериментов по дистилляции и исследований MoE с длинным контекстом — без необходимости начинать с чат-выровненной модели, поведение отказа которой пришлось бы отменять.

Чего она вам не даёт — так это рецепта для 44. В карточке базовая модель описана как базовый чекпойнт Ling-3.1-flash, а не как снимок сборки 1019 до посттренировки, и ни к одному из репозиториев не прилагаются данные посттренировки, набор предпочтений или конфигурация RL. Если вам нужна измеренная модель, скачайте измеренную модель. Если вы хотите собрать свою, базовая модель избавит вас от расходов на предтренировку, но не от работы по выравниванию — и разрыв между хорошо настроенной базой и лучшим посттренированным чекпойнтом вендора обычно шире, чем предполагает дельта индекса в три пункта.

Стоит ли вам брать 574 GB?

• Скачайте его, если вы уже эксплуатируете восемь H200 или четыре GB300, ваша рабочая нагрузка носит агентный или многоэтапный характер, а лицензия MIT устраняет юридическое препятствие, которое у вас действительно есть.

• Скачайте его, если вам нужно самостоятельно воспроизвести 44, — теперь это возможно, а 22 октября это было невозможно.

• Пропустите это, если вы рассчитывали на 1M контекста «из коробки»; сначала протестируйте конфигурацию 256K.

• Пропустите его, если ваша экономическая модель рассчитывается на задачу и чувствительна к задержкам. Увеличение числа токенов на 59% — это реальные затраты на пропускную способность, а независимых данных о скорости вывода для 1019 пока не существует.

• Начинайте с базовой модели, только если у вас есть пайплайн посттренировки. Это фундамент, а не короткий путь.

Честно о роли OrcaRouter здесь: мы не обслуживаем Ling-3.1-flash-1019. Что мы продаём — это другая сторона решения — один ключ к 200+ размещённым моделям по прайс-листу провайдера с наценкой 0%, поэтому на вопрос «превосходит ли 1019 то, что я уже использую», можно ответить, не подписывая отдельный договор для каждого базового варианта. Автоматическое переключение при сбое и DSL маршрутизации важны, когда вы уже выбрали победителя; они не помогают выбрать его.

Что посмотреть дальше

Три вещи решат, останется ли этот релиз актуальным надолго. Первая — независимая пропускная способность: у Artificial Analysis нет показателя скорости вывода для 1019, и первый сторонний провайдер, опубликующий токены в секунду, расскажет вам больше о пригодности для продакшена, чем ещё один балл индекса. Вторая — появится ли конфигурация масштабирования для контекста 1M в репозитории или в SGLang cookbook; пока этого не произойдёт, заявленное число в карточке остаётся обещанием, под которым лежит реализация на 256K. Третья — что сообщество сделает с базовой моделью: дообученная версия, превосходящая 44 в узкой предметной области, стала бы самым сильным доказательством того, что открытие этих весов стоило больше, чем оценка, с которой она вышла.