SubQ Snap 1.1 делит первое место в Decision Index благодаря обучению воздержанию

Новейшая модель на вершине Artificial Analysis Decision Index v1.0 — не та, которая даёт больше всего правильных ответов. SubQ Snap 1.1, выпущенная Subquadratic 22 октября 2026 года, набрала 65 баллов и разделила d1-ultra и Elephant 9B первое место. Jev 1.14 находится на 57. Если прочитать мелкий шрифт под индексом, причина ничьей вовсе не в чистой точности: в материале Artificial Analysis точность Snap 1.1 указана как 20% против 32% у d1-ultra и 12% у Elephant 9B. Что Snap 1.1 делает лучше обеих — отказывается отвечать.

Это настоящий инженерный результат, а не трюк для бенчмарка, но он меняет то, кому стоит обращать внимание. Модель принятия решений — не чат-модель. Она принимает документ и фиксированный набор допустимых ответов — направить в эту очередь или в ту, вызвать этот инструмент или отказаться, да, нет или эскалировать — и возвращает выбор с прикреплённой калиброванной вероятностью. С тех пор как десять дней назад вышла предварительная версия, Subquadratic утверждает, что такая рабочая нагрузка заслуживает собственной архитектуры, а не универсальной LLM, которая сжигает выходные токены, чтобы выдать слово «refund». Версия 1.1 — первый выпуск, в котором утверждение о калибровке достаточно конкретно, чтобы его можно было проверить.

Что на самом деле изменилось между Snap 1.0 и 1.1

Это релиз после постобучения, а не новая модель. Магистральная архитектура Subquadratic Sparse Attention, окно в 384K токенов и тракт ввода «текст плюс изображение» не изменились по сравнению со Snap 1.0, которая была запущена 12 октября по цене $0.05 за миллион входных токенов. Изменилось то, как модель ведёт себя в состоянии неопределённости: по словам производителя, версия 1.1 добавляет явную калибровку неопределённости и дистиллирует многошаговые рассуждения в один прямой проход вместо генерации цепочки рассуждений с последующей фиксацией ответа.

Цифры, которые Subquadratic приводит для этого изменения, необычно конкретны — это одновременно хорошо и заслуживает тщательной проверки. Ожидаемая ошибка калибровки на отложенных вероятностных бенчмарках снизилась с 0,108 до 0,014. Уверенные ошибки на вопросах без ответа сократились с 294 из 600 до 57 из 600 — то самое снижение на 81%, которое постоянно цитируют в публикациях о запуске. Сверхуверенные галлюцинации на входных данных вне распределения снизились с 99,3% до 12,5%. Согласованность с байесовски оптимальным решающим правилом выросла с 83% до 90%. В корпоративном наборе из 16 бенчмарков от поставщика модель 1.1 в среднем на 7,2 балла превосходит Jev 1.14 при 95% доверительном интервале от 6,5 до 7,8, выигрывая в 12 случаях, сыграв вничью в 3 и проиграв в 1, а также в среднем на 5,5 балла превосходит Snap 1.0.

Все эти данные предоставлены вендором. Никто за пределами Subquadratic пока не публиковал результатов прогона версии 1.1; существующие независимые репозитории тестировали preview-модель, и о них речь пойдёт ниже.

Как модель с точностью 20% делит первое место

Decision Index не оценивает точность изолированно. Он оценивает результат решения в условиях неопределённости, а значит, воздержание от ответа на вопрос, на который модель не может ответить, ценнее уверенной догадки — и намного ценнее уверенной неверной догадки. Artificial Analysis сообщает, что у Snap 1.1 доля отсутствия галлюцинаций — то есть как часто она говорила «Я не знаю» на вопросах, на которые не могла ответить правильно, — составляет 86%. У Elephant 9B этот показатель выше — 93%, а у d1-ultra немного ниже — 85%. Точность Snap 1.1 на уровне 20% — это середина этой тройки, и его индексный балл идентичен обоим.

Правильный ли это компромисс, полностью зависит от того, во что вам обходится неверный ответ на последующих этапах. В маршрутизаторе заявок в поддержку уверенная ошибочная маршрутизация отправляет жалобу по биллингу в очередь инженеров, и клиент ждёт два дня; отказ от ответа отправляет её на этап ручной сортировки, который занимает тридцать секунд. В задаче массовой классификации контента без участия человека отказ от ответа — это просто неразмеченная строка, и значение имеет показатель точности. Индекс говорит вам, что Snap 1.1 создан для первого случая. Он не говорит, что это самый точный классификатор, который можно купить, потому что это не так.

Снижение цены и знаменатель, о котором никто не говорит

Второе изменение в 1.1 — это цена: $0.04 за миллион входных токенов, что на 20% меньше, чем $0.05 в предварительной версии, а выходные токены бесплатны. Вторая половина — это то, что меняет счёт. Классификатор, построенный на генеративной модели, платит за ответ — обычно короткий, но reasoning-модели могут потратить сотни токенов на решение, что выдать. У Snap нет выходных данных, за которые нужно платить, поэтому вызов, который читает 100K токенов, стоит около четырёх десятых цента и ничего больше.

Artificial Analysis приводит одну и ту же цифру в расчёте на задачу, а не на токен: примерно $30 за миллион задач для Snap 1.1 против $32 для d1-ultra и $8.4 для Elephant 9B. Полезно именно число в расчёте на задачу, и оно также напоминает, что цена по прайс-листу за токен — плохой способ сравнивать модель принятия решений с чем-либо ещё. Счёт масштабируется с длиной входных данных, поэтому вызов маршрутизации на 4K токенов и проверка контракта на 300K токенов попадают в совершенно разные ценовые категории, хотя тариф одинаков.

Что не решают цифры поставщика

Две вещи стоит отделять от поста о запуске. Первая — скептицизм. Публикации сообщества о релизах Subquadratic — включая материал BlockBeats, который разошёлся под заголовком «AI jack-of-all-trades», — ставили под сомнение, насколько весь набор заявлений можно независимо воспроизвести, а у модели нет открытых весов, поэтому у стороннего наблюдателя нет чекпойнта, который можно запустить. Вторая — независимые тесты, которые существуют, проводились на превью, а не на 1.1. Воспроизводимое сравнение, выполненное jcarlosrodicio, показало, что Snap немного уступает Jev ниже 30K токенов (93.9% против 94.7%) и заметно уступает на логах в 360K токенов (58.8% против 77.1% у Jev, когда Jev разбивали на фрагменты). Отдельный бенчмарк по разработке ПО, snap-vs-jev-swe, показал, что Snap набирает 87.5% в локализации файлов в SWE-bench Verified против случайного базового уровня 10.6%, и зафиксировал изменение ответов в 5.0% случаев при обратном порядке вариантов.

Эти результаты не противоречат версии 1.1 — работа по калибровке как раз относится к тем изменениям, которые могли бы их сдвинуть, — но и доказательством в её пользу они не являются. В опубликованных цифрах есть также небольшая внутренняя несогласованность: в материале о запуске приводится оценка When2Call 96,2, тогда как собственный вариант того же бенчмарка от Subquadratic с множественным выбором и поправкой на случайность показывает 91,0. Оба значения могут быть верны для разных форматов задач; покупателю, сравнивающему 96,2 с показателем конкурента, следует знать, какой именно вариант он рассматривает.

Где это ломается

Столбец проигрышей в собственном наборе поставщика из 16 бенчмарков показателен. PhishNChips — набор для обнаружения фишинга — отстаёт на 22 пункта от Jev 1.14, и Subquadratic объясняет это калибровкой порога, а не качеством ранжирования: ROC-AUC примерно на одном уровне — 0,91 против 0,92. Это решаемая проблема для команды, готовой настроить порог, и нерешаемая для команды, которой нужно было решение «из коробки». Подобласть знаний и рассуждений — единственная из пяти, где Jev явно лидирует: 55,1 против 50,9. Snap 1.1 сильнее всего там, где набор ответов явно задан, а доказательства находятся в документе: инструменты и автоматизация (85,3 против 74,6), поиск и классификация (67,0 против 63,1), понимание языка (71,6 против 63,3).

Кому следует двигаться, а кому — ждать

Переходите, если ваше решение — это выбор маршрутизации, инструмента, эскалации или релевантности, принимаемый по длинным документам, и уверенный неверный ответ обходится дороже, чем эскалация. Операционная причина — окно в 384K: один проход по полному договору, ветке тикетов или набору логов, без необходимости создавать слой разбиения на чанки и без конвейера извлечения, который нужно поддерживать в синхронизации. У команд, уже использующих preview, самый очевидный аргумент, поскольку цена снизилась, а калибровка улучшилась без изменения API.

Подождите, если вам нужен сгенерированный текст, если точность 20% на смеси вопросов бенчмарка ниже вашего порога или если вам нужна задержка менее 100 мс на горячем пути — Subquadratic не публикует показатель задержки для 1.1, а стороннее измерение предварительной версии показало, что вызов с 8K токенов занимает около 0,75 секунды. Подождите также, если вам нужно развернуть решение у себя: весов нет.

Одно практическое замечание о том, где это находится в стеке. SubQ Snap 1.1 предоставляется через собственные API и консоль Subquadratic; его нет в каталоге OrcaRouter, и мы не будем делать вид, что это не так. Что мы действительно предоставляем — это слой, стоящий за решением: когда Snap по результатам вызова решает «использовать модель», эта модель — одна из более чем 200 моделей, доступных по одному ключу в OrcaRouter, по прайсовой цене провайдера с наценкой 0% и автоматическим переключением при сбое между провайдерами. Слой принятия решений и слой исполнения выходят из строя независимо, и стоит не держать оба у одного поставщика.

Открытый вопрос не в том, реальны ли калибровочные цифры версии 1.1 — они достаточно конкретны, чтобы их проверили, — а в том, выдержат ли они другой испытательный стенд. Формулировка промпта меняла точность на 11–14 пунктов в публичных бенчмарках Snap — больше, чем разрыв между любыми двумя моделями в индексе. Улучшение калибровки, которое сохраняется только при собственном шаблоне промпта поставщика, было бы куда менее значимым, чем предполагает запуск.