SWE-2 Flash против SWE-2: чего на самом деле стоит победа в 0,2 балла

Собственная сравнительная таблица Cognition дает SWE-2 Flash ровно одну победу над SWE-2: 24,0 против 23,8 в FrontierCode 2.0. Две десятых балла — по собственному бенчмарку Cognition, в таблице, которую Cognition построила, чтобы показать меньшую модель с лучшей стороны. Это также самое полезное число в релизе — из-за того, что делают строки под ним, и из-за того, что тихо умалчивает единственная строка выше сгиба.

Коротко для того, кто принимает решение за столом, а не дочитывает до конца: Flash — это не уменьшенная версия SWE-2. Это другая модель на другой базе, настроенная для ограниченного круга задач и стоящая в пять раз меньше в рамках одного и того же продукта. Преимущество в 0,2 пункта реально, но значит меньше, чем кажется.

Две версии одного и того же бенчмарка расходятся, и это первый вывод.

Поставьте две строки FrontierCode рядом друг с другом — и таблица перестанет быть рассказом о том, как маленькая модель догоняет.

• FrontierCode 2.0 — SWE-2 Flash 24.0 против SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 против 50,0

Один и тот же инструмент, две редакции, противоположные вердикты. В более новой редакции Flash чуть впереди; в более старой он отстаёт на 4,5 балла. Одна из этих строк в итоге попадёт на слайд для запуска, а другая — нет, и то, какую выберут, говорит о докладчике больше, чем о модели.

Есть защитимая интерпретация, при которой обе строки верны и не противоречат друг другу: редакция 2.0 сложнее, абсолютные баллы сжимаются, а более новый набор задач может вознаграждать именно то, для чего Flash дообучали. Есть и менее лестная интерпретация: колебание на 4,5 пункта между двумя редакциями одного бенчмарка показывает, насколько чувствителен инструмент, а разрыв в 0,2 пункта находится в пределах этой чувствительности. Cognition не публикует доверительные интервалы и не приводит результаты повторных прогонов, поэтому разницу между 24,0 и 23,8 при имеющейся информации нельзя отличить от шума. Можно сказать более узкую, но всё же полезную вещь — на новейшем бенчмарке Cognition две модели находятся на одном уровне, а не разделены.

Куда деваются тринадцать очков

Остальная часть таблицы далеко не так плотна, и именно форма разрыва несёт информативную нагрузку.

• DeepSWE 1.1 — SWE-2 Flash 60.1 против SWE-2 73.0

• Terminal-Bench 4.0 — 20,0 против 27,3

• SWE-Atlas QA — 50,0 против 56,3

• Terminal-Bench 2.1 — 89,2 против 92,8

• SWE-Bench Pro v2 Hard — 89,9 против 90,6

• ExploitBench — 34.8 против 36.1

Упорядочите их по тому, сколько свободы задача дает агенту, и проявится закономерность. На SWE-Bench Pro v2 Hard — четко описанной задаче с определенным исправлением — Flash отстает на 0,7 балла. На Terminal-Bench 2.1 — на 3,6. На Terminal-Bench 4.0 разрыв составляет 7,3, а на DeepSWE 1.1, в строке с длинным горизонтом, — 12,9. Чем больше задача требует от модели решать, что делать дальше, тем шире разрыв.

Это правдоподобный механизм, но не доказанный. Модель с десятой частью активных параметров обладает меньшей способностью удерживать длинный план в целостности, и именно на бенчмарках с длинным горизонтом это проявляется в первую очередь. Но Cognition не публикует для Flash количество ходов, количество токенов или разбивку по задачам так, как это было для SWE-2 — где сообщалось, что среднее число шагов снижается со 127 до 53 при среднем уровне усилий, — поэтому механизм выводится из формы таблицы, а не демонстрируется. Считайте это гипотезой, которая либо согласуется с вашим опытом, либо нет.

Цена и скорость — в единственной валюте, которую называет Cognition

Ни у одной из моделей нет цены за токен, поскольку ни у одной нет эндпоинта. Cognition публикует лишь соотношение: SWE-2 Flash стоит одну пятую от SWE-2 и работает в три раза быстрее — 200 ток/с против 60. Оба показателя получены по одной и той же методологии воспроизведения — прогон каждой модели на задаче gsea-proteomics из Terminal-Bench 4.0, воспроизведённый с симулированными скоростями и транскриптами, сокращёнными до одинаковой длины, — поэтому оба описывают предполагаемый профиль обслуживания, а не измеренный.

Коэффициент всё ещё остаётся числом, наиболее значимым для принятия решений в этом релизе, при условии, что вы сделаете следующий шаг. Цена за единицу работы — не то же самое, что стоимость решённой задачи, и команда фактически платит именно второе. Если «пятая» — это пятая часть стоимости задачи (единственная трактовка, при которой утверждение имеет смысл внутри подписочного продукта), то арифметика проста.

• На DeepSWE 1.1 — Flash решает 82% того же объёма задач при пятой части стоимости, что примерно в 4.1 раза дешевле на каждую решённую задачу даже в строке, где он проигрывает сильнее всего.

• На FrontierCode 2.0 — он решает чуть больше задач при пятой части затрат, что примерно в 5 раз дешевле в расчёте на решённую задачу.

• В Terminal-Bench 4.0 — решает 73% от такого количества при пятой части затрат, что примерно в 3,7 раза дешевле на каждую решённую задачу.

Каждая из этих цифр предполагает, что пятая относится к стоимости задачи, а не токена, и что частоты успешных решений переносятся на вашу очередь. Cognition не уточняет, какой именно вариант имеется в виду, и это допущение несёт большую нагрузку. Если пятая — это цена за токен для модели, которая выдаёт больше токенов на задачу, преимущество сужается и может инвертироваться в строках с длинным горизонтом. Эта арифметика — проверка чувствительности, а не измерение, и её следует повторно прогнать по вашим собственным логам.

Что не вызывает сомнений — так это промо-окно. SWE-2 Flash бесплатен в Devin Desktop и CLI до 30 ноября 2026 года. Собственное бесплатное окно SWE-2 завершилось 10 октября. В ближайшие несколько недель сравнение цен внутри Devin — это одна пятая против нуля, что вовсе не сравнение — это период оценки с дедлайном.

Они не из одной линейки, и разрыв в параметрах — самое неинтересное, что в них есть.

SWE-2 прошёл посттренировку на основе Kimi K3: 2,8 трлн параметров, 104 млрд активных на токен, база, которая уже прошла обширное RL для агентного программирования. SWE-2 Flash прошёл посттренировку на основе Inkling-Small: 276 млрд всего, 12 млрд активных, Apache 2.0, от Thinking Machines. Собственная диаграмма размеров Cognition ставит Flash на 1x, а SWE-2 на 10,1x. По активным параметрам соотношение ближе к девяти к одному.

Теперь сопоставьте это с результатами. Разница в активных параметрах в 8,5 раза даёт 4,5 балла на FrontierCode 1.1 Main и ровно ничего на FrontierCode 2.0. При этом сам этап посттренировки значит гораздо больше, чем разница в параметрах: таблица Cognition показывает 21,5 у Inkling-Small на FrontierCode 1.1 Main и 45,5 у Flash — прирост в 24 балла за счёт промежуточной тренировки и RL на одной и той же базе. Дисперсия, обусловленная посттренировкой, примерно в пять раз превышает дисперсию, обусловленную всем разрывом в параметрах между двумя моделями.

Это тот вывод, который эта пара даёт вместе, и он значимее, чем любая из моделей по отдельности. Это также объясняет, почему Cognition готов продавать меньшую из них за пятую часть цены: дорогой частью SWE-2 никогда не была базовая модель. Это были данные, верификаторы и среды RL, и Flash переиспользует эти инвестиции на более дешёвой базе.

Здесь уместны две оговорки. Сравнение представляет собой таблицу одного вендора на бенчмарках, которые контролирует сам вендор, и ничего в ней не было независимо воспроизведено. Кроме того, базовые модели не являются эквивалентными входными данными — Kimi K3 поставляется с контекстом в миллион токенов и нативным зрением, тогда как Inkling-Small — это другая архитектура с иной поддержкой мультимодальности — поэтому «то же постобучение, более дешёвая база» — это формулировка Cognition, а не изолированная переменная.

Асимметрия настройки усилий

SWE-2 вышел с тремя задокументированными уровнями усилий при рассуждении — medium, high и max — и сентябрьский анонс Cognition объяснил, для чего предназначен каждый из них: medium быстрее переходит к действиям, тогда как high и max больше планируют, глубже изучают кодовую базу и тратят больше на верификацию. В нём также утверждалось, что для каждой модели указывался её лучший результат среди всех настроек уровня усилий.

SWE-2 Flash вообще не документирует управление уровнем усилий. В анонсе запуска о нём не упоминается, а в таблице бенчмарков нет столбца с настройками. Таким образом, опубликованное сравнение — это SWE-2 в лучшем своём режиме против Flash с неуказанной конфигурацией; оно является сопоставимым, только если у Flash есть одна настройка, и несправедливым в неизвестную сторону, если у него их несколько.

Если у Flash действительно нет управления уровнем усилий, это продуктовое различие, которое стоит назвать, а не пробел в документации. Уровень усилий — это то, как вы обмениваете затраты на глубину для каждой задачи, а модель без него даёт вам одну настройку для очереди, в которой есть и простая, и сложная работа. Это именно тот компромисс, который соотношение и должно позволять вам выбирать.

В какую очередь относится каждый из них

Собственная формулировка Cognition — самый честный ориентир в этом вопросе. В ней говорится, что меньшие модели «всё чаще способны выполнять значительную часть работы, которую делают программные агенты, например автоматизацию, проверку кода, разработку функций и обновление документации», а SWE-2 Flash разрабатывался именно для такой работы. Сопоставьте этот список с тем, как устроен бенчмарк, — и они совпадают: ограниченные задачи, чёткое определение готовности, большой объём, низкая терпимость к задержке.

• Если задача укладывается в промпт и критерий готовности однозначен — проход ревью, обновление документации, небольшая функция, запланированная автоматизация — Flash является правильным выбором по умолчанию, и приведённая выше арифметика стоимости на решённую задачу говорит о том, что он в несколько раз дешевле, даже если решает меньше задач.

• Если агенту приходится решать, что делать дальше, более чем несколько раз — миграция, рефакторинг в нескольких репозиториях, сеанс отладки, где первая гипотеза обычно оказывается неверной, — то 13-балльный разрыв в DeepSWE — это ровно то, что вы получаете вместе с SWE-2, и соотношение этого не компенсирует.

• Если вы не можете определить, к какому из этих вариантов относится задача, запускайте её на Flash и эскалируйте. Именно для такого решения Cognition создала уровни усилий в SWE-2, а отсутствие контроля усилий у Flash делает эскалацию решением о маршрутизации, а не параметром.

Ошибка, которой следует избегать, — использовать выигрыш в 0,2 пункта как повод сдвинуть сложную очередь. Это один бенчмарк, одна версия, один поставщик, и он находится в пределах собственной чувствительности инструмента.

За пределами Devin ни тот, ни другой не является кандидатом.

Ни у одной из моделей нет API. Ни у одной нет публичных весов. Если ваша обвязка — собственная, эта пара — не тот выбор, который вы можете сделать, и бесплатное окно вам не поможет — это пробный период внутри продукта, который вам придётся купить.

Доступная половина этого стека — это база. Kimi K3 маршрутизируется через OrcaRouter как kimi/kimi-k3 по цене $3.00 за миллион входных токенов и $15.00 за миллион выходных токенов, с контекстным окном в 1M токенов и нативным вызовом инструментов, по прейскурантной цене провайдера без добавления наценки. Один API охватывает более 200 моделей, что делает описанное выше разделение очереди реализуемым вне Devin: правило маршрутизации может направлять ограниченную работу дешёвой модели и передавать долгосрочные задачи более сильной, при этом клиент не знает, какая модель ответила. Автоматическое переключение при сбое должно находиться за эскалированным путём, потому что модель, на которую вы переключаетесь, — это та, недоступность которой вы не можете себе позволить.

Это другой продукт, отличный от SWE-2 Flash, и он не является его заменой. Это то, что вы делаете, когда у того, что вы хотите оценить, нет эндпоинта.

Что бы это решило?

Три раскрытия информации превратили бы это сравнение из таблицы поставщика в доказательство. Независимый прогон DeepSWE 1.1 и Terminal-Bench 4.0 на обеих моделях, выполненный кем-то, кто не является Cognition и не использует harness Cognition. Указание настройки усилий и скаффолда, стоящих за каждой строкой в таблице Flash, соответствующее тому, что предоставил запуск SWE-2. И повторный прогон, чтобы разницу в 0,2 пункта можно было отличить от межпрогонной вариативности.

До тех пор оправданной является узкая трактовка. SWE-2 Flash — это оптимизированный по стоимости собрат, построенный на гораздо меньшей базе, не уступающий SWE-2 на новейшем бенчмарке и явно отстающий в долгосрочных задачах, продаваемый по такому ценовому соотношению, которое делает его в несколько раз дешевле в расчёте на решённую задачу по имеющимся данным. Это хорошее продуктовое решение и скромное техническое утверждение. Победа на 0,2 балла не является доказательством того, что он что-то заменил, — это доказательство того, что на одном инструменте в один день разрыв сократился настолько, что растворился в шуме.