Flint v1.0 против Qwen3.8 27B: модель Recursive сравнила себя с ними

Recursive опубликовала одно предложение в своихRecursive Flint v1.0 материалах к запуску, которое большинство публикаций пропустило: по собственному среднему компании по шести тестам только Qwen3.8 27B показала более высокий результат, чем Flint. Это необычно для вендора — печатать такое в день запуска. Это также самое полезное предложение в пресс-релизе, потому что оно подсказывает, какое сравнение стоит пойти и проверить. Qwen3.8 27B — плотная модель с открытыми весами, выпущенная 14 августа 2026 года под лицензией Apache 2.0, и единственная модель в наборе сравнений Recursive, которая обошла Flint по агрегату, построенному самим вендором. Так что интересный вопрос не в том, хороша ли Flint. А в том, где именно Qwen3.8 27B лучше, и сохраняется ли разрыв при внимательном изучении задействованных харнессов.

Прочитайте заявление класса, прежде чем читать оценку.

Основное заявление Flint тщательно ограничено: он опережает mixture-of-experts модели с общим числом параметров менее 50 миллиардов на SWE-bench Pro v2, Terminal-Bench 2.1 и SWE-bench Verified. Qwen3.8 27B не является mixture-of-experts моделью. Она плотная — 27 миллиардов параметров, все они активны на каждом токене, 28 миллиардов с учётом визуального энкодера, 64 слоя при скрытой размерности 5 120. Таким образом, она по самой своей конструкции находится вне класса сравнения Flint, и Recursive могла совершенно спокойно не включать её в это заявление.

Стоит точно понимать, во что обходится и что дает «плотная» модель. Все 27 млрд параметров Qwen участвуют в обработке каждого токена — поэтому ей требуется около 55,6 ГБ в BF16 и настоящий GPU, а объем ее активаций примерно в одиннадцать раз больше, чем у Flint. Это же объясняет, почему плотная модель на 27 млрд параметров может превосходить по точности разреженную модель с 2,5 млрд активных параметров: она выполняет больше вычислений на каждый токен — и вы за это платите.

Terminal-Bench 2.1: разрыв в восемнадцать пунктов

Это наиболее чистое сравнение из доступных, поскольку обе лаборатории сообщают об одной и той же версии бенчмарка, а разрыв достаточно велик, чтобы шум тестового стенда вряд ли мог объяснить его целиком.

• Flint — 54,9% на Terminal-Bench 2.1, запуск на тестовом стенде Terminus 2 с включённым интернетом, но при этом любое решение, полученное путём поиска в интернете, засчитывается как неудача.

• Qwen3.8 27B — 73,0% в Terminal-Bench 2.1, согласно карточке модели Alibaba.

Это разрыв в 18,1 пункта в пользу Qwen на бенчмарке, который наиболее близко имитирует агентную работу в терминале, — а это именно та задача, для которой продаются обе модели. Есть две оговорки, действующие в противоположных направлениях, и обе требуют упоминания.

Первый вариант благоприятствует Flint. Recursive применила ограничение, которое её конкуренты, возможно, не применяли: если агент находил ответ в интернете, Recursive засчитывала его как неверный. Модель, которой разрешено искать и ссылаться на источники, показала бы более высокий результат на том же стенде. Насколько выше — неизвестно, и Recursive не публикует показатель без этого ограничения.

Второй тезис противоречит любой однозначной трактовке. Независимая сторона, PrismML, оценила Qwen3.8 27B в 69,7 на Terminal-Bench 2.1, тогда как Alibaba — в 73,0. Расхождение в 3,3 балла по одной и той же модели и одному и тому же бенчмарку — полезный ориентир для калибровки: оно показывает, что разрывы в несколько баллов в этой таблице являются шумом, а разрыв в 18 баллов, вероятно, нет.

Даже если взять более низкий показатель Qwen, 69,7 против 54,9 — это разница в 14,8 пункта. Направление не вызывает сомнений.

LiveCodeBench v6: второй разрыв, на более чистом бенчмарке

Соревновательное программирование — наименее чувствительный к тестовой обвязке из бенчмарков, о которых сообщают обе лаборатории, потому что модель получает задачу, создаёт код, а судья его запускает. Здесь нет агентного цикла, который мог бы различаться.

• Flint — 80,3% в LiveCodeBench v6.

• Qwen3.8 27B — 90,3% на LiveCodeBench v6.

Это разрыв в 10 пунктов, и именно ему я бы придал наибольший вес — прежде всего потому, что его труднее всего объяснить. Показатель Flint 80,3 — достойное число для модели, активирующей 2,5 млрд параметров. Показатель Qwen 90,3 — сильное число для модели, активирующей 27 млрд. Ни то, ни другое не удивляет. Суть в том, что преимущество в эффективности, которое продвигает Flint, не достаётся бесплатно, и именно на этом бенчмарке видна цена.

Бенчмарк, который выглядит как победа Flint, но ею не является

Вот где большинство страниц со сравнениями допускают ошибку, и ради этого стоит замедлиться.

Flint сообщает о 89,7% на SWE-bench Pro v2. Qwen3.8 27B сообщает о 61,7% на SWE-bench Pro. При быстром чтении это выглядит как победа Flint с преимуществом в 28 пунктов. Но это вовсе не сравнение. «v2» — это другой бенчмарк, не тот, о котором сообщает Alibaba, с другим набором задач и другим протоколом оценки, и эти два числа нельзя вычитать. Любая страница, которая ставит их в соседние столбцы и объявляет победителя, рассказывает вам кое-что о своём авторе, а не о моделях.

Та же ловушка притаилась строкой ниже. Flint сообщает о 74,2% на SWE-bench Verified. Qwen3.8 27B не публикует результат по SWE-bench Verified — в карточке Alibaba указаны SWE-bench Pro, QwenSWEBench — 79,0, DeepSWE 1.1 — 42,2, Terminal-Bench 2.1 — 73,0, LiveCodeBench v6 — 90,3 и NL2Repo-Bench — 42,3. Нет показателя Verified, с которым можно было бы сравнить. Цифры, циркулирующие для Qwen3.8 27B по Verified, либо унаследованы от более ранней модели семейства, либо взяты из вторичного источника, который конфликтует с карточкой модели сразу по нескольким другим бенчмаркам. Считайте их непроверенными.

Ещё одна оговорка со стороны Alibaba: в их прогонах SWE-bench Pro и QwenSWEBench использовался внешний агентный harness, а не «голая» модель, поэтому даже сравнения с показателем SWE-bench Pro другой лаборатории шатки. Это не уникально для Alibaba. Таково общее состояние бенчмарков агентного программирования, и именно поэтому строки Terminal-Bench и LiveCodeBench здесь весят больше, чем строки SWE-bench.

Где Flint побеждает — и с большим отрывом

Точность — не единственная ось, и по остальным осям порядок резко меняется на противоположный.

• Память — Flint работает примерно в 24 ГБ, а сборка NVFP4 на диске занимает 22,86 ГБ. Qwen3.8 27B требует около 55,6 ГБ в BF16. Один из них помещается на высококлассный ноутбук или одну потребительскую видеокарту; другому требуется настоящее выделение ресурсов GPU.

• Активные вычисления на токен — Flint задействует около 2,5 млрд параметров. Qwen задействует все 27 млрд. Это соотношение — причина разрыва в скорости и причина того, почему Flint дешевле обслуживать при больших объёмах.

• Скорость — Recursive заявляет более 125 токенов в секунду на M4 Pro MacBook Pro и более 150 на 64 ГБ RTX Spark при коротком контексте. Плотная модель на 27B на том же ноутбуке в этот диапазон не попадает. Также сообщается, что Qwen3.8 27B медленно работает локально и необычно прожорлива к токенам — Artificial Analysis замерила примерно 160 млн выходных токенов в ходе тестирования своего индекса, что является множителем затрат в любом агентном цикле.

• Контекст — оба нативно поддерживают 262 144 токена, а Qwen расширяет до 1 000 000 с помощью масштабирования YaRN. В анонсе Flint упоминается до 512K. На бумаге при нативном окне это ничья; на практике пропускная способность Flint на длинном контексте выглядит слабее — независимое тестирование сообщает о падении примерно до 9 токенов в секунду вблизи 115 000 токенов.

• Мультимодальность — Qwen3.8 27B принимает изображения и видео наряду с текстом; гибридная схема внимания сочетает 48 слоёв линейного внимания Gated DeltaNet с 16 слоями полного внимания в соотношении 3:1, и именно это делает окно в 262K доступным для обслуживания. Flint работает только с текстом.

Что вы на самом деле выбираете

• Если цель — максимальная точность кодирования и у вас есть соответствующее оборудование, Qwen3.8 27B — более сильная модель по всем бенчмаркам, где две модели можно чисто сравнить. Это же показывает и собственное среднее Recursive по шести тестам.

• Если модель должна работать на ноутбуке, оставаться офлайн, хранить исходный код на машине или обслуживать достаточно большой объём, при котором активные параметры составляют основную часть счёта, Flint выигрывает по оси, определяющей выбор развёртывания. Модель с 2,5 млрд активных параметров при 125 токенах в секунду — это другой продукт, нежели плотная модель на 27 млрд параметров, которой нужен GPU-узел.

• Если вам нужно и то, и другое, они хорошо сочетаются: локальная модель — для рутинной и чувствительной работы, хостируемая модель — для сложных задач. Именно к такому разделению приходит большинство команд, и именно здесь слой маршрутизации перестаёт быть просто деталью.

Qwen3.8 27B — единственная модель в этом сравнении, которую OrcaRouter обслуживает напрямую — идентификатор: qwen/qwen3.8-27b в нашем актуальном списке моделей, и она принимает текст, изображения и видео с полным окном на 262 144 позиции. Поскольку прейскурантная цена провайдера передаётся без добавления наценки, изменение цены на стороне Alibaba становится актуальным у нас в тот же день, а не при следующем продлении. OrcaRouter не обслуживает Flint; эту модель нужно скачивать. Таким образом, гибрид выше — действительно гибрид: один путь к размещённой у провайдера модели передового класса, и локальный файл для всего, что не должно покидать машину.

Эксперимент, который никто не проводил

Все числа в этой статье получены лабораторией, измерявшей собственную модель, за одним исключением — расхождение PrismML с Alibaba на 3,3 пункта в Terminal-Bench, и это единственная доступная подсказка о том, насколько эти показатели смещаются, когда секундомер держит кто-то другой.

То, что решило бы этот вопрос, просто и до сих пор не произошло: обе модели, один стенд, один набор задач, одна машина, опубликованные трассировки. До тех пор защитимая позиция — узкая. На бенчмарках, о которых обе лаборатории честно сообщают, Qwen3.8 27B — более точный в программировании. По аспектам развертывания, которые решают, может ли модель вообще работать, Flint — более эффективный. Recursive заявила об этом первой, в собственном посте о запуске, и это самое надежное во всем релизе.