Qwen-Image-2.1 GGUF: во что вам на самом деле обходится квантованная сборка

Официального GGUF для Qwen-Image-2.1 не существует. Каждый файл .gguf с таким названием был создан кем-то другим постфактум — путём перекодирования весов 7B-диффузионного трансформера от вендора в более низкую точность; GGUF — это формат однофайлового квантованного чекпоинта, который читают локальные стеки инференса. Это одно предложение отвечает на первый вопрос, возникающий у читателя, и поднимает более сложные, которые и разбирает эта страница: что на самом деле сжимает квантизация модели генерации изображений, что файл не даёт из коробки, чего стоят уровни квантования для самой картинки, а не только для времени работы, и что требуется для его распространения согласно лицензии, с которой поставлялись веса.

Сама модель — вот что определяет дату этой страницы, а не новости, которые она сообщает. Qwen-Image-2.1 появился на Hugging Face и ModelScope 20 сентября 2026 года, а квантованные версии от сообщества последовали в тот же день — репозитории leejet, Abiray и RealRebelAI — все созданы 20 сентября, а репозиторий unsloth — 21 сентября, то есть за 23 дня до того, как была написана эта страница. Об этой хронологии здесь не нужно ничего повторять; а тому, кто набирает «qwen image 2.1 gguf», нужно руководство по эксплуатации — это оно и есть.

Что такое GGUF этой модели и чем он не является

Первое, что нужно усвоить: этот файл — фрагмент. Qwen-Image-2.1 — это не одна сеть; это диффузионный трансформер плюс визуально-языковой текстовый энкодер плюс автоэнкодер. Квантованные версии, распространяемые под его именем, содержат только первое из них и ничего больше, и репозитории сами об этом говорят. Карточка Unsloth для Qwen-Image-2.1 GGUF формулирует это одной строкой: «GGUF — это только денойзер, поэтому рядом с ним нужны VAE и текстовый энкодер Qwen3-VL».

Итак, скачивание GGUF — это трансформер — 32 однопоточных слоя DiT, 7 млрд параметров в компоненте визуальной генерации — пересчитанный с пониженной числовой точностью. Текстовый энкодер и VAE остаются в своих исходных форматах или квантуются отдельно, разными людьми, в разных репозиториях. Это структурное отличие от ситуации с текстовыми моделями, которую большинство читателей держат в голове: когда вы скачиваете GGUF чат-модели, вы скачали модель. Здесь вы скачали треть пайплайна.

Ничто из этого не является упаковкой вендора. Репозиторий вендора Qwen/Qwen-Image-2.1 — это релиз в компоновке Diffusers: model_index.json, transformer/, text_encoder/, vae/, scheduler/, processor/ — и в его списке файлов, прочитанном 13 октября 2026 года, нет ни одного файла .gguf какого бы то ни было рода. Квантованные версии — это артефакты сообщества, публикуемые под именами их авторов, и они наследуют лицензию вендора, а не его одобрение.

Почему мудрость квантования текстовых моделей не переносится

Общепринятое мнение о GGUF приходит из языковых моделей, где оно примерно таково: Q8_0 практически не теряет качества, Q4_K_M — золотая середина, всё ниже Q3 — компромисс, а качество измеряется как перплексия или KL-дивергенция относительно эталона полной точности. Почти ничего из этого не переносится на модель изображений, и причины этого стоит сформулировать точно.

Для диффузионного трансформера не существует перплексии. Модель не выдаёт распределение токенов, которое можно оценить; она выдаёт латентное представление, которое VAE декодирует в пиксели. Метрики, которые существуют по эту сторону забора — LPIPS, SSIM относительно эталонного рендера — требуют одинакового сида, одинакового промпта и одинаковых настроек сэмплера с обеих сторон сравнения, и всё равно измеряют перцептивное расстояние, а не правильность. Так что у вопроса «во сколько мне обходится Q4_K_M?» нет одного опубликованного числа, как для текстовой модели, и всякий, кто его называет, называет результат одного измерения на одном сиде.

Во-вторых, и это важнее: для модели изображений средняя разрядность значит меньше, чем то, какие именно тензоры потеряли свои биты. Проекции внимания и пути MLP, несущие структуру изображения, при округлении заметно деградируют, тогда как небольшие тензоры нормализации и модуляции терпят почти что угодно. Поэтому конвертация, применяющая единый целевой показатель ко всем тензорам, может выглядеть хуже, чем конвертация с той же номинальной меткой, но защищающая чувствительные слои, — именно это и обнаружили люди, занимающиеся этой работой. RealRebelAI, опубликовавшие самые подробные заметки о квантизации из всех, что нам удалось найти, утверждают, что «стандартная универсальная конвертация Q4_K_M показала заметную потерю качества в тонкой структуре и анатомии по сравнению с эталонной моделью INT8», и что в их собственных сборках проекции attention Q/K/V/Out остаются в Q8_0 внутри файла Q4_K_M, чтобы это компенсировать. Метка в имени файла — это базовая квантизация, а не политика.

В-третьих, режим отказа качественно иной. Квантование текста деградирует в основном в плане беглости, и деградирует мягко — чуть менее удачное предложение всё ещё остаётся предложением. Квантование изображений на низких ступенях даёт сбои, которые очевидны и иногда делают результат непригодным: руки и анатомия, мелкая текстура, мелкая типографика и — то, что легко упустить, потому что это вовсе не артефакт пикселей, — соблюдение промпта. Если сборка перестаёт выполнять половину длинной инструкции, это издержка квантования, и она не проявится при сравнении двух хороших рендеров бок о бок.

Лестница — в файлах, а не в прилагательных

Размеры файлов — это единственная часть всего этого, которая является твёрдым фактом, а не суждением, потому что каждый репозиторий публикует собственный список. По состоянию на 13 октября 2026 года две самые скачиваемые квантизации сообщества немного расходятся друг с другом, и это само по себе показательно.

• Unsloth Dynamic 2.0 (12 файлов): F16 14,23 ГБ, Q8_0 7,64 ГБ, Q6_K_XL 6,72 ГБ, Q6_K 6,27 ГБ, Q5_K_M 5,39 ГБ, Q5_K_S 4,50 ГБ, Q4_K_M 4,20 ГБ, Q4_K_S 3,91 ГБ, Q3_K_XL 3,61 ГБ, Q3_K_M 3,17 ГБ, Q3_K_S 2,72 ГБ, Q2_K 2,47 ГБ.

• leejet / stable-diffusion.cpp (7 файлов): Q8_0 7,69 ГБ, Q6_K 6,00 ГБ, Q5_0 5,07 ГБ, Q4_K 4,20 ГБ, Q4_0 4,20 ГБ, Q3_K 3,27 ГБ, Q2_K 2,56 ГБ.

• Abiray (6 файлов): Q8_0 7,59 ГБ, Q6_K 5,88 ГБ, Q5_K_M 5,01 ГБ, Q4_K_M 4,19 ГБ, Q4_K_S 4,06 ГБ, Q3_K_M 3,19 ГБ.

• RealRebelAI публикует лестницу смешанной точности с суффиксом -HQv3, а не с обычными уровнями, и документирует точность по модулям в таблице; базовые квантования варьируются от Q2_K до Q8_0.

Разброс реален. Q8_0 охватывает диапазон от 7,59 до 7,69 ГБ у трёх публикаторов, а Q6_K — от 5,88 до 6,27 ГБ: разрыв в 0,4 ГБ для одного и того же номинального уровня — это политика смешанной точности, проявляющаяся в байтах. Тот, кто сравнивает две сборки только по имени файла, сравнивает ярлыки, а не артефакты.

Для сравнения с другой стороны: эталонный F16-трансформер занимает 14,23 ГБ, и собственный bfloat16-компонент диффузии производителя в перепаковке Comfy-Org тоже занимает 14,23 ГБ. Так что GGUF класса Q4 даёт примерно 3,4-кратное уменьшение для трансформера и вообще не даёт уменьшения для текстового энкодера, если только не квантовать его отдельно.

Сколько стоит каждая ступень, если источник это указывает

Почти никто не публикует измеренную стоимость качества за уровень для этой модели, и честнее всего — разделить три вида утверждений, которые сейчас в ходу.

• Рекомендации по объёму памяти, по сообщениям сообщества. В репозитории Abiray каждый файл сопоставлен с рекомендуемым профилем VRAM: Q8_0 — 7,59 ГБ при «12 ГБ+ (практически без потерь)», Q6_K — 5,88 ГБ при 10–12 ГБ, Q5_K_M — 5,01 ГБ при 8–10 ГБ, Q4_K_M — 4,19 ГБ и Q4_K_S — 4,06 ГБ при 6–8 ГБ, а Q3_K_M — 3,19 ГБ при 4–6 ГБ для «экстремально ограниченного бюджета / минимального объёма VRAM». Это собственное эмпирическое правило издателя, а не спецификация производителя и не бенчмарк, который мы могли бы воспроизвести; кроме того, они описывают только файл трансформера, поэтому запас, необходимый для текстового энкодера, добавляется сверху.

• Измеренное сравнение, по данным квантователя, на одном сиде. Unsloth публикует одну пару чисел для стороны энкодера конвейера: свой Dynamic 2.0 4-битный текстовый энкодер против равномерного Q4_K_M энкодера, оба при общем сиде с фиксированными денойзером и VAE, при LPIPS 0,029 и SSIM 0,959, в 5,15 ГБ против 5,03 ГБ и 36,5 с против 39,0 с. Это одно измерение, сделанное стороной, продающей файл, на одном сиде, и это единственное опубликованное количественное сравнение двух политик квантования для этой модели, которое нам удалось найти.

• Качественные списки сбоев, по сообщениям сообщества. RealRebelAI перечисляет то, на что квантизация с меньшей битностью всё ещё может влиять — «мелкие детали, руки и анатомия, типографика, следование промпту, точность редактирования, согласованность текстур» — и советует подняться на ступень выше, когда деградация заметна. Там прямо указано, что Q3_K_M и Q2_K предназначены для систем с ограниченной памятью и «могут по-прежнему демонстрировать растущую потерю качества, несмотря на защищённые слои высокой точности».

То, что не опубликовано, так же важно, как и то, что опубликовано. О качестве квантизации Qwen-Image-2.1 нет вообще никаких заявлений от производителя, нет независимых бенчмарков ни одной сборки GGUF, и нет таблицы пропускной способности на конкретном потребительском оборудовании ни от кого, кого мы смогли бы найти. Направление компромисса по памяти известно точно, а направление компромисса по скорости в целом известно; масштаб потери точности публично не установлен, и эта страница не будет оценивать его за вас.

Что на самом деле запускает это?

Ситуация с рантаймами на удивление устоялась для настолько нового формата, и это реальное преимущество по сравнению с обычным положением дел с GGUF.

• stable-diffusion.cpp — эталонная реализация для GGUF-моделей генерации изображений. В списке новостей проекта зафиксирована поддержка Qwen-Image-2.1 с первого дня, 20 сентября 2026 года, а также описана отдельная страница для этой модели. Командная строка принимает квантованную диффузионную модель напрямую: --diffusion-model qwen-image-2.1-Q4_K_M.gguf --vae qwen_image_2.1_vae_bf16.safetensors --llm Qwen3-VL-8B-Instruct-UD-Q4_K_XL.gguf, с --steps 20 --cfg-scale 6.0 --sampling-method euler в собственном примере издателя.

• ComfyUI, через пользовательский узел. Это путь, которым пойдёт большинство читателей, и в нём есть нюанс, о котором стоит знать до того, как что-либо устанавливать. Репозиторий, на который указывает большинство квантователей, — city96/ComfyUI-GGUF; автор stable-diffusion.cpp публикует собственный форк, leejet/ComfyUI-GGUF, и в его README есть явное указание предпочитать именно его, на том основании, что «репозиторий city96, судя по всему, больше активно не поддерживается». Это утверждение одной стороны о другой, и оно датировано; история коммитов city96/ComfyUI-GGUF действительно показывает последнюю активность в январе 2026 года. Официальная страница документации самого ComfyUI для Qwen-Image-2.1 перечисляет только веса .safetensors и вообще не упоминает GGUF, так что пользовательский узел не является ни опциональным, ни одобренным производителем. Оба загрузчика помещают файл в ComfyUI/models/diffusion_models/ и делают его доступным через загрузчик диффузионных моделей GGUF.

• llama.cpp / ggml — не сэмплер для этой модели, а источник формата и инструментальная цепочка, создающая эти файлы. Оба репозитория leejet и Abiray явно ссылаются на него. Если вам нужен уровень, который никто не публиковал, именно этим вы и конвертируете.

• Unsloth Desktop — указан в репозитории unsloth как поддерживаемый фронтенд наряду с stable-diffusion.cpp.

Один рантайм, что показательно, не загружает его: Diffusers. В собственном руководстве вендора по быстрому старту используется QwenImage21Pipeline поверх репозитория bfloat16 safetensors, и в этом пайплайне нет пути GGUF. Если вам нужен Diffusers, вы не целевая аудитория квантованного файла; если вам нужен квантованный файл, то stable-diffusion.cpp или граф ComfyUI — это то, что вам подойдёт.

Та часть, которая на самом деле мешает людям

Каждый отчёт о сбое, связанный с этим форматом, сводится к одному и тому же: GGUF — это трансформер, поэтому остальную часть конвейера приходится собирать вручную, в нужных форматах, из нужных репозиториев. В область рассмотрения входят три компонента, и в одном из них есть подвох.

• Текстовый энкодер. Qwen-Image-2.1 обусловлен на Qwen3-VL 8B, и этот энкодер крупнее трансформера при полной точности — 17,53 ГБ в bfloat16 в репаке Comfy-Org против 14,23 ГБ у диффузионной модели. В том же репаке есть квантованные альтернативы на 9,35 ГБ (int8) и 6,31 ГБ (w4a8), а также независимо в формате GGUF: поставщик публикует собственную Qwen/Qwen3-VL-8B-Instruct-GGUF с F16 на 16,39 ГБ, Q8_0 на 8,71 ГБ и Q4_K_M на 5,03 ГБ. Учтите, что этот GGUF энкодера — артефакт от поставщика, в отличие от соседствующего с ним GGUF трансформера — две половины вашего пайплайна происходят от разных издателей с разным происхождением.

• VAE. Один файл, qwen_image_2.1_vae_bf16.safetensors, 0,68 ГБ в репаке Comfy-Org. Он небольшой, и это тот компонент, который чаще всего считают взаимозаменяемым, но это не так: в документации stable-diffusion.cpp сказано, что более ранние веса VAE Qwen Image и Wan 2.2 не взаимозаменяемы с весами VAE Qwen Image 2.1. Подставьте неправильный — и граф загрузится, а на выходе получится неправильная картинка.

• Проектор зрения, если вы хотите редактировать. Преобразование текста в изображение — это лёгкая половина. Для редактирования изображений кодировщику нужен отдельный мультимодальный проектор: в документации stable-diffusion.cpp читателям предлагается также скачать mmproj-Qwen3VL-8B-Instruct-F16.gguf (1,16 ГБ) из репозитория кодировщика и передать его с помощью --llm_vision, а также повторять -r по одному разу для каждого референсного изображения. GGUF только с трансформером плюс текстовый кодировщик — это конвейер текст-в-изображение и ничего больше.

Есть ещё две загрузки, о которых стоит знать. В релизе также поставляются два энкодера переписывания промптов — Qwen-Image-2.1-PE-T2I и Qwen-Image-2.1-PE-I2I, обе — дообученные 9B-модели, — которые производитель рекомендует запускать перед моделью изображений, и их тоже квантуют: GGUF-сборка переписывателя T2I из проекта LightX2V появилась на Hugging Face 12 октября 2026 года, наряду с несколькими сборками от сообщества. А альфа-канал, который является одной из наиболее отличительных особенностей этой модели, переживает квантование, но не во всех контейнерах: диффузионная модель определяет прозрачность по промпту, а не по переключателю, и альфа сохраняется только в выводе .png и .webp.

Планирование памяти вокруг самого GGUF — это одна из тех областей, где документация среды выполнения действительно конкретна, что бывает редко. stable-diffusion.cpp повторно использует независимые от шага ключи и значения текста и референсного изображения в качестве префиксного кэша и публикует, сколько это стоит на одно условие для 32-слойной модели при префиксе в 4096 токенов: 4 ГиБ при FP32, 2 ГиБ при FP16, 1,0625 ГиБ при q8_0, 0,5625 ГиБ при q4_0. Квантование кэша — это второй, отдельный компромисс, отличный от квантования весов; по умолчанию оно отключено, а квантованное хранение кэша вносит дополнительную ошибку округления, которую документация отмечает, а не скрывает.

Лицензия, которую наследует квантование

Это тот раздел, который пропускает большинство страниц GGUF, и для этой модели именно он меняет то, что вы можете делать.

Базовые веса не распространяются по разрешительной лицензии. Qwen/Qwen-Image-2.1 — репозиторий, содержащий license: other с license_name: qwen-research, а файл LICENSE — это Qwen Research License Agreement, дата выпуска — 20 сентября 2026 г. При полном прочтении 13 октября 2026 г. его действующее предоставление — это неисключительная, всемирная, непередаваемая, безвозмездная лицензия на «использование, воспроизведение, распространение, копирование, создание производных произведений и внесение изменений в Материалы ТОЛЬКО В НЕКОММЕРЧЕСКИХ ЦЕЛЯХ», где «Некоммерческое» определяется в соглашении как «только для исследовательских или оценочных целей», а коммерческое использование направляется на отдельную лицензию, запрашиваемую по электронной почте по адресу, указанному в соглашении.

Квантованный чекпоинт является производной работой от этих Материалов, а значит, распространение GGUF — это распространение в рамках указанного соглашения, и оно влечёт за собой все связанные с ним условия. Три из них вполне конкретны:

• Вы должны передать соглашение дальше. Раздел 3(a) требует, чтобы вы предоставляли копию лицензии любому, кто получает материалы или производную работу. Репозиторий GGUF с тегом лицензии и без текста соглашения не соответствует требованиям, независимо от количества загрузок.

• Вы должны отметить то, что вы изменили. Раздел 3(b) требует, чтобы изменённые файлы содержали заметные уведомления о том, что они были изменены. Перекодированный файл весов является изменённым файлом.

• Вы обязаны дословно воспроизводить уведомление об авторстве. Раздел 3(c) требует, чтобы текст уведомления — "Qwen is licensed under the Qwen RESEARCH LICENSE AGREEMENT, Copyright (c) 2026 Hangzhou Tongyi Laboratory Technology Co., Ltd. All Rights Reserved." — был сохранён в текстовом файле «Notice», распространяемом вместе с копиями.

Ещё два правила обязательны для того, кто выполняет квантование, и для любого, кто создаёт что-либо на основе результата. Если вы обучаете, дообучаете или улучшаете ИИ-модель с использованием материалов или их выходных данных, а затем распространяете её, вы должны на видном месте указать «Built with Qwen» или «Improved using Qwen» в документации к продукту. И вы не можете использовать «Qwen» в качестве основного названия или идентификатора производной работы, хотя описательное использование, такое как «fine-tuned from Qwen Image», разрешено. Применимое право — китайское, исключительная юрисдикция принадлежит Народным судам Ханчжоу.

Практический вывод умещается в одну строку, и его стоит сформулировать прямо, ведь формат его скрывает: квантование весов не меняет лицензию. Каждый репозиторий, проверенный для этой страницы, содержит license_name: qwen-research и ссылается на файл LICENSE вендора, а количество загрузок файла GGUF не является предоставлением коммерческих прав. Для сравнения: более ранняя линейка Qwen image была разрешительной — карточки моделей для Qwen-Image, Qwen-Image-Edit, Qwen-Image-Edit-2511 и Qwen-Image-2512 на 13 октября 2026 года все указывали apache-2.0 — и Qwen-Image-2.1 выбивается из этой закономерности. Если цель — коммерческий пайплайн, лицензия — это первое, что нужно прочитать, а не последнее.

Что это значит для вас

Сформулировано как решение, а не как резюме: если ваша видеокарта не может вместить трансформер на 14,23 ГБ плюс энкодер на 17,53 ГБ плюс VAE, то сборка GGUF — единственный способ вообще запустить Qwen-Image-2.1, и честно ожидать, что квантование среднего уровня обеспечит вам запуск, но обойдётся потерей в мелких деталях, руках, мелком тексте и следовании инструкциям — при этом нет опубликованных измерений, которые сказали бы, насколько. Если ваша видеокарта может это вместить, то путь safetensors — это тот, который документирует производитель, и тот, у которого есть определённый эталон.

Двум читателям нужно по одному предложению в другом месте этого ресурса. Если на самом деле вам нужна community-сборка с удалённой фильтрацией безопасности, а не обсуждение формата, то это другая страница, и нецензурированные сборки рассматриваются там. А если ваша настоящая цель — работающий граф узлов, а не файл, который приходится собирать вручную, то страница ComfyUI проводит по всему конвейеру, загрузчик за загрузчиком.

Остаётся открытым то, чего экосистема не опубликовала: контролируемое сравнение этих уровней на фиксированном сиде, с одним и тем же промптом и одним и тем же сэмплером, на железе, которое кто-то назовёт. Замечание RealRebelAI о том, что обычный Q4_K_M заметно деградировал по сравнению с эталоном INT8, тогда как сборка со смешанной точностью с той же маркировкой — нет, — это самое близкое к такому ответу из доступного публично, и это собственный A/B-тест одного издателя. Пока кто-то не опубликует это сравнение, уровень, который вам следует выбрать, — самый высокий из тех, что позволяет ваша память, а маркировка в имени файла — более слабая гарантия, чем политика тензоров, стоящая за ней.