Gemma 4 12B: взгляд внутрь новой 12B-модели Google без энкодера

Gemma 4 12B — средний по размеру представитель семейства Gemma 4 от DeepMind: плотная модель с открытыми весами на 11,95 млрд параметров, которая читает текст, изображения, аудио и видеокадры и пишет текст, а её определяющее инженерное решение состоит в том, что в ней вообще нет мультимодальных энкодеров. Она находится между ориентированной на периферийные устройства Gemma 4 E4B и более крупной и разреженной Gemma 4 26B A4B. В заметке о запуске её задача описывается как перенос агентной мультимодальной работы на ноутбук — рассуждения, использование инструментов, программирование и понимание документов или экрана, которые выполняются на машине перед вами, а не через тарифицируемое подключение. Это также тот размер, на который приходится всё присутствие этого семейства на нашем собственном сайте: о ней написаны три страницы сравнения, и до этой не было страницы о самой модели.

Эту инверсию стоит назвать сразу, потому что она объясняет устройство всего дальнейшего. Читатели приходят к Gemma 4 12B не так, как приходят к флагману. Они приходят сбоку, обычно со страницы сравнения, часто потому, что настоящий вопрос — какой размер Gemma 4 — и они хотят узнать, что на самом деле представляет собой левая сторона сравнения, прежде чем потратят на неё загрузку. Запросы, которые мы измеряем по этому названию, в подавляющем большинстве сравнительные; сам по себе голый термин слаб. Так что это справочная страница: что такое 12B, что указано в его карточке модели, что требуется для запуска, что разрешает его лицензия и какое из трёх существующих сравнений уже отвечает на вопрос, с которым вы пришли.

Это не история о запуске, и её не следует воспринимать как таковую. Gemma 4 12B была выпущена 3 июня 2026 года — за 132 дня до этой страницы — и за семь дней до публикации в модели ничего не изменилось. Эта дата взята из примечания к выпуску самого вендора, и она используется здесь, чтобы указать место модели во времени, а не объявить о ней.

Что такое 12B и чем он отличается от 26B A4B

Семейство Gemma 4 включает пять размеров, и это не пять точек на одной линии. В карточке модели они перечислены как E2B, E4B, 12B Unified, 26B A4B и 31B, и они разделяются на две архитектуры: три плотные модели и одна смесь экспертов, при этом размеры E используют послойные эмбеддинги, чтобы уменьшить то, что фактически выполняется на устройстве.

Gemma 4 12B— плотная модель. В карточке модели указано 11,95 млрд параметров в общей сложности на 48 слоях, со скользящим окном в 1024 токена и контекстом в 256 тыс. токенов. Gemma 4 26B A4B, напротив, — это смесь экспертов в семействе: 25,2 млрд параметров в общей сложности, но лишь 3,8 млрд активных на каждый токен, распределённых по 30 слоям, с 8 активными экспертами из 128 плюс один общий эксперт. Эта буква «A» — весь смысл названия: модель несёт 26 млрд весов, но на каждом прямом проходе задействует лишь около 4 млрд из них, поэтому в карточке модели говорится, что она работает почти так же быстро, как модель на 4 млрд параметров, и при этом хранит гораздо больше знаний.

Итак, честное различие в одну строку таково. 26B A4B — это размер, который вы выбираете, когда вам нужна максимальная производительность на единицу задержки и у вас есть рабочая станция или сервер, чтобы его разместить. 12B — это размер, который вы выбираете, когда машина — ноутбук, а бюджет — 16 ГБ памяти. В заметке о запуске 12B представлен как мост между E4B и 26B A4B, и спецификация это подтверждает.

Более интересное различие — архитектурное, и именно поэтому 12B обозначается как «Unified», а не просто «Dense». Все остальные мультимодальные модели в семействе пропускают изображения и аудио через выделенные энкодеры, прежде чем передать результат языковой модели — в карточке указаны визуальный энкодер на ~150M и аудиоэнкодер на ~300M для E-размеров, а также визуальный энкодер на ~550M как у 31B, так и у 26B A4B. У 12B нет ни того, ни другого; столбец параметров визуального и аудиоэнкодеров у 12B в обоих случаях обозначен прочерком.

То, что их заменило, невелико. В посте о запуске зрение описывается как легковесный модуль встраивания — одно матричное умножение плюс позиционное встраивание и нормализация, — а аудио — как полное удаление энкодера и проецирование необработанного сигнала в то же размерное пространство, что и текстовые токены. Необработанные фрагменты изображений и звуковые волны попадают напрямую в единственный трансформер, состоящий только из декодера. Заявленный выигрыш — более низкая мультимодальная задержка и возможность дообучить всю систему за один проход, по всем модальностям, с помощью одного адаптера, а не отдельного для каждого энкодера.

Именно поэтому 12B — первая среднеразмерная модель Gemma с нативной поддержкой аудиовхода. На карточке строка модальностей для E2B, E4B и 12B указана как «Текст, изображение, аудио»; у 31B и 26B A4B отмечено только «Текст, изображение».

Спецификация, как указано в карточке модели

Всё в этом разделе взято из карточки модели Gemma 4 на ai.google.dev, которая охватывает всё семейство, а не только 12B. Там, где карточка умалчивает, это отмечено, а не восполнено.

• Длина контекста — 256K токенов у модели 12B. В карточке явно указано это разделение: малые модели (E2B, E4B) получают 128K, средние модели (12B, 26B A4B, 31B) получают 256K.

• Модальность — ввод текста, изображений и аудио; вывод текста. В карточке видео указано как возможность семейства, обрабатываемая в виде последовательностей кадров, а также описывается ввод изображений с переменным соотношением сторон и разрешением для всех размеров.

• Общее число параметров — 11.95B, dense, 48 слоёв. В карточке не указано значение активных параметров, поскольку нет экспертов, которых можно активировать.

• Скользящее окно — 1 024 токена, вдвое больше 512, используемых в E-sizes.

• Словарь — 262K, общий для всех пяти размеров.

• Внимание — гибрид, который чередует локальное внимание со скользящим окном и полное глобальное внимание, при этом последний слой всегда глобальный. Глобальные слои используют унифицированные ключи и значения, а также пропорциональный RoPE, чтобы снизить потребление памяти при длинном контексте.

• Языки — предварительно обучена на 140+ языках, при этом в карточке заявлена поддержка 35+ языков из коробки.

Два числа, которые стоит согласовать, потому что они выглядят как расхождение, но таковым не являются. В карточке модели указано 256K токенов; на странице модели Artificial Analysis, посвящённой Gemma 4 12B, указано 262k. Это одно и то же значение, записанное двумя способами: 262 144 токена — это 256K. И именно цифра словарного запаса 262K, стоящая рядом в карточке, заставляет эту пару выглядеть противоречивой при беглом взгляде.

В бенчмарках карточка публикует таблицу семейства для чекпоинтов с инструкционной настройкой, и это числа, заявленные вендором, а не независимые. Для Gemma 4 12B в карточке указано 77.2% на MMLU Pro, 78.8% на GPQA Diamond, 77.5% на AIME 2026 без инструментов, 72.0% на LiveCodeBench v6, рейтинг ELO на Codeforces 1659, 69.1% на MMMU Pro и 43.4% на MRCR v2 при 128K с восемью иглами. В той же таблице Gemma 4 26B A4B значится с 82.6% MMLU Pro, 88.3% AIME, 77.1% LiveCodeBench и 44.1% MRCR — впереди по большинству строк, чего и следовало ожидать от более крупной модели, и достаточно близко по нескольким, чтобы разрыв в размере не был единственным объяснением.

Независимая оценка от Artificial Analysis сводится к одной главной цифре: показатель Intelligence Index — 14, 20-е место из 141 модели в своей сравнительной категории, измеренная скорость вывода — 110,9 токена в секунду, а совокупная стоимость — $0,10 за миллион входных токенов и $0,30 за миллион выходных. Эти цифры стоимости — медиана по сторонним платформам, обслуживающим открытые веса, а не прайс-лист производителя; об этом стоит сказать точно, потому что производитель вообще не публикует цену за токен для 12B в карточке модели.

Запуск: что ему на самом деле нужно

В посте о запуске прямо указано главное требование: 12B «достаточно мал, чтобы работать локально всего с 16 ГБ VRAM или унифицированной памяти». Опубликованные для него размеры квантизации делают это наглядным.

• Полная точность — чекпоинт, дообученный на инструкциях, на Hugging Face — это один файл safetensors объёмом 23,92 ГБ. При bfloat16 это чистый объём весов, ещё без KV-кэша, поэтому машина с 16 ГБ его не вместит, а карте с 24 ГБ будет впритык.

• Собственные квантованные сборки производителя — потому что 12B поставлялся с обучением с учётом квантования, а не только с постфактум-квантователем. Производитель публикует QAT GGUF размером примерно 6,98 ГБ для весов плюс файл мультимодальной проекции на 0,18 ГБ, а также сборку QAT compressed-tensors (w4a16) размером 10,26 ГБ. Также опубликован неквантованный QAT-чекпоинт, специально предназначенный в качестве базы для дообучения перед повторным квантованием.

• Community GGUF — широко зеркалированная сборка Unsloth занимает от примерно 4,2 ГБ при самой агрессивной 2-битной до 6,38 ГБ при IQ4_XS, 7,12 ГБ при Q4_K_M, 8,41 ГБ при Q5_K_M и 12,67 ГБ при Q8_0. Зеркало LM Studio публикует Q4_K_M размером 7,38 ГБ, Q6_K — 9,79 ГБ и Q8_0 — 12,67 ГБ, каждый с тем же 0,18-ГБ файлом проекции.

• MLX — 8-битная квантованная сборка для Apple silicon занимает около 12,7 ГБ в трёх файлах; 4-битная сборка сообщества для дообученной под кодинг модели — около 6,7 ГБ.

В совокупности это и есть практический ответ на вопрос «поместится ли это». 4-битная сборка Gemma 4 12B объёмом около 7 ГБ — это версия, которая позволяет работать на 16-гигабайтном ноутбуке, ровно как утверждает производитель. Если вы хотите использовать модель без квантования, целевое требование — видеокарта на 24 ГБ или больше, а если вам нужен полный контекст в 256K, потребуется запас сверх объёма весов под кэш.

Две вещи, которых источники вам не дают и которые эта страница не станет выдумывать. Производитель не публикует показатель пропускной способности для локального инференса — 110,9 токена в секунду от Artificial Analysis — это измерение, выполненное на хостинге, на инфраструктуре третьей стороны, а не цифра для ноутбука, и эти два значения не взаимозаменяемы. И не существует опубликованной таблицы минимального объёма ОЗУ для каждой квантизации; приведённые выше размеры — это размеры файлов, то есть нижняя граница, а не требование.

Что карточка модели действительно описывает, так это скорее окружающую цепочку инструментов, чем какую-либо одну официально рекомендованную среду выполнения: Hugging Face Transformers, llama.cpp, MLX, SGLang, vLLM и Unsloth для инференса и дообучения, при этом LM Studio, Ollama и LiteRT-LM — это готовые локальные решения, а веса размещены на Hugging Face и Kaggle. 12B также поставляется с драфтерами многотокенного предсказания, опубликованными в виде отдельных ассистентских чекпоинтов — небольшая дополнительная загрузка, которая снижает задержку ценой памяти.

Один факт о маршрутизации, изложенный прямо, потому что это как раз то, что страница сравнения оставляет неоднозначным: Gemma 4 12B — это не модель, которую обслуживает OrcaRouter, ни в одном написании — ни под голым названием, ни в варианте с датой, ни в квантованном виде. Размеры Gemma 4, которые мы маршрутизируем, — это 26B A4B и 31B. Так что если вы хотите вызывать эту модель, путь — самостоятельный хостинг весов или сторонний хостинг, который их обслуживает; если вы предпочитаете не запускать её самостоятельно, честный следующий шаг — проверить, не даст ли вам другой размер этого семейства то, что вам было нужно.

Лицензия, конкретно для этого размера

В карточке модели Gemma 4 лицензия указана как Apache 2.0, и там есть ссылка на страницу лицензии Gemma 4, где размещён текст Apache 2.0 — стандартной лицензии Apache, без ограничений на использование, без порога по числу ежемесячно активных пользователей и без отдельного коммерческого уровня. Репозиторий Hugging Face для чекпоинта 12B, настроенного на выполнение инструкций, содержит такое же заявление в своих метаданных и указывает на тот же URL лицензии. Так что для этого размера ответ на вопрос о лицензии короткий: используйте, изменяйте, распространяйте — в коммерческих или иных целях — на условиях Apache 2.0.

Рядом с ней существуют два сопутствующих документа, о которых стоит знать, а не путать их с лицензией. Вендор публикует страницу с Условиями использования Gemma и Политику запрещённого использования Gemma. Политика запрещённого использования — это документ о поведении, перечисляющий категории выходных данных, для генерации которых модели нельзя использовать. Это политика, а не лицензионное ограничение на веса — сами веса распространяются под Apache 2.0, что и делает возможным появление производных от этой модели, созданных сообществом, в принципе. Если вы распространяете Gemma 4 12B или её дообученную версию, именно лицензия регулирует ваше распространение; политика регулирует допустимое использование.

Это различие отвечает на вопрос, который поднимает экосистема производных сообщества, не требуя характеризовать чьё-либо поведение. Поскольку веса открыты под разрешительной лицензией, третьи стороны могут и действительно публикуют файнтюны и квантованные версии 12B — аблетированные варианты, доменные файнтюны, альтернативные рецепты квантования. Лицензия допускает распространение этих производных; она же — причина их существования.

Три сравнения, за которыми стоит эта страница

Все три активные страницы под этим корнем — это сравнения, и каждая из них уже отвечает на свой вопрос. Эта страница не выносит вердикт ни по одной из них — она и есть то, что они описывают.

• Gemma 4 12B vs Gemini 3.5 Flash-Lite — проясняет, что происходит, когда оба варианта — от самого вендора, а ось сравнения — способ оплаты: модель, которую вы скачиваете под Apache 2.0, против самого дешёвого тарифицируемого уровня хостируемого API.

• Gemma 4 12B против GLM 5.2 — подводит итог этому вопиюще асимметричному сравнению: 12B без энкодера, который можно запустить на ноутбуке, против смеси экспертов с открытыми весами на 744B параметров, созданной для долгосрочного агентного программирования, по цене в несколько раз выше.

• Gemma 4 12B vs Qwen3.8 Max — напрямую отвечает на вопрос «локально или в аренду»: машина у вас на столе против флагмана той же лаборатории, доступного за плату по токенам.

Если на самом деле вам нужен один из других размеров Gemma 4, а не ещё одно сравнение с 12B, то страница, которая охватывает все пять сразу, — это семейный хаб, где E2B, E4B, 26B A4B и 31B описаны вместе. А если вы уже решили, что 12B — не тот размер, то модели, с которыми его чаще всего сравнивают, — GLM 5.2, Qwen3.8 Max и Gemini 3.5 Flash-Lite — все доступны через OrcaRouter по одному ключу, с 0% наценки к собственной прайс-листовой цене провайдера, поэтому снижение цены поставщиком появляется здесь в тот же день, когда о нём объявляют.

Что не решено

О двух пробелах стоит сказать прямо, а не замалчивать их. Таблица бенчмарков выше — это данные производителя: его собственная карточка и методика оценки, — и хотя с тех пор Artificial Analysis независимо присвоила модели Intelligence Index 14, широкого независимого воспроизведения показателей по отдельным бенчмаркам нет, поэтому относитесь к числам в строках как к заявлениям. И не существует опубликованной таблицы памяти по отдельным квантованиям для 12B, а значит, фраза «16GB достаточно» — это заявление производителя, подкреплённое размерами файлов, а не измеренная конфигурация, которую можно скопировать.

Саму модель легко позиционировать: это мультимодальная модель Apache 2.0 без энкодера с 12 млрд параметров, датированная 3 июня 2026 года, которая будет работать на ноутбуке в 4-битном режиме и является самым маленьким размером Gemma 4 с нативным аудио. Но она не является моделью с тарифом на хостинг от первой стороны, и именно поэтому практическое решение вокруг неё — это в первую очередь решение об аппаратном обеспечении, а во вторую — о цене.

Если вы попали сюда из сопоставления и это сопоставление не то, которое вам нужно, следующая страница — это сравнение, соответствующее вашему вопросу, а если и его не окажется, то более широкое семейство Gemma 4 — 12B — это один размер из пяти, и нужный вам на самом деле размер может быть 26B A4B, который можно вызвать уже сегодня, или 31B, который можно запустить на верхней границе диапазона семейства.