GigaChat3.5-Omni 的标题卡,文字为“GigaChat3.5-Omni 泄露:Sber 的 432B 模型在草稿 PR 中长出了眼睛和耳朵”,带有“早期信号——尚未发布”徽章和四个标签:“SGLang PR #51276 · 创建于 2026 年 11 月 18 日”、“总计 432B / 激活 28B”、“InternViT-300M 加 24 层 conformer 音频”以及“检查点:未公开”。页脚写着“来源:sgl-project/sglang PR #51276,草稿且未合并。”
Guides & Insights

GigaChat3.5-Omni 泄露:Sber 的 432B 模型在一份草稿 PR 中长出了眼睛和耳朵

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2026年11月18日,SGLang 仓库中打开的一份草稿拉取请求描述了一个并未公开存在的模型:GigaChat3.5-Omni-432B-A28B,即 GigaChat 3.5 Ultra——Sber 的 432B 参数混合专家语言模型——并附加了 InternViT-300M 视觉塔和一个 24 层 conformer 音频编码器,可接收图像、带或不带伴音的视频、音频文件以及三者的混合输入。这句话中的任何内容都无法对照模型卡进行核实,因为并不存在公开的模型卡。该 PR 链接的 Hugging Face 仓库如今查询会返回 HTTP 401,在 Hugging Face 上按名称搜索没有任何结果,而 Sber 自己的开发者文档仍将 GigaChat 3 Ultra 列为其最新一代模型,列表中任何位置都没有多模态条目。实际存在的是 3,290 行新增的服务代码、一个配置文件、约 2,000 行测试,以及一张参考列被人留空的基准测试表。

这可不是小事。这种形态的拉取请求,只有亲自把检查点摆在面前的人才写得出来:处理器会把图像解码、像素布局和 log-mel 提取交给检查点自带的远程代码,通过 --trust-remote-code 来完成,这意味着作者必须实际运行过它,才知道那些张量长什么样。因此,有用的问题不是“Sber 宣布这件事了吗”——它没有——而是这段代码说明了一个很可能此刻正躺在私有仓库里的模型是什么样,以及这对任何目前按 token 付费来让音频和视频得到理解的人意味着什么。

这个拉取请求实际上描述了什么

SGLang PR #51276 的标题为“[Feat] gigachat35-omni:添加 GigaChat3.5-Omni 图像、视频和音频支持”。它仍是草稿,尚未合并,而且其 CI 被跳过正是因为它是草稿。该实现是一个轻量封装——GigaChat35OmniForConditionalGeneration,封装了现有的 GigaChat35ForCausalLM——并在其周围加入三项新内容:一条经由 InternVisionModel 的视觉路径和一个 pixel-shuffle MLP 投影器、一个仓库内的 conformer 音频编码器,以及一个负责排布占位符的处理器。以下所有内容均为 PR 作者对该模型的自行描述,且其中没有任何内容得到 Sber 的确认。

• 语言栈——与 GigaChat 3.5 相同:总参数 432B,激活参数 28B,256 个路由专家、每个 token 使用 8 个,40 层,采用将 MLA 与 Gated DeltaNet 线性注意力层混合的混合注意力,两个 MTP 头。这些数字来自公开的 GigaChat 3.5 Ultra 模型卡,因此这部分是可验证的。

• 视觉 — InternViT-300M,图像被分割为 448×448 的裁剪块,每个裁剪块包含 256 个 token。

• 音频 — 一个 24 层 conformer,宽度 1,024,16 个注意力头,4,096 宽的前馈层,64 个梅尔频带,子采样因子为 4,注意力限制在 200 帧的块内,每层带有一个块的 halo。音频以每秒 6.25 个 token 的速率进行 token 化,即每 160 毫秒一个 token。

• 视频 —— 第一帧保留全部 256 个 token;后续帧平均保留 77 个,而具体保留哪 77 个是在编码之后决定的:按照每个 token 与上一帧同一位置的平均绝对差进行排序。通过对整个片段做一次稳定排序来挑选这些 token,因此某一帧最终保留的数量可能多于或少于 77 个。

• 带声音的视频 — use_audio_in_video会将每一帧对应的音轨 token 交错插入到该帧之后,并在帧之间插入 HH:MM:SS 时间戳。

• 长音频——超过 32 分钟的片段会以带 halo 的窗口进行编码,PR 称这与单次处理逐位相同。其声称:单节点可处理五小时音频。

• 故障行为——格式错误的媒体会返回 400,而不是让调度器崩溃,并且 SGLANG_VLM_CACHE_SIZE_MB在此架构下默认值为 2048,因为自带的 100 MiB 无法容纳长视频的嵌入,且每个预填充分块都会重新运行编码器。

草稿就是草稿

值得精确说明其中有多少在今天可验证,因为跳过 CI 的草稿 PR 只是一个提案,而不是关于已发布运行时的既成事实。文件 gigachat35_omni.py 在 SGLang 的 main 分支上并不存在——在那里获取它会返回 404——并且 main 中的多模态支持模型页面没有 GigaChat 条目。该 PR 只有一个提交,来自一个其唯一与 SGLang 的交互就是此 PR 的账户,而它唯一的评论是一条文档机器人说明,请求批准来自某个 fork 的预览。

在整个故事中,溯源是最有力的间接证据。处理器的整个媒体路径都被委托给“该检查点的远程处理器”,而作者报告称,提示 ID 与“模型训练和评估所用的服务栈”一致——这是一个未具名、未公开的内部参考栈。你不可能针对一个自己从未运行过的模型写出上述任何一项。Sber 墙外的人需要拿到该检查点;墙内的人则拥有内部栈。公关稿里没有任何一句话说明究竟是哪一种情况,而本文不会妄加猜测。

A two-card infographic headlined 'GigaChat3.5-Omni-432B-A28B — what the PR discloses, and what is missing'. The left card, 'Disclosed in the code', lists 432B total and 28B active over 256 routed experts with 8 per token; an InternViT-300M vision tower at 256 tokens per 448x448 crop; a 24-layer conformer audio encoder at 6.25 tokens per second; video at 256 tokens for the first frame then about 77 per frame; a 32-minute window in code against five hours claimed in the PR text; and a new model_type gigachat3_5_omni with its own token ids. The right card, 'Not available to check', lists a public checkpoint that returns HTTP 401, a draft status of one commit with CI skipped, a completely empty speed table, no independent benchmark, unstated licence and pricing, and no announcement from Sber. Footer reads 'All rows from sgl-project/sglang PR #51276, draft and unmerged; nothing here is confirmed by Sber.'

代码清楚表明的一点是,这不是重命名,也不是配置标志。该模型注册了一个新的 model_type(gigachat3_5_omni),它有自己的 token id —— 128004 用于图像,128005 用于视频帧,128006 用于音频,128007 用于音轨 —— 还带有新的处理器、一种新的嵌入结果类型,mm_schedule.py 必须在现有 EVS 路径旁对其进行分派,并为分块预填充提供新的处理方式,因为一帧保留多少个 token 只有在编码之后才能知道。这正是训练时就将这些预处理决策内嵌进去的模型所具有的特征,而不是一个假设性地硬接到文本检查点上的社区微调模型所具有的特征。

token 的数学计算才是值得一读的部分

先暂时跳过基准测试表。PR 里的算术才是实质,因为它告诉你:一个能接收长音频和视频的 432B 模型,是否是你负担得起运行的东西——而且即使 Sber 对这款模型只字不提,这部分也不会改变。

以一小时音频为例。按每秒 6.25 个 token 计算,就是 22,500 个输入 token,再加上每 60 秒一个时间戳和结尾的时长戳——相比音频本身,这只是很小的零头。以一段 512 帧的视频为例。第一帧 256 个 token,之后每帧 77 个 token,在计入音轨之前,这段视频约为 39,600 个 token;对于半分钟的素材来说,这大约相当于 128K 上下文的三分之一。再加上音轨,每一帧还会额外承载 token。这就是变化缩减方案的全部理由:没有它,512 帧、每帧 256 个 token 就是 131,072 个 token,一段视频就会占满整个 128K 窗口。

这在金钱上意味着什么,很容易对照你今天可以调用的模型来核实。在 OrcaRouter 的目录中,混合媒体条目目前对一小时音频的定价如下:

• Gemini 3.8 Flash — 每百万输入 token 0.75 美元,因此一小时音频约 1.7 美分,一段 512 帧的片段约 3 美分。

• Qwen3-VL 235B A22B Instruct — 每百万输入 token 0.40 美元,因此大约每小时 0.9 美分、每个片段 1.6 美分。

• DeepSeek V4 Flash Vision Exp — 每百万输入 token 0.22 美元,但仅支持图像输入;完全无法接收音频。

把它放到真实工作负载下。四十小时的通话录音是 900,000 个 token:按供应商标价,在 G​oogle 的价目表上约 68 美分,在 Q​wen 的价目表上约 36 美分。OrcaRouter 零加价透传供应商费率,因此其中任何一项的供应商降价都会当天在我们这边生效——这也是我们在这里所能说的诚实边界:GigaChat3.5-Omni-432B-A28B 不在我们的目录中,我们也不是调用它的途径。它在任何地方都无法调用。这笔算术的重点在于,当类似的东西真的出现时,音频并不是昂贵的那部分;无法压缩的 token 才是。

PR 中 32 分钟窗口和五小时的说法也正落在这一点上。这些数字对在八块 H100 上自托管该模型的人很重要,因为它们决定当请求被拆分到多个预填充块时,一段长录音有多少需要重新编码。但对按 token 付费的人来说,这些数字并不重要,因为无论由哪个编码器生成,一小时的音频就是一小时音频。

四个基准数字,一列空白

PR 报告了四项分数,这些分数是在八块 H100 上以 FP8、张量并行度为 8、贪心解码运行的:MMLU-Pro 73.07、MMAU test-mini 78.50、MMMU 验证集 64.11,以及带音轨的 512 帧片段上的 Video-MME 80.74。解读这些分数时请附带三点注意事项,这些注意事项都可在 PR 页面上看到。

第一点是,参考列是空的。表里有一列对应模型最初的服务栈,还有一列对应当前这个 PR,而只有第二列填了内容,因此这些数字旁边都没有印出基线,也无法从表中判断这个移植版本是与模型训练时所用的服务栈持平,还是逊于它。正文确实提出了一个对等性声明——在参考实现能够服务的每个请求上 prompt id 完全一致,19 个请求中有 19 个的首个 token 匹配——这间接告诉你,参考实现无法服务二十个固定请求中的一个。

第二项是检查清单。条目“根据 Test the accuracy 提供准确性和速度基准测试结果”未被勾选,而速度表——其行对应批次 1 和批次 16,列包括基础解码、MTP 解码、加速比和接受长度——完全为空。因此,这个模型根本没有吞吐量数据,尽管语言栈中有两个 MTP 头,而公开的 GigaChat 3.5 卡片称其可实现最高 2.2× 的生成速度。

第三点是背景,而这里的数字变得有意思,而不只是显得单薄。MMLU-Pro 的 73.07 比 GigaChat 3.5 Ultra 自己的模型卡为文本模型在同一基准名称下报告的 75.68 低约 2.6 分——这可能意味着多模态版本牺牲了一些文本质量,也可能意味着两次运行使用了不同的测试框架,而目前没有任何已发布资料能让你在两种解释之间做出选择。MMAU 的 78.50 高于 GigaChat 自己的音频模型卡中为 Qwen3-Omni 列出的 74.7,也远高于同一张卡为 Sber 自家的 GigaChat3.1-Audio-10B-A1.8B 报告的 62.2——那张卡是在完整 MMAU 集而非 test-mini 子集上测得的,所以应把这一比较视为提示性的,而非同等条件下的直接对比。MMMU 的 64.11 是一个中游的图像理解分数。Video-MME 在带音频的 512 帧片段上达到 80.74,这一项如果有任何独立方复现,就会引人侧目。

A single-column scoreboard titled 'GigaChat3.5-Omni — the four numbers in the PR', with five rows: 'MMLU-Pro: 73.07 — text model card says 75.68', 'MMAU: 78.50 on test-mini — Qwen3-Omni listed at 74.7', 'MMMU: 64.11 on the val split', 'Video-MME: 80.74 at 512 frames with audio', and 'Hardware: eight H100s, FP8, TP8, greedy decoding'. A full-width note reads 'Reference column in the PR table: left blank.' A footer reads 'PR-reported, one commit, CI skipped on the draft; no independent run and no Artificial Analysis page.'

服务需要什么,以及Sber说了什么

先看部署现实。GigaChat 3.5 Ultra 背后的 FP8 文本检查点是 39 个文件共 437.9 GB,因此在 H100 上做 8 路张量并行时,每张卡在 KV 缓存之前大约要放下 55 GB 权重——这就是为什么该 PR 的测试环境是八张 H100,也是为什么对 Omni 变体来说这不会有太大变化。相比 432B,这两个塔只是舍入误差:InternViT-300M 加上一个 24 层、宽度 1,024 的 conformer,远低于十亿参数,所以硬件需求本质上就是语言模型的需求。元数据、启动标志以及 gigachat35 工具调用解析器,已经随着九月合并的 GigaChat 3.5 工作进入 SGLang main,而且该项目的 cookbook 从那时起就有 GigaChat 3.5 页面;main 中不存在的是任何多模态路径。

Sber 自己并未发布过本文所能查到的任何内容。其开发者文档将 GigaChat 3 Ultra 列为最新一代模型,与 GigaChat 2 Max、Pro 和 Lite 以及若干嵌入模型并列——没有 3.5,没有 Omni,也没有任何多模态条目。Artificial Analysis 上没有 GigaChat 3.5 Ultra 的页面,也没有 Omni 变体的页面——我们今天尝试过的任何 slug 都查不到,因此同样没有可供推断基础模型表现的独立评分。公开的 GigaChat 3.5 Ultra 模型卡是真实存在的,采用 MIT 许可证,面向俄语和英语,并报告了一组厂商基准成绩,包括 TAU2-bench 68.71、SWE-bench Verified 42.6、Terminal-Bench 2 为 13.48、LiveCodeBench v6 为 56.2——全部为 Sber 自家数据,未经复现,且均仅针对文本模型。

音频这条谱系是其中读起来像计划、而非偶然的部分。Sber 于 2026 年 7 月推出了 GigaChat3.1-Audio-10B-A1.8B:一个 conformer 语音编码器和一个模态适配器接入 10B 混合专家解码器,在专门构建的长音频数据集上针对时序定位进行训练,并将带时间戳的描述和长音频摘要作为其主打能力。这正是 Omni PR 的标记方案旨在保留的能力——每帧之前一个时间戳、每六十秒音频一个标记、结尾一个时长——而 PR 配置中的 conformer 维度也与将这一整套堆栈并入 432B 模型、而不是让它另立一旁的做法相符。

怎样才能了结此事?

四件事,按它们能提供的信息量从少到多排列。该仓库 ID 下的一个公开检查点将确认模型存在,并让任何人都能读取配置,而该配置目前是塔维度仅有的全部事实依据。一个已合并、非草稿且 CI 通过的 PR 将告诉你,这个移植版本能跑通的不只是作者那二十个固定请求。一张填有数字的速度表将告诉你,两个 MTP 头是否在多模态封装层中存活下来,而这决定了模型能否用于交互式服务。一项独立基准测试——任何人的都行,在完整数据集而非 test-mini 上——将告诉你 78.50 和 80.74 是否有任何意义。

在此之前,对读者来说决定很简单,而且它并不取决于这次泄露是否得到解决。如果你的产品今天就需要理解音频或视频,GigaChat3.5-Omni-432B-A28B 并不在可选范围内,也没有任何公告把它列入其中;能完成这项工作的模型已经按 token 计价,而上面的算术表明,账单比大多数团队设想的要小。如果你计划在自己的 H100 上自托管一个俄语多模态技术栈,这个 PR 是此类检查点正在被构建的最早公开证据,而且它的 token 核算现在值得一读——决定你内存预算的是压缩方案,而不是基准测试表。

The GitHub pull request page for sgl-project/sglang PR #51276, titled '[Feat] gigachat35-omni: Add GigaChat3.5-Omni image, video and audio support', showing 'Mogreine wants to merge 1 commit into sgl-project:main from Mogreine:gigachat35-omni', the tab strip with Commit 1, Checks 133 and Files changed 26, and the top of the Motivation section describing GigaChat3.5-Omni-432B-A28B as the GigaChat3.5 language model at 432B total and 28B active parameters with hybrid MLA and Gated DeltaNet attention, an InternViT-300M image and video encoder and a 24-layer conformer audio encoder loaded from the checkpoint.

接下来我们要关注的是:仓库是否会公开、PR 是否会不再是草稿,以及在这两件事任一发生之前,Sber 的开发者文档是否会新增一个多模态条目。这三者中任何一个都会让本文从一篇“目前已知”的报道变成一篇发布报道,而这篇文章就需要重写,而不是更新。