GigaChat3.5-Omni 的標題卡,寫著「GigaChat3.5-Omni 外洩:Sber 的 432B 模型在草稿 PR 中長出了眼睛與耳朵」,帶有「早期訊號——尚未發布」徽章,以及四個標籤:「SGLang PR #51276 · 於 2026 年 11 月 18 日開啟」、「總計 432B/啟用 28B」、「InternViT-300M 加上 24 層 conformer 音訊」和「檢查點:未公開」。頁腳寫著「來源:sgl-project/sglang PR #51276,草稿且未合併。」
Guides & Insights

GigaChat3.5-Omni 外洩:Sber 的 432B 模型在草稿 PR 中長出了眼睛和耳朵

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026 年 11 月 18 日,SGLang 儲存庫中開啟了一份草稿 pull request,描述了一個並未公開存在的模型:GigaChat3.5-Omni-432B-A28B,也就是GigaChat 3.5 Ultra——Sber 的 432B 參數混合專家語言模型——附掛了 InternViT-300M 視覺塔與 24 層 conformer 音訊編碼器,可接收影像、含或不含配樂的影片、音訊檔案,以及上述三者的混合輸入。那句話裡的任何內容都無法對照模型卡查證,因為根本沒有公開的模型卡。PR 所連結的 Hugging Face 儲存庫如今查詢會回傳 HTTP 401,在 Hugging Face 上搜尋名稱也一無所獲,而 Sber 自家的開發者文件仍將 GigaChat 3 Ultra 列為其最新世代模型,清單中任何地方都沒有多模態項目。實際存在的是 3,290 行新增的 serving 程式碼、一份設定檔、約 2,000 行測試,以及一張參考欄被人留空的基準測試表。

這可不是小事。這種形式的 pull request,只可能出自一個手上真的握有該 checkpoint 的人:處理器把影像解碼、像素佈局與 log-mel 抽取都交給該 checkpoint 自己的遠端程式碼,透過 --trust-remote-code 來執行,這意味著作者必須實際跑過它,才知道那些張量長什麼樣子。所以真正有用的問題不是「Sber 有沒有宣布這件事」——它並沒有——而是這段程式碼透露了什麼,關於一個現在極可能還放在私有儲存庫裡的模型,以及這對任何目前按 token 付費、只求讓音訊與視訊被理解的人來說意味著什麼。

Pull Request 實際上描述的內容

SGLang PR #51276 的標題是「[Feat] gigachat35-omni:新增 GigaChat3.5-Omni 影像、影片與音訊支援」。這是草稿、尚未合併,而且它的 CI 之所以被跳過,正是因為它還是草稿。這項實作是一個薄封裝——GigaChat35OmniForConditionalGeneration 包裝現有的 GigaChat35ForCausalLM——周圍還有三項新東西:一條經由 InternVisionModel 的視覺路徑與 pixel-shuffle MLP 投影器、專案內的 Conformer 音訊編碼器,以及一個負責排列佔位符的處理器。以下全部都是 PR 作者對該模型的描述,且其中沒有任何一項經過 Sber 確認。

語言堆疊——與 GigaChat 3.5 相比未變:總參數 432B,啟用參數 28B,256 個路由專家、每個 token 選用 8 個,40 層,混合注意力將 MLA 與 Gated DeltaNet 線性注意力層混合,兩個 MTP 頭。這些數字來自公開的 GigaChat 3.5 Ultra 模型卡,因此這部分可驗證。

• 視覺 — InternViT-300M,影像分割為 448×448 的裁切區塊,每個區塊 256 個 token。

音訊 — 一個 24 層 conformer,寬度 1,024,16 個注意力頭,前饋網路寬度 4,096,64 個梅爾頻帶,子取樣係數 4,注意力限制於 200 幀的區塊,每層帶有一個區塊的 halo。音訊以每秒 6.25 個 token 進行 token 化,每 160 毫秒一個 token。

• 影片 — 第一幀保留其全部 256 個符元;後續幀平均保留 77 個,而哪 77 個是在編碼後決定的,方式是對每個符元與前一幀相同位置之間的平均絕對差進行排名。對整個片段進行穩定排序來挑選它們,因此某一幀最後可能保留多於或少於 77 個。

• 有聲影片 — use_audio_in_video 會將每個影格對應的音軌權杖交錯插入其後,並在影格之間加入 HH:MM:SS 時間戳記。

• 長音訊 — 超過 32 分鐘的片段會以帶光暈的視窗分段編碼,PR 表示這與單次編碼的結果位元完全相同。其說法是:單一節點可處理五小時的音訊。

• 失敗行為——格式錯誤的媒體會回傳 400,而不是讓排程器崩潰,且 SGLANG_VLM_CACHE_SIZE_MB 在此架構下預設為 2048,因為原有的 100 MiB 無法容納長影片的嵌入向量,且每個 prefill 分塊都會重新執行編碼器。

草稿就是草稿

值得精確說明其中有多少在今日可驗證,因為一個跳過 CI 的草稿 PR 只是提案,而不是關於已發布執行環境的事實。gigachat35_omni.py並不存在於 SGLang 的主分支上——在那裡取得它會回傳 404——而且主分支中的多模態支援模型頁面沒有 GigaChat 條目。該 PR 只有一個提交,來自一個其唯一 SGLang 互動就是這個 PR 的帳號,而它唯一的留言是一則文件機器人註記,要求取得來自某個 fork 的預覽核准。

出處是整篇報導中最強的間接證據。該處理器的整條媒體路徑都委派給「該檢查點的遠端處理器」,而作者回報 prompt-id 一致性時,是對照「訓練與評估該模型時所用的服務堆疊」——一個未具名、也未公開的內部參考堆疊。你不可能在沒跑過某個模型的情況下寫出上述任一項。Sber 牆外的人會需要那個檢查點;牆內的人則會有內部堆疊。PR 裡沒有任何內容說明是哪一種,而本文不會妄加猜測。

A two-card infographic headlined 'GigaChat3.5-Omni-432B-A28B — what the PR discloses, and what is missing'. The left card, 'Disclosed in the code', lists 432B total and 28B active over 256 routed experts with 8 per token; an InternViT-300M vision tower at 256 tokens per 448x448 crop; a 24-layer conformer audio encoder at 6.25 tokens per second; video at 256 tokens for the first frame then about 77 per frame; a 32-minute window in code against five hours claimed in the PR text; and a new model_type gigachat3_5_omni with its own token ids. The right card, 'Not available to check', lists a public checkpoint that returns HTTP 401, a draft status of one commit with CI skipped, a completely empty speed table, no independent benchmark, unstated licence and pricing, and no announcement from Sber. Footer reads 'All rows from sgl-project/sglang PR #51276, draft and unmerged; nothing here is confirmed by Sber.'

程式碼清楚表明的一點是,這不是重新命名,也不是設定旗標。模型註冊了一個新的 model_type(gigachat3_5_omni),並帶有自己的 token id——影像為 128004、視訊幀為 128005、音訊為 128006、原聲帶為 128007——還有一個新的處理器、一種新的嵌入結果類型,mm_schedule.py 必須在現有 EVS 路徑旁對其進行分派,以及對分塊預填充的新處理方式,因為一幀保留多少個 token 只有在編碼後才能知道。這正是模型在訓練時就已內建那些前處理決策的特徵,而不是社群微調假想性地硬接到文字檢查點上的產物。

代幣數學才是值得一讀的部分

先暫時跳過基準測試表格。公關稿裡的算術才是重點,因為正是它告訴你,一個能處理長音訊與影片的 432B 模型,是不是你負擔得起去跑的玩意兒——而這也正是就算 Sber 對這個模型隻字不提,也不會改變的部分。

以一小時的音訊為例。以每秒 6.25 個 token 計算,就是 22,500 個輸入 token,再加上每 60 秒一個時間戳記,以及結尾的時長戳記——相較於音訊本身,這只是小數目。以一段 512 幀的影片為例。第一幀是 256 個 token,之後每幀 77 個 token,這段影片在還沒算上配樂之前約為 39,600 個 token;對半分鐘的影片素材來說,這大約是 128K 上下文的三分之一。再加上配樂,每一幀還會額外帶上更多 token。這就是改動縮減方案的完整論據:若沒有它,512 幀、每幀 256 個 token 就會是 131,072 個 token,等於一整個 128K 視窗只用在一段影片上。

這在費用上代表什麼,很容易對照你今天就能呼叫的模型來查證。 在 OrcaRouter 的目錄上,混合媒體項目目前對一小時音訊的定價如下:

Gemini 3.8 Flash — 每百萬輸入 token 0.75 美元,因此一小時音訊約 1.7 美分,而 512 幀的片段約 3 美分。

• Qwen3-VL 235B A22B Instruct — 每百萬輸入 token 為 $0.40,因此每小時約 0.9 美分,每段片段約 1.6 美分。

• DeepSeek V4 Flash Vision Exp — 每百萬個輸入 token 為 $0.22,但僅限圖像輸入;完全無法接收音訊。

用真實的工作負載來衡量。四十小時的錄音通話是 900,000 個 token:按供應商牌價,在 G​oogle 的價目上是約 68 美分,在 Q​wen 的價目上是 36 美分。 OrcaRouter 以不加價的方式轉遞供應商費率,因此其中任一項的廠商降價,當天就會在我們這邊生效——這也是我們在這裡能誠實說明的界限:GigaChat3.5-Omni-432B-A28B 不在我們的目錄中,我們也不是呼叫它的途徑。它在任何地方都無法呼叫。這筆算術的重點在於:當類似的東西真的出現時,昂貴的不是音訊,而是你無法壓縮的 token。

那也是 PR 的 32 分鐘視窗與五小時說法所在。這些數字對在八張 H100 上自行託管模型的人很重要,因為它們決定當請求被拆分到多個預填充區塊時,長錄音有多少必須重新編碼。對按 token 付費的人則不重要,因為一小時的音訊就是一小時的音訊,無論是哪個編碼器產生的。

四個基準測試數字,一個空白欄位

這份 PR 報告了四項分數,是在八張 H100 上以 FP8、tensor-parallel 8、貪婪解碼執行所得:MMLU-Pro 73.07、MMAU test-mini 78.50、MMMU validation 64.11,以及 Video-MME 在含其配樂的 512 幀片段上為 80.74。請在附帶三點注意事項的前提下解讀這些分數,而這三點全都可見於 PR 頁面本身。

第一點是參考欄為空。表格中有一欄是模型原始的 serving stack,另一欄是這個 PR,而只有第二欄有填寫,因此這些數字旁邊都沒有印出基準,也無法從表格判斷移植版本是與模型訓練時所用的堆疊相當,還是劣於該堆疊。正文確實提出了一項對等性主張——參考版本可服務的每個請求都有相同的 prompt ID,19 個中有 19 個的首個 token 相符——這也間接告訴你,參考版本無法服務二十個固定請求中的其中一個。

第二個是檢查清單。標示為「根據 Test the accuracy 提供準確度與速度基準測試結果」的項目未勾選,而速度表雖然有 batch 1 和 batch 16 的列,以及基礎解碼、MTP 解碼、加速倍率與接受長度的欄位,卻完全空白。因此,這個模型完全沒有吞吐量數字,儘管公開的 GigaChat 3.5 模型卡將高達 2.2× 的生成速度歸功於語言堆疊中的兩個 MTP 頭。

第三個是上下文,而在這裡,數字變得有趣,而不只是單薄。MMLU-Pro 的 73.07 比 GigaChat 3.5 Ultra 自家模型卡針對同一基準名稱的文本模型所報告的 75.68 低約 2.6 分——這可能意味著多模態變體犧牲了一些文本品質,或者兩次執行使用了不同的測試框架,而目前沒有已發表的資料能讓你在這些解釋之間做出選擇。MMAU 的 78.50 高於 GigaChat 自家音訊模型卡為 Qwen3-Omni 列出的 74.7,也遠高於同一張卡為 Sber 自家的 GigaChat3.1-Audio-10B-A1.8B 所報告的 62.2——該卡是在完整 MMAU 集上測量,而非 test-mini 子集,因此請將該比較視為暗示性而非同類對比。MMMU 的 64.11 是中等水準的圖像理解分數。Video-MME 在 512 幀含音訊片段上達到 80.74,這才是若有任何獨立方重現便會引起側目的那個。

A single-column scoreboard titled 'GigaChat3.5-Omni — the four numbers in the PR', with five rows: 'MMLU-Pro: 73.07 — text model card says 75.68', 'MMAU: 78.50 on test-mini — Qwen3-Omni listed at 74.7', 'MMMU: 64.11 on the val split', 'Video-MME: 80.74 at 512 frames with audio', and 'Hardware: eight H100s, FP8, TP8, greedy decoding'. A full-width note reads 'Reference column in the PR table: left blank.' A footer reads 'PR-reported, one commit, CI skipped on the draft; no independent run and no Artificial Analysis page.'

服務需要付出什麼,以及 Sber 說了什麼

先談部署現實。GigaChat 3.5 Ultra 背後的 FP8 文字檢查點共 39 個檔案、總計 437.9 GB,因此在 H100 上以張量平行度 8 執行時,在 KV 快取之前每張卡約留下 55 GB 權重——這就是為什麼此 PR 的測試機組是八張 H100,也是為什麼對 Omni 變體而言這不會有太大改變。兩座塔相對於 432B 只是捨入誤差:InternViT-300M 加上 24 層、寬度 1,024 的 conformer,遠低於十億個參數,因此硬體需求基本上就是語言模型的需求。中繼資料、啟動旗標以及 gigachat35 工具呼叫解析器,已隨著九月合併的 GigaChat 3.5 工作進入 SGLang 主線,而該專案的 cookbook 從那時起就有 GigaChat 3.5 頁面;主線中不存在的是任何多模態路徑。

Sber 本身並未發布這篇文章所能找到的任何內容。其開發者文件將 GigaChat 3 Ultra 列為最新世代的模型,與 GigaChat 2 Max、Pro 和 Lite 並列,另外還有嵌入模型——沒有 3.5、沒有 Omni、也沒有多模態項目。Artificial Analysis 在我們今天嘗試過的任何網址代稱下,都沒有 GigaChat 3.5 Ultra 或 Omni 變體的頁面,因此也沒有獨立評分可供推斷基礎模型的表现。公開的 GigaChat 3.5 Ultra 模型卡確實存在,採用 MIT 授權,以俄語和英語為目標語言,並回報了一套供應商基準測試數據,包括 TAU2-bench 68.71、SWE-bench Verified 42.6、Terminal-Bench 2 為 13.48,以及 LiveCodeBench v6 為 56.2——這些全是 Sber 自家的數字,未經重現,且全都僅針對文字模型。

音訊脈絡是這件事中讀起來像計畫、而非意外的那一部分。Sber 於 2026 年 7 月推出 GigaChat3.1-Audio-10B-A1.8B:一個 Conformer 語音編碼器與一個模態適配器,饋入 10B 混合專家解碼器,並在專門打造的長音訊資料集上針對時間定位進行訓練,以帶時間戳的描述與長音訊摘要作為主打能力。這正是 Omni PR 的標記方案所要保留的能力——每個幀之前有一個時間戳、每六十秒音訊有一個標記、結尾有一個時長——而 PR 設定中的 Conformer 維度,也與將該堆疊整合進 432B 模型、而非讓它獨立置於其旁的做法相符。

什麼能讓這件事定下來?

四件事,依它們能告訴你多少資訊由少到多排列。在該儲存庫 ID 上有一個公開 checkpoint,就能確認模型存在,並讓任何人讀取設定檔,而這目前是塔維度的全部事實依據。一個已合併、非草稿且 CI 通過的 PR,就能告訴你這個移植版本不只適用於作者那二十個固定請求。一張含有數字的速度表,就能告訴你兩個 MTP 頭是否撐得過多模態包裝器,而這正是模型能否提供互動式服務的差別。一份獨立基準測試——任何人的都行,跑完整資料集而非 test-mini——就能告訴你 78.50 和 80.74 是否有任何意義。

直到那時,對讀者而言決定很簡單,而且不取決於這次外洩是否解決。如果你的產品今天就需要理解音訊或視訊,GigaChat3.5-Omni-432B-A28B 並不在選項內,也沒有任何公告讓它成為選項;目前能勝任這項工作的模型已按 token 計價,而上述算術顯示帳單比多數團隊想像的更小。如果你打算在自己的 H100 上自行託管俄語多模態堆疊,這份 PR 是最早的公開證據,顯示這樣的檢查點正在被打造,而其 token 計算方式現在就值得一讀——決定你記憶體預算的部分是壓縮方案,而不是基準測試表。

The GitHub pull request page for sgl-project/sglang PR #51276, titled '[Feat] gigachat35-omni: Add GigaChat3.5-Omni image, video and audio support', showing 'Mogreine wants to merge 1 commit into sgl-project:main from Mogreine:gigachat35-omni', the tab strip with Commit 1, Checks 133 and Files changed 26, and the top of the Motivation section describing GigaChat3.5-Omni-432B-A28B as the GigaChat3.5 language model at 432B total and 28B active parameters with hybrid MLA and Gated DeltaNet attention, an InternViT-300M image and video encoder and a 24-layer conformer audio encoder loaded from the checkpoint.

我們接下來會關注:該儲存庫是否公開、該 PR 是否不再是草稿,以及 Sber 的開發者文件是否會在這兩者任一發生之前新增多模態條目。這三者中任何一項都會讓這篇從「目前所知」的報導轉為發布消息,而本文將需要重寫,而非更新。