Thẻ tiêu đề cho GigaChat3.5-Omni với nội dung 'GigaChat3.5-Omni rò rỉ: Mô hình 432B của Sber mọc thêm mắt và tai trong một PR nháp', cùng huy hiệu 'TÍN HIỆU SỚM — CHƯA PHÁT HÀNH' và bốn chip: 'SGLang PR #51276 · mở ngày 18 tháng 11 năm 2026', 'tổng 432B / kích hoạt 28B', 'InternViT-300M cùng audio conformer 24 lớp', và 'Checkpoint: chưa công khai'. Chân trang ghi 'Nguồn: sgl-project/sglang PR #51276, bản nháp và chưa hợp nhất.'
Guides & Insights

Rò rỉ GigaChat3.5-Omni: Mô hình 432B của Sber có thêm mắt và tai trong một PR nháp

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Một pull request nháp được mở trong kho SGLang vào ngày 18 tháng 11 năm 2026 mô tả một mô hình không tồn tại công khai: GigaChat3.5-Omni-432B-A28B, tức là GigaChat 3.5 Ultra — mô hình ngôn ngữ mixture-of-experts 432 tỷ tham số của Sber — với một tháp thị giác InternViT-300M và một bộ mã hóa âm thanh conformer 24 lớp được gắn vào, nhận hình ảnh, video có hoặc không có âm thanh kèm theo, tệp âm thanh và hỗn hợp của cả ba. Không có gì trong câu đó có thể được đối chiếu với model card, vì không có model card công khai. Kho lưu trữ Hugging Face mà PR liên kết trả về HTTP 401 khi truy vấn hôm nay, tìm kiếm tên trên Hugging Face không trả về kết quả nào, và tài liệu dành cho nhà phát triển của chính Sber vẫn liệt kê GigaChat 3 Ultra là mô hình thế hệ mới nhất, không có mục đa phương thức nào trong danh sách. Những gì tồn tại là 3.290 dòng mã phục vụ được thêm, một tệp cấu hình, khoảng 2.000 dòng kiểm thử, và một bảng benchmark mà cột tham chiếu đã bị ai đó để trống.

Đó không phải là chuyện nhỏ. Một pull request kiểu này chỉ có thể được viết bởi người đã có checkpoint ngay trước mặt: bộ xử lý giao việc giải mã hình ảnh, bố cục điểm ảnh và trích xuất log-mel cho mã từ xa của chính checkpoint thông qua --trust-remote-code, nghĩa là tác giả đã phải chạy nó để biết những tensor đó trông như thế nào. Vậy câu hỏi hữu ích không phải là "Sber có công bố điều này không" — họ đã không công bố — mà là mã nói gì về một mô hình rất có thể đang nằm trong một kho lưu trữ riêng ngay lúc này, và điều đó sẽ có ý nghĩa gì với bất kỳ ai hiện đang trả tiền theo token để hiểu được âm thanh và video.

Pull request thực sự mô tả điều gì

SGLang PR #51276 có tiêu đề "[Feat] gigachat35-omni: Thêm hỗ trợ hình ảnh, video và âm thanh cho GigaChat3.5-Omni". Đây là bản nháp, chưa được hợp nhất, và CI của nó đã bị bỏ qua chính vì nó là bản nháp. Việc triển khai là một lớp bọc mỏng — GigaChat35OmniForConditionalGeneration bao quanh GigaChat35ForCausalLM hiện có — với ba thứ mới xung quanh nó: một đường thị giác qua InternVisionModel và một bộ chiếu MLP pixel-shuffle, một bộ mã hóa âm thanh conformer trong cây mã nguồn, và một bộ xử lý sắp đặt các placeholder. Mọi thứ bên dưới là mô tả của chính tác giả PR về mô hình, và không có điều nào trong số đó được Sber xác nhận.

• Ngăn xếp ngôn ngữ — không thay đổi so với GigaChat 3.5: tổng cộng 432B tham số, 28B tham số hoạt động, 256 chuyên gia được định tuyến với 8 chuyên gia mỗi token, 40 lớp, cơ chế chú ý lai kết hợp MLA với các lớp chú ý tuyến tính Gated DeltaNet, hai đầu MTP. Những con số này đến từ thẻ mô hình công khai GigaChat 3.5 Ultra, nên phần này có thể xác minh được.

• Thị giác — InternViT-300M, hình ảnh được chia thành các ô 448×448, 256 token mỗi ô.

• Âm thanh — một conformer 24 lớp, độ rộng 1.024, 16 đầu, feed-forward rộng 4.096, 64 mel bin, hệ số subsampling 4, attention được giới hạn trong các đoạn 200 khung với vùng halo một khối mỗi lớp. Âm thanh được token hoá ở 6,25 token mỗi giây, một token mỗi 160 ms.

• Video — khung hình đầu tiên giữ toàn bộ 256 token của nó; các khung hình sau giữ trung bình 77 token, và việc chọn 77 token nào được quyết định sau khi mã hóa, bằng cách xếp hạng độ lệch tuyệt đối trung bình của từng token so với cùng vị trí ở khung hình trước. Một phép sắp xếp ổn định trên toàn bộ clip sẽ chọn chúng, vì vậy một khung hình có thể giữ nhiều hơn hoặc ít hơn 77 token.

• Video có âm thanh — use_audio_in_video xen kẽ phần token âm thanh của từng khung hình vào sau khung hình đó, với các dấu HH:MM:SS giữa các khung hình.

• Âm thanh dài — các clip dài hơn 32 phút được mã hóa theo cửa sổ với halo, mà PR cho biết là giống hệt từng bit so với một lượt xử lý duy nhất. Tuyên bố của nó: năm giờ âm thanh trên một nút.

• Hành vi khi lỗi — media không hợp lệ trả về 400 thay vì làm sập bộ lập lịch, và SGLANG_VLM_CACHE_SIZE_MB mặc định là 2048 cho kiến trúc này, vì mức mặc định 100 MiB không thể chứa embedding của một video dài và mỗi chunk prefill đều chạy lại các encoder.

Bản nháp nghĩa là bản nháp

Đáng để nói chính xác về việc có bao nhiêu phần trong số này là có thể kiểm chứng vào lúc này, bởi vì một PR nháp với CI bị bỏ qua là một đề xuất, chứ không phải là sự thật về một runtime đã được phát hành. Tệp gigachat35_omni.py không tồn tại trên nhánh main của SGLang — tải nó ở đó trả về 404 — và trang các mô hình được hỗ trợ đa phương thức trong main không có mục GigaChat nào. PR chỉ có một commit, từ một tài khoản mà tương tác SGLang duy nhất là PR này, và bình luận duy nhất trên đó là ghi chú của bot tài liệu yêu cầu phê duyệt bản xem trước từ một fork.

Nguồn gốc là bằng chứng gián tiếp mạnh nhất trong toàn bộ câu chuyện. Toàn bộ luồng xử lý phương tiện của bộ xử lý được giao cho "bộ xử lý từ xa của checkpoint", và tác giả báo cáo tính tương đương prompt-id so với "ngăn xếp phục vụ mà mô hình đã được huấn luyện và đánh giá trên đó" — một ngăn xếp tham chiếu nội bộ không được nêu tên và không công khai. Bạn không thể viết một trong hai điều đó dựa trên một mô hình mà bạn chưa chạy. Ai đó bên ngoài bức tường của Sber sẽ cần checkpoint; ai đó bên trong sẽ có ngăn xếp nội bộ. Không có gì trong PR nói rõ là điều nào, và bài viết này sẽ không đoán.

A two-card infographic headlined 'GigaChat3.5-Omni-432B-A28B — what the PR discloses, and what is missing'. The left card, 'Disclosed in the code', lists 432B total and 28B active over 256 routed experts with 8 per token; an InternViT-300M vision tower at 256 tokens per 448x448 crop; a 24-layer conformer audio encoder at 6.25 tokens per second; video at 256 tokens for the first frame then about 77 per frame; a 32-minute window in code against five hours claimed in the PR text; and a new model_type gigachat3_5_omni with its own token ids. The right card, 'Not available to check', lists a public checkpoint that returns HTTP 401, a draft status of one commit with CI skipped, a completely empty speed table, no independent benchmark, unstated licence and pricing, and no announcement from Sber. Footer reads 'All rows from sgl-project/sglang PR #51276, draft and unmerged; nothing here is confirmed by Sber.'

Điều duy nhất mà đoạn mã làm rõ là đây không phải là một lần đổi tên hay một cờ cấu hình. Mô hình đăng ký một model_type (gigachat3_5_omni) mới với các token id riêng — 128004 cho hình ảnh, 128005 cho khung video, 128006 cho âm thanh, 128007 cho nhạc nền — một bộ xử lý mới, một kiểu kết quả embedding mới mà mm_schedule.py phải dispatch trên, bên cạnh nhánh EVS hiện có, và cách xử lý mới cho chunked prefill, vì số token mà một khung giữ lại chỉ được biết sau khi nó đã được mã hóa. Đó là dấu hiệu đặc trưng của một mô hình được huấn luyện với những quyết định tiền xử lý đó được tích hợp sẵn, chứ không phải của một bản tinh chỉnh cộng đồng được giả định gắn lên một checkpoint văn bản.

Phần đáng đọc chính là phép toán token.

Tạm gác bảng benchmark lại một lát. Phần tính toán trong PR mới là cốt lõi, vì nó cho bạn biết liệu một mô hình 432B có khả năng tiếp nhận âm thanh và video dài có phải là thứ bạn đủ khả năng vận hành hay không — và đây là phần sẽ không thay đổi dù Sber có không nói một lời nào về mô hình này.

Lấy một giờ âm thanh. Ở 6,25 token mỗi giây, tức là 22.500 token đầu vào, cộng với một dấu thời gian mỗi 60 giây và một dấu thời lượng kết thúc — chỉ là thay đổi nhỏ so với bản thân âm thanh. Lấy một video 512 khung hình. Với 256 token cho khung hình đầu tiên và 77 token cho mỗi khung hình sau đó, đoạn clip lên tới khoảng 39.600 token trước khi tính đến âm thanh của nó, tức là khoảng một phần ba ngữ cảnh 128K cho nửa phút cảnh quay. Thêm âm thanh vào thì mỗi khung hình lại mang thêm token. Đây chính là toàn bộ lý lẽ cho sơ đồ giảm thay đổi: nếu không có nó, 512 khung hình ở 256 token mỗi khung sẽ là 131.072 token, tức toàn bộ cửa sổ 128K cho một clip.

Điều đó nghĩa là gì về mặt tiền bạc thì dễ kiểm chứng với các mô hình bạn có thể gọi ngay hôm nay. Trên danh mục của OrcaRouter các mục niêm yết đa phương tiện hiện định giá một giờ âm thanh như sau:

• Gemini 3.8 Flash — 0,75 USD mỗi triệu token đầu vào, vì vậy một giờ âm thanh tốn khoảng 1,7 xu, và một clip 512 khung hình khoảng 3 xu.

• Qwen3-VL 235B A22B Instruct — 0,40 USD cho mỗi triệu token đầu vào, tức khoảng 0,9 xu một giờ và 1,6 xu một clip.

• DeepSeek V4 Flash Vision Exp — 0,22 đô-la mỗi triệu token đầu vào, nhưng chỉ nhận đầu vào là hình ảnh; nó hoàn toàn không thể nhận âm thanh.

Hãy đặt một khối lượng công việc thực tế đằng sau nó. Bốn mươi giờ cuộc gọi được ghi âm tương đương 900.000 token: khoảng 68 xu trên bảng niêm yết của G​oogle và 36 xu trên bảng niêm yết của Q​wen, theo giá niêm yết của nhà cung cấp. OrcaRouter chuyển nguyên mức giá của nhà cung cấp mà không cộng thêm phí, vì vậy nếu nhà cung cấp giảm giá cho bất kỳ dịch vụ nào trong số này, phía chúng tôi sẽ áp dụng ngay trong cùng ngày — đó cũng là giới hạn trung thực của những gì chúng tôi có thể nói ở đây: GigaChat3.5-Omni-432B-A28B không có trong danh mục của chúng tôi và chúng tôi không phải là cách để gọi nó. Nó không thể được gọi ở bất kỳ đâu. Mục đích của phép tính này là khi một thứ tương tự xuất hiện, phần âm thanh không phải là phần đắt đỏ; mà là những token bạn không thể nén.

Đó cũng là điểm mà cửa sổ 32 phút và tuyên bố năm giờ của PR nằm ở đó. Những con số này có ý nghĩa với bất kỳ ai tự vận hành mô hình trên tám H100, vì chúng quyết định bao nhiêu phần của một bản ghi dài phải được mã hóa lại khi một yêu cầu bị chia thành các khối prefill. Chúng không có ý nghĩa với bất kỳ ai trả tiền theo token, nơi một giờ âm thanh vẫn là một giờ âm thanh, bất kể bộ mã hóa nào tạo ra nó.

Bốn con số benchmark, một cột trống

PR báo cáo bốn điểm số, được chạy trên tám H100 ở FP8 với tensor-parallel 8, giải mã tham lam: MMLU-Pro 73.07, MMAU test-mini 78.50, MMMU validation 64.11, và Video-MME 80.74 trên một clip 512 khung hình kèm nhạc nền của nó. Hãy đọc chúng cùng với ba lưu ý đi kèm, tất cả đều hiển thị ngay trên trang PR.

Điều đầu tiên là cột tham chiếu trống. Bảng có một cột cho ngăn xếp phục vụ gốc của mô hình và một cột cho PR này, và chỉ cột thứ hai được điền, nên không có đường cơ sở nào được in bên cạnh bất kỳ con số nào trong số này và không có cách nào để biết từ bảng liệu bản chuyển có khớp hay thua ngăn xếp mà mô hình được huấn luyện hay không. Phần văn xuôi có đưa ra một tuyên bố tương đương — id prompt giống hệt trên mọi yêu cầu mà bản tham chiếu có thể phục vụ, khớp token đầu tiên trên 19/19 — điều này ngầm cho biết bản tham chiếu không thể phục vụ một trong hai mươi yêu cầu cố định.

Thứ hai là danh sách kiểm tra. Mục có nội dung “Cung cấp kết quả benchmark về độ chính xác và tốc độ theo mục Kiểm tra độ chính xác” chưa được tích, còn bảng tốc độ — với các hàng cho batch 1 và batch 16 cùng các cột cho base decode, MTP decode, speedup và accept length — hoàn toàn trống. Vì vậy, không có số liệu thông lượng nào cho mô hình này cả, bất chấp việc card GigaChat 3.5 công khai ghi nhận hai head MTP trong stack ngôn ngữ có thể đạt tốc độ sinh nhanh tới 2,2×.

Yếu tố thứ ba là ngữ cảnh, và ở đây các con số trở nên thú vị chứ không chỉ đơn thuần là mỏng. MMLU-Pro ở 73.07 thấp hơn khoảng 2.6 điểm so với 75.68 mà thẻ mô hình của chính GigaChat 3.5 Ultra báo cáo cho mô hình văn bản trên cùng tên benchmark — điều này có thể nghĩa là biến thể đa phương thức đã đánh đổi một phần chất lượng văn bản, hoặc hai lần chạy đã dùng các harness khác nhau, và không có gì được công bố để có thể giúp chọn giữa hai cách giải thích đó. MMAU ở 78.50 cao hơn 74.7 mà thẻ mô hình âm thanh của chính GigaChat liệt kê cho Qwen3-Omni, và cao hơn nhiều so với 62.2 mà cùng thẻ đó báo cáo cho GigaChat3.1-Audio-10B-A1.8B của Sber — một thẻ được đo trên toàn bộ tập MMAU thay vì tập con test-mini, nên hãy coi so sánh đó là có tính gợi ý chứ không phải so sánh tương đương. MMMU ở 64.11 là điểm hiểu hình ảnh ở mức trung bình. Video-MME ở 80.74 cho một clip 512 khung hình có âm thanh là con số sẽ khiến người ta nhướng mày nếu bất kỳ ai độc lập tái lập được.

A single-column scoreboard titled 'GigaChat3.5-Omni — the four numbers in the PR', with five rows: 'MMLU-Pro: 73.07 — text model card says 75.68', 'MMAU: 78.50 on test-mini — Qwen3-Omni listed at 74.7', 'MMMU: 64.11 on the val split', 'Video-MME: 80.74 at 512 frames with audio', and 'Hardware: eight H100s, FP8, TP8, greedy decoding'. A full-width note reads 'Reference column in the PR table: left blank.' A footer reads 'PR-reported, one commit, CI skipped on the draft; no independent run and no Artificial Analysis page.'

Cần những gì để phục vụ, và Sber đã nói gì

Thực tế triển khai trước tiên. Checkpoint văn bản FP8 đằng sau GigaChat 3.5 Ultra có dung lượng 437,9 GB trải trên 39 tệp, nên tensor-parallel 8 trên H100 để lại khoảng 55 GB trọng số mỗi card trước KV cache — đó là lý do giàn thử nghiệm của PR dùng tám H100 và lý do điều đó sẽ không thay đổi nhiều đối với biến thể Omni. Hai tower chỉ là sai số làm tròn so với 432B: InternViT-300M cộng với một conformer 24 lớp rộng 1.024 vẫn dưới một tỷ tham số, nên yêu cầu phần cứng thực chất là của mô hình ngôn ngữ. Metadata, cờ khởi chạy và gigachat35 trình phân tích cú pháp lời gọi công cụ đã có trong nhánh chính SGLang từ công việc GigaChat 3.5 được hợp nhất vào tháng Chín, và cookbook của dự án đã có trang GigaChat 3.5 từ khi đó; thứ không tồn tại trong nhánh chính là bất kỳ đường dẫn đa phương thức nào.

Bản thân Sber không công bố bất cứ điều gì mà bài viết này có thể tìm thấy. Tài liệu dành cho nhà phát triển của hãng liệt kê GigaChat 3 Ultra là mô hình thế hệ mới nhất, cùng với GigaChat 2 Max, Pro và Lite, cùng các mô hình embedding — không có 3.5, không có Omni, không có mục đa phương thức. Artificial Analysis không có trang nào cho GigaChat 3.5 Ultra hoặc cho biến thể Omni ở bất kỳ slug nào chúng tôi đã thử hôm nay, vì vậy cũng không có điểm số độc lập nào cho mô hình cơ sở để làm căn cứ lập luận. Thẻ công khai GigaChat 3.5 Ultra là có thật, được cấp phép MIT, hướng đến tiếng Nga và tiếng Anh, và báo cáo một bộ điểm chuẩn của nhà cung cấp bao gồm TAU2-bench 68.71, SWE-bench Verified 42.6, Terminal-Bench 2 ở mức 13.48 và LiveCodeBench v6 ở mức 56.2 — tất cả đều là số liệu của chính Sber, chưa được tái lập, và tất cả chỉ dành cho mô hình văn bản.

Dòng phát triển âm thanh là phần khiến điều này đọc như một kế hoạch chứ không phải một sự tình cờ. Sber đã phát hành GigaChat3.1-Audio-10B-A1.8B vào tháng 7 năm 2026: một bộ mã hóa giọng nói conformer và một bộ chuyển đổi phương thức đưa vào bộ giải mã hỗn hợp chuyên gia 10B, được huấn luyện để neo theo thời gian trên một bộ dữ liệu âm thanh dài được xây dựng riêng, với các mô tả kèm dấu thời gian và tóm tắt âm thanh dài là những kỹ năng chủ lực. Đó chính xác là năng lực mà lược đồ đóng dấu của Omni PR được xây dựng để bảo tồn — một dấu thời gian trước mỗi khung, một dấu sau mỗi sáu mươi giây âm thanh, một thời lượng kết thúc — và các chiều conformer trong cấu hình của PR nhất quán với việc gộp ngăn xếp đó vào mô hình 432B thay vì đặt nó bên cạnh.

Điều gì sẽ giải quyết được chuyện đó?

Bốn điều, theo thứ tự tăng dần về lượng thông tin chúng sẽ mang lại cho bạn. Một checkpoint công khai tại ID kho lưu trữ đó sẽ xác nhận mô hình tồn tại và cho phép bất kỳ ai đọc config, thứ hiện là toàn bộ cơ sở dữ kiện cho các kích thước tower. Một PR đã được merge, không phải draft, với CI xanh sẽ cho bạn biết bản port hoạt động trên nhiều hơn hai mươi yêu cầu cố định của tác giả. Một bảng tốc độ có số liệu trong đó sẽ cho bạn biết liệu hai head MTP có sống sót qua wrapper đa phương thức hay không, và đó là khác biệt giữa một mô hình bạn có thể phục vụ tương tác và một mô hình bạn không thể. Một benchmark độc lập — của bất kỳ ai, trên các tập đầy đủ thay vì test-mini — sẽ cho bạn biết liệu 78.50 và 80.74 có ý nghĩa gì hay không.

Cho đến lúc đó, quyết định đối với người đọc là đơn giản, và nó không phụ thuộc vào việc vụ rò rỉ này có được giải quyết hay không. Nếu sản phẩm của bạn cần hiểu âm thanh hoặc video ngay hôm nay, GigaChat3.5-Omni-432B-A28B không nằm trong lựa chọn và chưa có thông báo nào đưa nó vào đó; các mô hình có thể đảm nhận công việc này đã được tính giá theo token, và phép tính ở trên cho thấy hóa đơn nhỏ hơn mức mà hầu hết các nhóm giả định. Nếu bạn đang lên kế hoạch tự vận hành một ngăn xếp đa phương thức tiếng Nga trên H100 của riêng mình, PR này là bằng chứng công khai sớm nhất cho thấy một checkpoint như vậy đang được xây dựng, và cách tính token của nó đáng để đọc ngay bây giờ — sơ đồ nén, chứ không phải bảng điểm chuẩn, mới là phần quyết định ngân sách bộ nhớ của bạn.

The GitHub pull request page for sgl-project/sglang PR #51276, titled '[Feat] gigachat35-omni: Add GigaChat3.5-Omni image, video and audio support', showing 'Mogreine wants to merge 1 commit into sgl-project:main from Mogreine:gigachat35-omni', the tab strip with Commit 1, Checks 133 and Files changed 26, and the top of the Motivation section describing GigaChat3.5-Omni-432B-A28B as the GigaChat3.5 language model at 432B total and 28B active parameters with hybrid MLA and Gated DeltaNet attention, an InternViT-300M image and video encoder and a 24-layer conformer audio encoder loaded from the checkpoint.

Điều chúng tôi sẽ theo dõi tiếp theo: liệu kho mã có được công khai hay không, liệu PR có thôi là bản nháp hay không, và liệu tài liệu dành cho nhà phát triển của Sber có thêm một mục đa phương thức trước khi một trong hai điều đó xảy ra hay không. Bất kỳ điều nào trong ba điều đó cũng sẽ chuyển bài này từ một bài tổng hợp những gì đã biết đến nay thành một tin ra mắt, và bài viết này sẽ cần được viết lại thay vì cập nhật.