Intern-S2-Mobius: Mô hình 35B tách biệt kiến thức khỏi suy luận

Nhóm InternLM của Phòng thí nghiệm Trí tuệ Nhân tạo Thượng Hải đã âm thầm công bố Intern-S2-Mobius, một mô hình nền tảng trọng số mở 35B làm điều mà gần như không mô hình nào khác từng được phát hành làm được: nó ngừng lưu trữ tri thức bên trong các tầng của mình. Thay vì cấu trúc Transformer tiêu chuẩn — nơi mỗi tầng mang khối feed-forward riêng chứa đầy các dữ kiện đã ghi nhớ — Mobius rút toàn bộ tri thức đó ra thành một Bộ nhớ dùng chung toàn cầu duy nhất và cho phép một số ít Bộ suy luận truy vấn nó nhiều lần. Lợi ích được tuyên bố không phải là điểm benchmark cao hơn. Mà là tốc độ: cùng câu trả lời với khoảng một phần ba đến một phần năm số token suy luận, và thông lượng yêu cầu cao hơn tới 4.6 lần. Hướng dẫn này giải thích Mobius thực sự là gì, tệp cấu hình của nó tiết lộ điều gì mà thẻ mô hình không tiết lộ, các benchmark được công bố cho thấy gì từng dòng một — bao gồm hai hàng mà nó thua — tuyên bố "nhanh gấp 4 lần" đúng ở đâu và tan biến ở đâu, và ai thực sự nên quan tâm.

Lưu ý về độ chính xác: mọi con số dưới đây đều lấy từ thẻ mô hình (model card) của chính InternLM, các số liệu hiệu năng và hiệu quả đã công bố, hướng dẫn triển khai, và các tệp cấu hình của mô hình trên Hugging Face. Tính đến thời điểm viết bài này, vẫn chưa có đánh giá độc lập nào từ bên thứ ba về Intern-S2-Mobius — mô hình không nằm trong bất kỳ bảng xếp hạng độc lập nào, chưa được bất kỳ nhà cung cấp hạ tầng suy luận nào triển khai, và bộ đếm lượt tải vẫn ở mức 0. Hãy coi mọi số liệu so sánh là do nhà cung cấp công bố cho đến khi có ai đó tái lập được chúng. Thông số kỹ thuật và mã nguồn của một mô hình mới như thế này thay đổi rất nhanh; hãy kiểm chứng trước khi build.

TL;DR. Intern-S2-Mobius là mô hình nền tảng đa phương thức 35B tham số, Apache 2.0, được tiền huấn luyện liên tục từ Qwen3.5-35B và sau đó hậu huấn luyện bằng SFT và học tăng cường. Điểm mới nằm ở kiến trúc: thiết kế Mobius-v0 thay thế kho lưu trữ tri thức feed-forward theo từng lớp bằng một Bộ nhớ chia sẻ toàn cục gồm 2.560 chuyên gia, được truy vấn bởi bốn khối Reasoner xếp chồng có thể tiếp cận tri thức bên ngoài độ sâu của chính chúng (Kết nối dư ngược) và tinh chỉnh trạng thái ẩn thông qua lặp tiềm ẩn hồi quy trước khi giải mã (Suy luận tiềm ẩn động). Trong đánh giá riêng của InternLM, mô hình này đánh bại đường cơ sở Qwen3.5-35B mà nó được xây dựng dựa trên ở bảy trên chín benchmark tổng quát (trung bình 67.88 so với 65.05) và vượt trội hoàn toàn ở các tác vụ khoa học (52.14 so với 18.20), đồng thời tạo ra các chuỗi suy luận ngắn hơn trung bình khoảng 1.5 lần — ngắn hơn 4.6 lần trên MMLU Pro, 5.0 lần trên GPQA Diamond. Sự nén chuỗi suy luận này chính là nguồn gốc của mức tăng thông lượng: 2.9 lần ở batch 16, tăng lên 4.6 lần ở batch 256. Những hạn chế là có thật: mô hình thua ở hai benchmark suy luận khó nhất (HLE và UGD hard), lợi thế thông lượng phần lớn biến mất ở toán thi đấu, và chưa có ai bên ngoài phòng thí nghiệm xác minh bất kỳ điều gì trong số đó.

Những điểm chính rút ra

• Bản phát hành ưu tiên kiến trúc: Mobius-v0 tách rời vector tri thức khỏi toán tử suy luận — một bộ nhớ dùng chung gồm 2.560 chuyên gia phục vụ bốn khối Reasoner, thay vì 40 tầng mỗi tầng tích trữ tri thức FFN riêng của mình.

• Điểm nhấn là hiệu quả, không phải trí thông minh: độ dài đầu ra trung bình giảm khoảng 1,5 lần và thông lượng yêu cầu tăng từ 2,9 lần ở batch 16 lên 4,6 lần ở batch 256 so với mô hình cơ sở Transformer.

• Nó thực sự vượt trội hơn mô hình nền của chính nó: trung bình 67.88 so với 65.05 trong các tác vụ tổng quát, thắng MMLU Pro (89.05 so với 85.31), AIME 2026 (95.31 so với 92.08) và HMMT 2026 (85.51 so với 78.50).

• Nhưng nó thua ở những nơi mà sự cân nhắc quan trọng nhất: HLE 19.11 so với 22.40 và UGD hard 73.02 so với 78.02 — hai bài đánh giá khó nhất trong bộ, cả hai đều do Transformer thuần túy giành chiến thắng.

• Bước nhảy vọt về khoa học là kết quả đơn lẻ lớn nhất: Biology-Instructions 51.40 so với 3.77, Mol-Instructions 45.73 so với 21.70, MolecularIQ 59.29 so với 29.13.

• Mở nhưng không khả dụng: trọng số Apache 2.0 trên Hugging Face, không có nhà cung cấp suy luận nào lưu trữ nó, ~73 GB trọng số bfloat16 — tự lưu trữ hiện là cách duy nhất để chạy nó.

Intern-S2-Mobius thực sự là gì

Intern-S2-Mobius là một mô hình nền tảng 35B được xuất bản bởi internlm, tổ chức Hugging Face đứng sau dòng sản phẩm Intern của Phòng thí nghiệm Trí tuệ Nhân tạo Thượng Hải. Các trọng số được đăng tải lên Hugging Face vào ngày 29 tháng 7 năm 2026, và kho lưu trữ GitHub đi kèm — README, hướng dẫn triển khai, cùng tài liệu báo cáo kỹ thuật đầy đủ dạng PDF — được công khai vào ngày 5 tháng 8 năm 2026. Mô hình được phát hành theo giấy phép Apache 2.0, một trong những giấy phép cởi mở nhất dành cho trọng số mở: cho phép sử dụng thương mại, chỉnh sửa và phân phối lại.

Đây không phải là tinh chỉnh. Đây là tiền huấn luyện liên tục với phẫu thuật kiến trúc. InternLM đã lấy Qwen3.5-35B — mô hình hỗn hợp chuyên gia 35B trọng số mở của Alibaba, được phát hành vào ngày 4 tháng 3 năm 2026 — tái cấu trúc cách mô hình lưu trữ và truy cập kiến thức, tiếp tục tiền huấn luyện kết quả đó, sau đó áp dụng học có giám sát và học tăng cường lên trên. Nguồn gốc đó rất quan trọng để diễn giải các benchmark: mọi so sánh mà InternLM công bố đều là Mobius so với chính mô hình mà nó được phát triển từ đó, đây là phép thử ablation sạch nhất có thể cho sự thay đổi kiến trúc và đồng thời, thật thuận tiện, là phép so sánh có khả năng tâng bốc nó nhất.

Mô hình này là đa phương thức. Hugging Face phân loại nó là image-text-to-text, và cấu hình xác nhận có bộ mã hóa thị giác đầy đủ cùng khả năng xử lý token video. Ngoài ra, xét theo những gì đi kèm với các trọng số, mô hình này hướng thẳng đến lĩnh vực khoa học — sẽ nói thêm về điều đó bên dưới.

Kiến trúc Mobius, nói một cách dễ hiểu

Transformer thông thường xen kẽ hai nhiệm vụ trong mỗi lớp. Attention di chuyển thông tin giữa các token; mạng truyền thẳng (hay trong mô hình hỗn hợp chuyên gia, một ngân hàng các FFN chuyên gia) lưu trữ tri thức. Vì FFN nằm bên trong lớp, tri thức mà nó nắm giữ chỉ có thể truy cập ở độ sâu đó. Một sự kiện được học vào lớp 30 không thể được tham vấn bởi quá trình suy luận đang diễn ra ở lớp 5. Thông tin truyền về phía trước, qua từng lớp, và đó là con đường duy nhất.

Mobius phá vỡ ràng buộc đó. InternLM mô tả ba hệ quả.

Tách biệt tri thức và suy luận. Lưu trữ FFN gắn với từng tầng được thay thế bằng một bộ nhớ dùng chung toàn cầu. Thay vì 40 tầng, mỗi tầng sở hữu một phần tri thức của mô hình, giờ đây có một kho nhớ dùng chung mà mọi giai đoạn suy luận đều có thể truy cập. Lập luận của InternLM là điều này cải thiện khả năng nén tri thức — các sự kiện giống nhau không cần phải được học lại một cách dư thừa ở nhiều độ sâu — và mang lại cho mỗi bộ suy luận một không gian tri thức rộng lớn hơn nhiều so với những gì FFN của một tầng đơn lẻ có thể cung cấp.

Kết nối dư ngược. Vì bộ nhớ được chia sẻ, các giai đoạn suy luận nông và sâu đều truy cập vào cùng một kho lưu trữ. Việc truy cập tri thức không còn hoàn toàn chảy theo chiều thuận. Một giai đoạn nông có thể lấy được thứ mà, trong một ngăn xếp chuẩn, chỉ có sau ba mươi tầng nữa mới có. InternLM lập luận rằng điều này cho phép mô hình kết hợp tri thức giữa các độ sâu một cách linh hoạt hơn và, quan trọng là, tổng hợp thông tin hữu ích trong ít bước suy luận hơn. Mệnh đề cuối đó chính là toàn bộ luận điểm của bản phát hành.

Suy luận Tiềm ẩn Động. Thay vì hiện thực hóa từng bước cân nhắc thành các token chuỗi suy nghĩ hiển thị, Mobius tinh chỉnh các trạng thái ẩn liên tục của mình thông qua lặp tiềm ẩn hồi quy trước khi giải mã bất cứ điều gì. Một phần "suy nghĩ" diễn ra trong không gian biểu diễn nội bộ của mô hình thay vì trong văn bản được sinh ra, và lượng tính toán nội bộ đó được phân bổ động theo từng token. Hiệu quả thực tế là mô hình cần viết ít từ hơn để đạt được cùng một kết luận — và vì quá trình sinh văn bản là tự hồi quy và tuần tự hóa, viết ít từ hơn là cách trực tiếp nhất để làm cho mô hình suy luận nhanh hơn.

Kết hợp lại, lời chào hàng là một mô hình suy luận suy nghĩ nhiều hơn và gõ ít hơn.

Những gì tệp cấu hình tiết lộ

Thẻ mô hình mô tả kiến trúc bằng văn xuôi. Tệp code>config.json/code> làm cho nó trở nên cụ thể và chứa một vài con số đáng biết.

• Bốn Reasoner trên 40 lớp.Cấu hình văn bản khai báo 40 lớp ẩn nhưng chỉ có bốn khối. 40 lớp được tổ chức thành bốn giai đoạn Reasoner lặp lại trên Memory dùng chung, thay vì bốn mươi đơn vị kiến thức-cộng-chú ý độc lập.

• 2,560 chuyên gia. Đây là shared Memory được hiện thực hóa theo đúng nghĩa đen. Mobius mang theo 2,560 chuyên gia, với 8 chuyên gia được kích hoạt cho mỗi token và kích thước trung gian mỗi chuyên gia rất nhỏ (512), cùng với một chuyên gia dùng chung. Để so sánh quy mô, bản anh em của nó là Intern-S2-Preview sử dụng 256 chuyên gia. Một tập hợp chuyên gia lớn gấp mười lần, với các chuyên gia nhỏ hơn nhiều, chính là điều mà "một kho tri thức toàn cầu thay vì FFN theo từng lớp" trông như thế nào khi bạn viết nó thành cấu hình.

• 35B trên hộp, ~36B trên đĩa, ~3B hoạt động. Thẻ mô hình ghi 35B; trình đọc safetensors của Hugging Face báo cáo 36B tham số; chỉ mục trọng số tổng cộng 72,96 GB ở dạng bfloat16, tương đương khoảng 36,5B. Hướng dẫn triển khai là chính xác nhất: nó gọi bản phát hành này là 30B-A3B model — khoảng 3B tham số hoạt động cho mỗi token. Cũng như mọi MoE thưa, bạn phải trả chi phí lưu trữ toàn bộ bộ trọng số trong bộ nhớ và có chi phí tính toán chỉ ngang một mô hình nhỏ cho mỗi token.

• Attention hỗn hợp, 3:1. Danh sách lớp xen kẽ ba lớp attention tuyến tính với một lớp attention toàn phần, cứ thế suốt xuống — mười lớp attention toàn phần trong tổng số 40. Attention tuyến tính giữ cho bộ nhớ ngữ cảnh dài và chi phí tính toán không bùng nổ; các lớp attention toàn phần định kỳ bảo toàn khả năng truy hồi chính xác mà attention tuyến tính thuần túy từ bỏ. Các lớp tuyến tính sử dụng nhân tích chập có độ rộng 4 và trạng thái SSM ở dạng float32, theo công thức kiểu gated-delta chuẩn hiện nay.

• Ngữ cảnh 256K. Số nhúng vị trí tối đa là 262.144. Lưu ý khoảng cách giữa những gì kiến trúc hỗ trợ và cách nó được đánh giá: InternLM đã chạy các benchmark văn bản của mình ở 128K và ở 64K trên MMLU Pro, SimpleQA và HLE. Trần 256K không giống với 256K chất lượng đã được xác thực.

• Một đầu dự đoán đa token được tích hợp sẵn. Có một mô-đun MTP một lớp với 256 expert riêng. Đây không phải là vật trang trí — hướng dẫn triển khai khuyến nghị chạy với giải mã suy đoán MTP và bốn token nháp, vì vậy một phần câu chuyện tốc độ thực tế nằm ở giải mã suy đoán, không chỉ riêng kiến trúc.

• Một tháp thị giác thực thụ. Một bộ mã hóa thị giác 27 lớp, 1152 chiều ẩn, với kích thước patch 16, gộp không gian 2x2 và tạo patch theo thời gian cho video, chiếu vào luồng văn bản 2048 chiều với RoPE đa phương thức xen kẽ. Ảnh và video vào, văn bản ra.

• Các thông số khác cho những người tò mò: {{1}}16 đầu attention với chiều 256{{/1}}, {{2}}2 đầu key-value{{/2}} ({{3}}grouped-query attention mạnh mẽ{{/3}}), {{4}}đầu ra attention có cổng{{/4}}, {{5}}hệ số rotary một phần 0,25{{/5}}, {{6}}RoPE theta 10 triệu{{/6}} và {{7}}từ vựng 251.392 token{{/7}}.

Các điểm chuẩn, từng dòng một

InternLM được đánh giá với OpenCompass và công bố một so sánh duy nhất: Intern-S2-Mobius-35B so với Qwen3.5-35B, mô hình mà nó được tiếp tục tiền huấn luyện từ đó. Chín benchmark tổng quát, ba benchmark khoa học.

Trong các tác vụ tổng quát, Mobius thắng 7 trên 9. MMLU Pro — kiến thức đa lĩnh vực rộng với các phương án gây nhiễu khó hơn MMLU gốc — đạt 89.05 so với 85.31, tăng 3.7 điểm và là kết quả kiến thức rõ ràng nhất trong bộ. GPQA Diamond, các câu hỏi khoa học cấp sau đại học được viết để không thể tìm ra bằng Google, về cơ bản là hòa ở mức 80.81 so với 80.24. IMO Bench, toán cấp độ Olympic, đạt 81.25 so với 77.50. AIME 2026, Kỳ thi Toán tuyển chọn Hoa Kỳ, đạt 95.31 so với 92.08. HMMT 2026, Giải đấu Toán Harvard-MIT, có mức chênh lệch toán học lớn nhất ở 85.51 so với 78.50. AMO đạt 58.00 so với 50.00. Và SimpleQA — kiểm tra khả năng nhớ lại sự kiện dạng ngắn, benchmark đo lường trực tiếp nhất việc mô hình có thực sự biết hay không — nhảy từ 21.39 lên 28.90, cải thiện tương đối 35%, là bằng chứng tốt nhất duy nhất cho lập luận "shared Memory nén kiến thức tốt hơn" của InternLM.

Sau đó là hai trường hợp thua, và chúng là những hàng thú vị. UGD hard đi theo hướng ngược lại: 73.02 cho Mobius so với 78.02 cho đường cơ sở, kém năm điểm. Và HLE — Humanity's Last Exam, chuẩn đánh giá tổng quát khó nhất đang được sử dụng rộng rãi, nơi các mô hình tiên tiến vẫn đạt điểm từ mười mấy đến hai mươi mấy — là 19.11 so với 22.40. Transformer thuần túy thắng 3.3 điểm trên chuẩn đánh giá được thiết kế đặc biệt để đòi hỏi suy luận nhiều nhất.

{{1}}Khuôn mẫu đó không phải là nhiễu, và nó không hề bị ẩn giấu: InternLM đã công bố nó.{{/1}} {{2}}Cách diễn giải hợp lý nhất là suy luận tiềm ẩn là một hình thức nén, và việc nén thường mất mát ở phần đuôi.{{/2}} {{3}}Nội hóa sự cân nhắc vào các trạng thái ẩn liên tục hoạt động tuyệt vời khi sự cân nhắc đó thiên về truy xuất hoặc tuân theo một hình dạng quen thuộc — điều này mô tả MMLU Pro, SimpleQA và hầu hết các dạng toán thi đấu.{{/3}} {{4}}Đối với những bài toán thực sự cần chuỗi suy nghĩ dài, mang tính khám phá và tự sửa lỗi, dấu vết tường minh từng token dường như vẫn đáng giá chi phí của nó.{{/4}} {{5}}Trung bình tổng thể — 67.88 so với 65.05 — là một chiến thắng thực sự, nhưng đó là một con số trung bình che giấu một sự đánh đổi, chứ không phải một sự cải thiện đồng đều.{{/5}}

Các kết quả khoa học thể hiện một mức độ khác biệt hoàn toàn khác. Biology-Instructions tăng từ 3.77 lên 51.40. Mol-Instructions, bao phủ việc hiểu và tạo sinh phân tử, tăng từ 21.70 lên 45.73. MolecularIQ tăng từ 29.13 lên 59.29. Giá trị trung bình là 52.14 so với 18.20. Những con số như 3.77 tăng lên 51.40 không phải là chiến thắng của kiến trúc; chúng là dấu hiệu đặc trưng của việc huấn luyện có chủ đích theo lĩnh vực trên các tác vụ mà mô hình nền chưa bao giờ được dạy để thực hiện. Việc Qwen3.5-35B đạt dưới 4% trên Biology-Instructions có nghĩa là mô hình không hiểu định dạng tác vụ, chứ không phải nó kém về sinh học. Hãy đọc ba hàng đó như là "InternLM đã bổ sung một chuyên môn khoa học", điều này thực sự có giá trị và chính là toàn bộ ý nghĩa của dòng Intern-S — chỉ cần đừng gán công lao đó cho kiến trúc Mobius.

Nơi "nhanh gấp 4 lần" là thật, và nơi không phải như vậy.

Tuyên bố về hiệu suất chính là lý do mô hình này tồn tại, vì vậy nó đáng được đọc kỹ. Tiêu đề của InternLM là "tăng tốc suy luận đầu cuối gần 4 lần." Con số thông lượng được công bố có nhiều thông tin hơn tiêu đề, và trung thực hơn.

Được đo bằng thông lượng yêu cầu so với kích thước lô, tính trung bình trên các benchmark, Mobius vượt qua baseline Transformer gấp 2.9x ở batch 16 và 4.6x ở batch 256. Khoảng cách này tăng theo kích thước lô, điều bạn có thể mong đợi khi lợi thế đến từ việc tạo ra ít token hơn cho mỗi yêu cầu: càng gộp nhiều yêu cầu lại với nhau, số bước giải mã tiết kiệm được càng cộng dồn. Tiêu đề "gần 4x" là một điểm giữa của một khoảng, không phải là một hằng số.

Xét riêng từng benchmark, bức tranh sẽ rõ nét hơn. Trên MMLU Pro và GPQA Diamond, Mobius nhanh hơn hẳn ở mọi kích thước batch — các đường thông lượng tách biệt ngay lập tức và tiếp tục phân kỳ. Trên IMO Bench, nó dẫn đầu ổn định nhưng ở mức khiêm tốn. Trên AIME 2026 và HMMT 2026, Transformer cơ sở thực tế nhanh hơn ở các kích thước batch trung bình, Mobius chỉ vượt lên ở batch 256. Với các bài toán thi đấu khó nhất, lợi thế thông lượng là hòa hoặc tệ hơn trên phần lớn phạm vi hoạt động hữu ích.

Tại sao? Vì thông lượng gần như bám sát mức độ nén dấu vết suy luận. Độ dài đầu ra trung bình trên các benchmark giảm khoảng 1,5 lần, từ khoảng 20.400 token xuống còn khoảng 13.200. Nhưng mức trung bình đó bao trùm một phạm vi rất rộng: ngắn hơn 4,6 lần trên MMLU Pro (khoảng 1.100 token so với 5.150) và ngắn hơn 5,0 lần trên GPQA Diamond (khoảng 2.600 so với 12.900), trong khi chỉ 1,4 lần trên IMO Bench, 1,5 lần trên AIME 2026, và 1,2 lần trên HMMT 2026. Khi mô hình có thể nén quá trình suy nghĩ của mình, nó chạy rất nhanh. Còn khi bài toán đòi hỏi 24.000 token suy luận bất kể thế nào, mô hình không thể làm được, và chi phí vận hành của kiến trúc sẽ lộ diện.

Bản dịch thực tế: nếu khối lượng công việc của bạn giống như truy xuất kiến thức, trắc nghiệm, hỏi đáp kỹ thuật hoặc phân loại, mức tăng tốc sẽ lớn và tức thì. Nếu khối lượng công việc của bạn là suy luận toán học hoặc khoa học khó, hãy dự trù khoảng tương đương và có thể sẽ ngạc nhiên một cách thú vị. Bất kỳ ai trích dẫn "nhanh hơn 4 lần" như một đặc tính chung của mô hình là đang trích dẫn giá trị trung bình của hai hành vi rất khác nhau.

Bộ công cụ khoa học ẩn trong danh sách tệp

Một trong những điều tiết lộ nhiều nhất về bản phát hành này không nằm trong thẻ mô hình chút nào — mà nằm trong danh sách tệp của kho lưu trữ. Bên cạnh các tệp tokenizer thông thường, Intern-S2-Mobius cung cấp thêm ba tokenizer chuyên biệt theo lĩnh vực: code>tokenizer_PROT.model/code> cho chuỗi protein, code>tokenizer_SMILES.model/code> cho cấu trúc phân tử theo ký hiệu SMILES, và code>tokenizer_XNA.model/code> cho chuỗi axit nucleic. Ngoài ra còn có một mảng NumPy lạc lõng chứa dữ liệu địa chấn nằm trong kho lưu trữ.

Bộ tokenizer chuyên dụng cho protein, phân tử và DNA/RNA không phải là thứ bạn có thể thêm vào một cách hời hợt. Chúng có nghĩa là mô hình đã được huấn luyện để đọc các loại trình tự đó như những đầu vào hạng nhất, thay vì như văn bản thông thường chỉ tình cờ chứa các chữ cái. Đó chính là điều đã biến điểm 3.77 thành 51.40 trên Biology-Instructions, và nó đưa Mobius vào cùng họ với người anh em của nó là Intern-S2-Preview, mô hình đã bổ sung các phương thức chuỗi thời gian và thị giác và, theo InternLM, là mô hình mã nguồn mở đầu tiên có khả năng tạo cấu trúc tinh thể vật liệu.

Nếu bạn là nhà phát triển đa dụng, đây chỉ là chuyện vặt. Nếu bạn làm việc trong lĩnh vực sinh học tính toán, tin hóa học hoặc khoa học vật liệu, đây có thể là dòng quan trọng nhất trong bài viết này: đây là một mô hình nhỏ, Apache-2.0, có thể tự lưu trữ và nói thành thạo SMILES cùng trình tự protein một cách tự nhiên.

Vị trí của nó trong gia đình Intern

Dòng Intern-S là chuỗi mô hình đa phương thức khoa học của Phòng thí nghiệm Trí tuệ nhân tạo Thượng Hải. Intern-S1 thiết lập định dạng ban đầu. Intern-S1-Pro mở rộng quy mô lên lớp nghìn tỷ tham số. Intern-S2-Preview, ra mắt ngay trước Mobius, là bản tối ưu hiệu suất: mô hình có tổng 36B tham số, 3B kích hoạt, 256 expert và ngữ cảnh 262K, được InternLM tuyên bố là ngang hàng với S1-Pro quy mô nghìn tỷ trong các tác vụ khoa học chuyên nghiệp cốt lõi — giảm khoảng 30 lần tham số mà vẫn đạt năng lực khoa học tương đương.

Intern-S2-Mobius là một dạng thứ ba: một bản phát hành kiến trúc mang tên Intern-S2. Chữ "v0" trong Mobius-v0 đang thực sự có ý nghĩa trong cái nhãn đó — đây là phiên bản công khai đầu tiên của một thiết kế, không phải một dòng sản phẩm trưởng thành. Nó kết nối với ArchSpace, nền tảng mở của InternLM để kiểm chứng các cải tiến kiến trúc LLM, với mục tiêu đã nêu là "biến việc khám phá kiến trúc LLM thành kiến thức tái sử dụng được cho cộng đồng", có đánh giá ngang hàng và các kết quả được công bố bao gồm cả những kết quả tiêu cực. Mobius chính là hình ảnh của chương trình đó khi một đề xuất phát triển từ một mô hình thử nghiệm quy mô 1B lên một mô hình 35B mà bạn thực sự có thể tải về. Một báo cáo kỹ thuật đầy đủ đi kèm với kho GitHub cho những ai muốn xem các bước suy diễn.

Đọc theo cách đó, hai sự sụt giảm điểm chuẩn là một tính năng của bản phát hành, không phải là điều đáng xấu hổ. Đây là một phòng thí nghiệm công bố một thí nghiệm kiến trúc một cách trung thực, bao gồm cả những điểm mà nó suy giảm.

Cách chạy nó

Intern-S2-Mobius được hỗ trợ bởi ba ngăn xếp suy luận, và hướng dẫn triển khai đưa ra các lời gọi hoạt động cho từng ngăn xếp.

LMDeploy là lựa chọn được khuyến nghị và là lựa chọn duy nhất mà hướng dẫn trình bày trên một GPU: phục vụ với backend PyTorch, code>--trust-remote-code/code>, tensor parallelism bậc 1 và giải mã suy đoán MTP được bật thông qua thuật toán suy đoán qwen3_5_mtp với bốn token dự thảo. vLLM được trình bày với tensor parallelism bậc 2, bộ phân tích suy luận qwen3, bộ phân tích gọi công cụ qwen3_coder, lựa chọn công cụ tự động và giải mã suy đoán MTP với bốn token suy đoán. Transformers hoạt động cho suy luận cơ bản thông qua code>AutoModelForImageTextToText/code> với code>trust_remote_code=True/code> và bfloat16 — lưu ý rằng mô hình đi kèm mã mô hình tùy chỉnh, do đó việc thực thi mã từ xa là bắt buộc và cấu hình nhắm đến Transformers 5.2.

Các tham số lấy mẫu được khuyến nghị của InternLM là temperature 0.8, top-p 0.95, top-k 50 và min-p 0.0 — ấm hơn so với cài đặt gần như tham lam mà hầu hết các mô hình suy luận yêu cầu, điều này đáng được tôn trọng hơn là ghi đè theo thói quen.

Về phần cứng: khoảng 73 GB trọng số bfloat16 cộng với KV cache và các activation đồng nghĩa với việc một bộ tăng tốc 80 GB sẽ khá chật, trong khi một card 141 GB sẽ thoải mái — đó có lẽ là lý do ví dụ vLLM sử dụng hai GPU còn ví dụ LMDeploy giả định một card lớn. Công việc với ngữ cảnh dài sẽ đẩy con số này lên cao hơn. Bật MTP — hướng dẫn khuyến nghị rõ ràng — và một phần đáng kể của mức tăng tốc được quảng bá nằm ở đó chứ không phải ở kiến trúc nền tảng.

Lưu ý thực tế quan trọng nhất: hiện không có nhà cung cấp suy luận nào lưu trữ mô hình này. Bảng điều khiển nhà cung cấp của Hugging Face nói rõ điều đó, và bộ đếm lượt tải vẫn ở mức không khi bài viết này được viết. Không có điểm cuối API, không có giá cho mỗi triệu token, và không có cách nào được quản lý để dùng thử. Tự lưu trữ là lựa chọn duy nhất hiện nay.

Ai thực sự nên quan tâm

1. Các nhóm vận hành khối lượng công việc suy luận định hình theo truy xuất với dung lượng lớn.

Đây chính là hồ sơ sử dụng mà kiến trúc này được xây dựng cho. Nếu bạn đang phục vụ các lô lớn Q&A kỹ thuật, phân tích tài liệu, trích xuất có cấu trúc, hoặc phân loại kiểu trắc nghiệm thông qua một mô hình suy luận, và hóa đơn của bạn bị chi phối bởi các token suy luận mà bạn không bao giờ hiển thị cho người dùng, thì một mô hình đạt được câu trả lời tương tự với chỉ một phần năm số token là một khoản giảm chi phí trực tiếp. Các con số MMLU Pro và GPQA — trace ngắn hơn 4,6 lần và 5,0 lần với độ chính xác tương đương hoặc tốt hơn — chính là dạng này. Hãy benchmark nó với lưu lượng truy cập của chính bạn trước khi tin vào điều đó, nhưng cơ chế thì vững chắc và động lực thì rất lớn.

2. Nhóm khoa học tính toán

Bộ tokenizer gốc cho protein, SMILES và axit nucleic, cùng với những cải thiện lớn được đo lường trên các benchmark sinh học và phân tử, trong một mô hình Apache 2.0 chạy vừa trên một hoặc hai GPU. Đối với một phòng thí nghiệm cần dữ liệu được giữ tại chỗ (on-premises) và không thể gửi cấu trúc phân tử đến một API thương mại, sự kết hợp đó là hiếm có. Dòng sản phẩm Intern-S đã được xây dựng hướng tới điều này, và Mobius hiện là điểm khởi đầu rẻ nhất cho nó cho đến nay.

3. Các nhà nghiên cứu và những người quan sát kiến trúc

Việc tách rời suy luận tri thức và suy luận tiềm ẩn đã là các hướng nghiên cứu tích cực trong một thời gian; rất ít trong số đó được xác thực ở quy mô 35B và phát hành công khai với các trường hợp thất bại còn nguyên vẹn. Nếu bạn quan tâm đến nơi mà các kiến trúc hậu Transformer sẽ đi tiếp, báo cáo kỹ thuật và hai hàng thua cuộc kia thú vị hơn điểm số trung bình. ArchSpace được xây dựng một cách tường minh để làm cho loại kết quả này có thể tái sử dụng.

Ai không nên quan tâm, ít nhất là lúc này: bất kỳ ai đang tìm kiếm một trợ lý đa năng cho môi trường sản xuất. Không có endpoint được lưu trữ, không có đánh giá độc lập, không có công cụ hệ sinh thái và không có thành tích. Đó không phải là lời chỉ trích mô hình — mà là mô tả về một bản phát hành nghiên cứu mới chỉ một tuần tuổi.

Cách nó phù hợp với bộ công nghệ sản xuất

Vị trí trung thực của Intern-S2-Mobius ngày hôm nay là ứng viên đánh giá, không phải mô hình mặc định. Đây là một sản phẩm nghiên cứu chưa được lưu trữ, chưa được xác minh, mới một tuần tuổi với kiến trúc thực sự thú vị và một điểm mạnh rất cụ thể — suy luận tiết kiệm token trên các tác vụ dạng truy hồi — cùng với một sự chuyên môn hóa thực sự về dữ liệu chuỗi khoa học.

Một mô hình hợp lý là giữ lưu lượng sản xuất của bạn trên một điểm cuối trung lập với nhà cung cấp như OrcaRouter — nơi cho bạn một API tương thích OpenAI dùng chung cho nhiều mô hình — và dựng Mobius riêng biệt trên GPU của bạn cho phân khúc hẹp mà nó có thể thắng thế. Hãy đo lường điều thực sự quan trọng đối với mô hình này: không chỉ riêng độ chính xác, mà là số token tiêu tốn cho mỗi câu trả lời đúng. Đó là trục mà Mobius được tối ưu hóa, và cũng là trục mà hầu hết các bộ khung đánh giá bỏ qua. Nếu nó trụ vững với khối lượng công việc của bạn, bạn có một hướng tự lưu trữ vừa rẻ để vận hành vừa không vướng bận pháp lý. Nếu không, bạn chỉ mất một ngày thời gian GPU và đường sản xuất của bạn không hề chuyển dịch.

Cùng logic đó cũng áp dụng theo chiều ngược lại nếu một nhà cung cấp cuối cùng lưu trữ nó: một router cho phép bạn thử nghiệm A/B một mô hình mới so với mô hình hiện tại mà không cần viết lại bất cứ điều gì — đây chính là cách đúng đắn để áp dụng một kiến trúc chưa ai kiểm tra độc lập.

Hạn chế và lưu ý

Bắt đầu với vấn đề lớn nhất: không có sự xác minh độc lập nào cho bất kỳ con số nào trong bài viết này. Mọi điểm chuẩn, mọi đường cong thông lượng và mọi so sánh độ dài token đều đến từ InternLM. Sự so sánh này cũng có lợi về mặt cấu trúc — Mobius chỉ được đo so với đường cơ sở cụ thể mà nó được tiền huấn luyện liên tục, chứ không phải so với ranh giới hiện tại, và việc huấn luyện bổ sung SFT và RL sau huấn luyện có nghĩa là sự so sánh này không phải là một phân tích kiến trúc sạch sẽ, mặc dù nó được trình bày như vậy. Một phần lợi ích là từ Mobius; một phần chỉ đơn giản là do được huấn luyện thêm.

{{1}}Các suy giảm là có thật{{/1}} và {{2}}chúng nằm ở các tác vụ khó nhất{{/2}}. Việc mất HLE 3,3 {{3}}điểm và UGD hard 5 điểm{{/3}}, trong khi thắng gần như mọi thứ dễ hơn, là một {{4}}dấu hiệu đáng lo ngại{{/4}} một chút và nhất quán cho một mô hình có điểm mạnh là hiệu quả suy luận.

Về mặt vận hành, sự cản trở là đáng kể. Mã mô hình tùy chỉnh có nghĩa là code>trust_remote_code/code> và phiên bản Transformers mới nhất. Các framework hỗ trợ nó cần phải đủ mới để biết code>interns2_mobius/code> là gì, và hướng dẫn của chính InternLM cảnh báo rằng đây là các cấu hình tham chiếu đang được phát triển tích cực. Khoảng 73 GB trọng số không phải là một mô hình chạy trên laptop. Không có API được lưu trữ, không có giá, không có giới hạn tần suất và không có SLA — vì không có dịch vụ.

Cuối cùng, hãy lưu ý những gì chưa được công bố: không có kết quả benchmark đa phương thức dù có bộ mã hóa thị giác đầy đủ, không có đánh giá ngữ cảnh dài dù giới hạn 256K, không có benchmark lập trình nào cả, không có đánh giá an toàn hoặc căn chỉnh, và không có so sánh với bất kỳ mô hình nào khác ngoài Qwen3.5-35B. Đối với việc triển khai đa dụng, đó là những khoảng trống lớn. Đối với một bài báo kiến trúc kèm trọng số, chúng đơn giản là nằm ngoài phạm vi — đó là cách đúng để đọc bản phát hành này.

Câu hỏi thường gặp

Intern-S2-Mobius là gì?

Một mô hình nền tảng đa phương thức 35B tham số, Apache 2.0, từ nhóm InternLM của Phòng thí nghiệm Trí tuệ Nhân tạo Thượng Hải, được xây dựng trên kiến trúc Mobius-v0 tách biệt lưu trữ kiến thức khỏi tính toán suy luận. Mô hình này được tiền huấn luyện liên tục từ Qwen3.5-35B và hậu huấn luyện bằng SFT và học tăng cường, đồng thời được công bố trên Hugging Face vào ngày 29 tháng 7 năm 2026.

Điều gì làm cho kiến trúc Mobius khác biệt?

Các Transformer thông thường lưu trữ tri thức trong một khối feed-forward bên trong mỗi tầng, vì vậy tri thức chỉ có thể truy cập được ở độ sâu nơi nó tồn tại. Mobius thay thế điều đó bằng một Bộ nhớ chia sẻ toàn cầu — 2,560 chuyên gia trong cấu hình được phát hành — mà bốn khối Reasoner truy vấn lặp lại, cho phép truy cập tri thức xuyên tầng và để một phần quá trình suy luận diễn ra trong các trạng thái ẩn liên tục thay vì các token chuỗi suy nghĩ được sinh ra.

Intern-S2-Mobius có thực sự nhanh gấp 4 lần không?

Trung bình và ở kích thước batch lớn, về cơ bản là có: InternLM đo được thông lượng yêu cầu cao hơn 2,9 lần ở batch 16, tăng lên 4,6 lần ở batch 256. Nhưng nó thay đổi rất lớn tùy theo tác vụ. Trên MMLU Pro và GPQA Diamond, mức tăng đáng kể ở mọi kích thước batch; trên các bài toán thi đấu AIME và HMMT, Transformer cơ sở thực sự nhanh hơn ở các kích thước batch trung gian. Mức tăng tốc phụ thuộc vào việc mô hình có thể rút ngắn chuỗi suy luận của mình đến mức nào.

Nó so sánh như thế nào với Qwen3.5-35B?

Nó thắng bảy trong chín benchmark tổng quát với mức trung bình 67.88 so với 65.05, bao gồm MMLU Pro (89.05 so với 85.31), AIME 2026 (95.31 so với 92.08), HMMT 2026 (85.51 so với 78.50) và SimpleQA (28.90 so với 21.39). Nó thua UGD hard (73.02 so với 78.02) và HLE (19.11 so với 22.40). Trong các tác vụ khoa học, nó vượt xa — trung bình 52.14 so với 18.20.

Tôi có thể sử dụng Intern-S2-Mobius thông qua API không?

Hiện tại thì không. Không có nhà cung cấp suy luận nào lưu trữ nó, không có mức giá nào được công bố, và Hugging Face không liệt kê tùy chọn triển khai. Tự lưu trữ với LMDeploy, vLLM hoặc Transformers là cách duy nhất để chạy nó ngay lúc này.

Tôi cần phần cứng gì để chạy nó?

Trọng lượng mô hình khoảng 73 GB ở định dạng bfloat16, vì vậy hãy tính đến một GPU lớp 141 GB hoặc hai GPU 80 GB, cộng thêm dung lượng dự phòng cho KV cache. Ví dụ LMDeploy của InternLM sử dụng độ song song tensor là 1; ví dụ vLLM của nó sử dụng 2. Nên bật giải mã suy đoán MTP với bốn draft token.

Độ dài ngữ cảnh của nó là bao nhiêu?

Cấu hình hỗ trợ 262,144 token (256K). Lưu ý rằng InternLM được đánh giá ở mức 128K trên hầu hết các benchmark văn bản và 64K trên MMLU Pro, SimpleQA và HLE, do đó chất lượng đã được kiểm chứng ở mức 256K đầy đủ vẫn chưa được chứng minh.

Nó có đa phương thức không?

Có. Hugging Face phân loại nó là image-text-to-text, và cấu hình bao gồm bộ mã hóa thị giác 27 lớp với khả năng xử lý token video. Tuy nhiên, InternLM không công bố kết quả benchmark đa phương thức nào với bản phát hành này, vì vậy khả năng thị giác thực tế không được ghi nhận chính thức.

Tại sao nó đi kèm các bộ tokenizer cho protein và SMILES?

{{1}}Vì dòng Intern-S là một họ mô hình khoa học.{{/1}} {{2}}Các bộ tokenizer chuyên dụng cho chuỗi protein, ký hiệu phân tử SMILES và axit nucleic có nghĩa là mô hình đọc các định dạng đó như các loại đầu vào gốc,{{/2}} {{3}}đó là lý do vì sao nó đạt 51.40 trên Biology-Instructions trong khi đường cơ sở đạt 3.77.{{/3}}

Giấy phép thực sự là Apache 2.0 phải không?

Vâng — Apache 2.0, với tệp giấy phép trong kho lưu trữ. Việc sử dụng thương mại, sửa đổi và phân phối lại được cho phép, điều này thoáng hơn đáng kể so với nhiều bản phát hành open-weight từ các phòng thí nghiệm lớn.

Tôi có nên sử dụng nó trong production không?

Vẫn chưa. Nó mới chỉ một tuần tuổi, chưa được lưu trữ, chưa được bất kỳ bên thứ ba nào xác minh, và thiếu các đánh giá về khả năng lập trình, đa phương thức, ngữ cảnh dài và an toàn. Hãy coi nó như một ứng viên đánh giá cho các tác vụ suy luận tiết kiệm token hoặc các bài toán về chuỗi trình tự khoa học, giữ lưu lượng truy cập production trên các mô hình đã được thiết lập thông qua một endpoint trung lập về nhà cung cấp, và xem xét lại khi có các số liệu độc lập.

Kết luận

Intern-S2-Mobius là một trong những bản phát hành mô hình thực sự thú vị nhất năm nay, và gần như không điều gì trong số đó liên quan đến điểm số của nó. InternLM đã mang một ý tưởng kiến trúc thực sự — ngừng gắn kiến thức vào các tầng, đặt nó vào một Bộ nhớ dùng chung, và để mô hình thực hiện một phần suy nghĩ trong không gian tiềm ẩn thay vì trong các token — mở rộng nó lên 35B, huấn luyện nó một cách bài bản, và phát hành trọng số theo Apache 2.0 cùng với báo cáo kỹ thuật và những kết quả không như mong đợi. Cơ chế hiệu quả rõ ràng và bằng chứng cho nó nhất quán nội tại: các dấu vết suy luận ngắn hơn trung bình 1,5 lần và ngắn hơn tới 5 lần ở các tác vụ nặng về kiến thức, và thông lượng tăng đúng theo tỷ lệ mà bạn có thể dự đoán từ điều đó.

Các lưu ý cũng rõ ràng không kém. Không ai bên ngoài Phòng thí nghiệm AI Thượng Hải xác minh được một con số nào. So sánh được thực hiện với phiên bản gốc của chính mô hình và bao gồm cả hậu huấn luyện bổ sung, nên đây không phải là phép thử loại trừ sạch sẽ như vẻ ngoài của nó. Mức tăng tốc phần lớn biến mất trên các bài toán khó. Mô hình thua trên hai tiêu chuẩn đánh giá suy luận đòi hỏi khắt khe nhất trong bảng của chính nó. Và không có cách nào để dùng thử mà không thuê GPU.

{{1}}Vậy nên: không phải mô hình để triển khai trong tuần này, nhưng rất đáng để theo dõi, và là lựa chọn thực sự hấp dẫn cho hai nhóm đối tượng cụ thể{{/1}} — {{2}}các nhóm có chi phí suy luận bị chi phối bởi các token không ai đọc,{{/2}} và {{3}}các nhóm khoa học cần một mô hình nhỏ, cấp phép linh hoạt, hiểu biết tự nhiên về protein và phân tử.{{/3}} {{4}}Giữ stack sản xuất trên các mô hình đã được kiểm chứng qua một điểm cuối trung lập với nhà cung cấp như OrcaRouter,{{/4}} {{5}}triển khai Mobius trên phần cứng của riêng bạn cho trường hợp sử dụng hẹp,{{/5}} và {{6}}đo token cho mỗi câu trả lời đúng thay vì chỉ đo độ chính xác.{{/6}} {{7}}Nếu kiến trúc đứng vững dưới sự thẩm định độc lập,{{/7}} {{8}}Mobius-v0 sẽ được nhớ đến không phải như một mô hình 35B mà như số phiên bản trước phiên bản quan trọng.{{/8}}