Hy-Memory-30B-A3B so với Nemotron 3.5 Lightning 30B-A3B Base: Cùng ba chữ cái, hai đối tượng khác nhau

Hy-Memory-30B-A3B và NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 có chung phép toán tham số — tổng 30 tỷ, kích hoạt 3 tỷ — và đó chính là điểm mà sự tương đồng không còn hữu ích nữa. Mô hình của nhóm Hunyuan, được mã nguồn mở vào ngày 15 tháng 10 năm 2026, là một sản phẩm hoàn chỉnh: đã được hậu huấn luyện đầy đủ để thực hiện việc ghi bộ nhớ bên trong Mem0, MemOS và Hy-Memory, đi kèm công thức phục vụ tương thích với OpenAI và một bảng benchmark khẳng định vượt trội so với Claude Opus 5. Còn của NVIDIA, phát hành ngày 11 tháng 8 năm 2026, thì hoàn toàn không phải là một sản phẩm. Từ "Base" trong tên của nó là theo nghĩa đen — không hề áp dụng tinh chỉnh có giám sát, học tăng cường hay chưng cất nào. Đây là nguyên liệu thô đã qua tiền huấn luyện, được công bố để bạn có thể xây dựng mô hình đã hậu huấn luyện của riêng mình dựa trên nó. Điều mà những con số không thể cho bạn biết là liệu có phần nào trong đó đã gặp trục trặc ngoài thực tế hay không: các sự cố AI và thất bại của agent được ghi nhận xung quanh những mô hình thuộc lớp này đều được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ đánh dấu tranh chấp.

Hai mô hình có cùng con số trong tên, một mô hình được thiết kế để sử dụng và một mô hình được thiết kế để chỉnh sửa. So sánh đáng làm không phải là mô hình nào đạt điểm cao hơn — chúng chưa từng được đánh giá trên bất kỳ tiêu chí chung nào, và một trong hai không có hành vi tuân thủ chỉ dẫn nào để đánh giá. So sánh đáng làm là về bằng chứng: mỗi nhà cung cấp đã công bố những gì, bạn có thể tự kiểm chứng bao nhiêu trong số đó, và mỗi bên yêu cầu gì ở bạn trước khi làm bất cứ điều gì.

Mỗi mô hình thực sự là gì

Hy-Memory-30B-A3B là một transformer thưa thông thường với một công việc bất thường. Tệp cấu hình của nó mô tả 48 lớp, đầu tiên là một khối feed-forward dày đặc và 47 khối mixture-of-experts còn lại, với 128 chuyên gia mỗi khối ở định tuyến top-8 cộng với một chuyên gia chia sẻ duy nhất, kích thước ẩn 2.048, chiều rộng trung gian của chuyên gia là 768, 32 đầu attention so với 4 đầu key-value với chuẩn hóa query-key, và ngữ cảnh 262.144 vị trí. Khoảng 60,1 GB trên 51 phân đoạn BF16. Nó được huấn luyện trong hai giai đoạn — Memory On-Policy Distillation, sau đó là Attributed Memory Reinforcement Learning — và toàn bộ mục đích của bài tập này là thay thế mô hình đa dụng mà các framework bộ nhớ hiện đang gọi đến mỗi lượt. Được phục vụ với vLLM 0.31.0, nó trả về các bản ghi JSON có cấu trúc mô tả những gì một tác nhân nên ghi nhớ.

Nemotron 3.5 Lightning 30B-A3B Base là một cỗ máy lai. NVIDIA xen kẽ các khối không gian trạng thái Mamba-2 với các lớp mixture-of-experts và attention, bổ sung các đầu Multi-Token Prediction được huấn luyện trong một giai đoạn tiền huấn luyện liên tục riêng, và tiền huấn luyện toàn bộ hệ thống theo một công thức NVFP4 trên hơn 20 nghìn tỷ token. Mục đích của ngăn xếp lai này là bộ nhớ đệm key-value: các khối Mamba-2 giữ cho nó không tăng trưởng theo cách mà một transformer thông thường vẫn làm, và đó chính là điều cho phép NVIDIA tuyên bố độ dài ngữ cảnh lên tới 1 triệu token. Nó được phát hành ở các bản dựng BF16, NVFP4 và FP8, cùng với các bản chuyển đổi và lượng tử hóa GGUF từ một số bên thứ ba. Giấy phép của nó là OpenMDW-1.1, bao gồm trọng số, dữ liệu huấn luyện và các công thức — một sự cấp phép rộng rãi hơn mức mà một giấy phép mô hình thường có.

Sự trùng hợp về số lượng tham số là thật nhưng hời hợt. Cả hai đều kích hoạt khoảng 3B tham số mỗi token; đó là quyết định thiết kế duy nhất mà hai nhóm đưa ra giống nhau.

Banner đó là yếu tố mang tính thông tin cao nhất trên trang. NVIDIA cố ý đặt nó ở đầu kho lưu trữ cơ sở: checkpoint này không phải là bản mà hầu hết mọi người muốn, và nhà cung cấp nói rõ điều đó trước khi bạn tải xuống 30 tỷ tham số.

Sự khác biệt quyết định tất cả: hậu huấn luyện so với tiền huấn luyện

Một checkpoint cơ sở không tuân theo hướng dẫn. Hỏi nó một câu và nó sẽ tiếp tục văn bản, vì đó là điều duy nhất mà tiền huấn luyện đã dạy nó. Nó không có mẫu trò chuyện nào ra hồn, không có hành vi gọi công cụ, không có ranh giới từ chối và không hề biết rằng một cuộc trò chuyện có các lượt. Thẻ mô hình của NVIDIA nói thẳng điều này, và biểu ngữ “Đang tìm mô hình hậu huấn luyện?” ở đầu kho lưu trữ trỏ đến checkpoint anh em dành cho bất kỳ ai muốn một thứ mà họ có thể trò chuyện cùng.

Mục đích của một checkpoint cơ sở là dành cho việcbạn hậu huấn luyện. Tiếp tục tiền huấn luyện trên một kho ngữ liệu theo lĩnh vực, hoặc tinh chỉnh có giám sát, RL và chưng cất thông qua NeMo RL, NeMo Gym và Megatron-LM — bộ công cụ mà NVIDIA đặt tên và cung cấp công thức cho. Nếu bạn có lợi thế về dữ liệu và quan điểm về cách một mô hình nên hành xử, thì một checkpoint cơ sở là điểm khởi đầu cho phép bạn tận dụng cả hai. Nếu không, nó chỉ là một vật chặn giấy 30 tỷ tham số.

Hy-Memory-30B-A3B nằm ở đầu đối diện của quy trình đó. Nó đã trải qua quá trình hậu huấn luyện, hai lần, và toàn bộ giá trị cốt lõi là bạn không phải làm công việc đó — bạn lấy schema mà thẻ cung cấp, trỏ nó vào harness của bạn, và nó ghi bộ nhớ. Nó hẹp hơn Nemotron một khoảng cách khổng lồ và được hoàn thiện theo cách mà Nemotron cố tình không làm.

Thông số kỹ thuật và đóng gói, mỗi kích thước một dòng

• Tổng / tham số hoạt động — 30B / ~3B cho cả hai. Đây là hàng duy nhất mà chúng đồng ý.

• Kiến trúc — Hy-Memory-30B-A3B là một transformer thưa với một khối dense và 47 khối MoE, 128 chuyên gia ở top-8 cùng một chuyên gia chia sẻ; Nemotron 3.5 Lightning 30B-A3B Base là một mô hình lai Mamba-2, xen kẽ các lớp state-space, MoE và attention với các head Multi-Token Prediction.

• Ngữ cảnh — 262,144 vị trí cho Hy-Memory-30B-A3B từ cấu hình của nó; lên đến 1M token cho Nemotron, với 256K là con số thực tế được ghi nhận trên một H100 duy nhất.

• Hậu huấn luyện — hai giai đoạn cho Hy-Memory-30B-A3B (chưng cất theo chính sách, sau đó là RL có quy kết); hoàn toàn không có gì đối với checkpoint cơ sở Nemotron.

• Kích thước trọng số — 60,1 GB BF16 cho Hy-Memory-30B-A3B mà không có độ chính xác nào khác được công bố, so với các bản dựng BF16, NVFP4 và FP8 từ NVIDIA cùng GGUF từ cộng đồng.

• Giấy phép — Apache 2.0 so với OpenMDW-1.1, vốn còn bao gồm cả dữ liệu huấn luyện và công thức.

• Đường phục vụ — vLLM 0.31.0 đứng sau một điểm cuối tương thích OpenAI cho Hy-Memory-30B-A3B; hậu huấn luyện trước, rồi phục vụ, đối với Nemotron.

• Endpoint được host — không mô hình nào được triển khai bởi nhà cung cấp suy luận được host. Cả hai đều là phương án tự host.

Bằng chứng: NVIDIA công bố một công thức, Hunyuan công bố một bảng

Đây là sự khác biệt rõ rệt nhất giữa hai bản phát hành, và nó không nằm ở bản thân những con số.

NVIDIA công bố phương pháp đánh giá của mình theo cách mà bạn có thể hành động dựa trên đó. Thẻ cơ sở Lightning nêu rằng các số liệu độ chính xác của nó được đo trong một bộ khung nhất quán — NeMo Gym và NeMo Evaluator SDK, bao bọc một container mã nguồn mở của LM Evaluation Harness, với RULER được chạy qua NeMo Skills — rồi nói điều mà các nhà cung cấp hiếm khi nói: những con số này có thể khác với số liệu do các nhà cung cấp khác tự báo cáo. Nó liên kết các công thức tái lập. Các con số vẫn là kết quả chạy của chính NVIDIA, nhưng bộ khung được nêu tên, đóng gói trong container và có thể tải xuống, nghĩa là khoảng cách giữa "NVIDIA đã đo cái này" và "tôi đã đo cái này" chỉ là vài giờ làm việc thay vì một dự án nghiên cứu.

The Hy-Memory release is harder to check in two distinct ways. The evaluation design is sound on its own terms — it changes only the memory writer and holds the harness, prompts, retrieval configuration, answer model and judge fixed, which is the correct way to isolate a writer's contribution. But every benchmark in the main matrix runs on a fixed 20% subsample rather than the full set, and the headline margin is thin: 55.49 macro average against 54.62 for Claude Opus 5, a 0.87-point gap, with the MemOS harness decided by 0.01 of a point. The second obstacle is hardware. Reproducing NVIDIA's base numbers means loading a checkpoint whose quantised builds exist; reproducing Hy-Memory's means loading 60 GB of BF16 with no smaller alternative published.

Không bộ số liệu nào trong hai bộ đã được tái lập một cách độc lập. Sự khác biệt nằm ở mức độ đáng tin rằng bạn có thể là người thực hiện điều đó.

Put the two primary sources side by side and the contrast is stark: The Hy-Memory evaluation lives in a paper with an architecture description and a training method, and NVIDIA's lives in a model card with a named, downloadable harness. Both are the vendor marking its own homework. Only one of them hands you the ruler.

Hai lý do khác nhau để đưa một bộ định tuyến vào chuyện này

Cả hai mô hình đều tự host, và cả Hy-Memory-30B-A3B lẫn Nemotron 3.5 Lightning 30B-A3B Base đều không có trong danh mục của OrcaRouter — chúng tôi không host mô hình nào trong hai. Con đường để có cả hai là trọng số và GPU của chính bạn. Nhưng câu hỏi về router lại đặt ra khác nhau ở mỗi phía của so sánh này, điều đáng để đi qua từng bước vì đó chính là hình dạng thực tiễn của lựa chọn.

Nếu bạn đi theo con đường Nemotron, bạn đang post-train một checkpoint. Điều đó tạo ra một mô hình chỉ tồn tại trên hạ tầng của bạn, và vấn đề kinh điển với một checkpoint tùy chỉnh là nó không có chỗ để đặt: nó không nằm trong bất kỳ danh mục nào, nên mọi ứng dụng muốn dùng nó đều cần hệ thống kết nối riêng, và mọi đường dự phòng khi nó gặp sự cố đều phải được dựng thủ công. Một router giải quyết chính xác điều đó — một API key duy nhất cho hơn 200 mô hình, với endpoint của riêng bạn được đăng ký bên cạnh chúng và chuyển đổi dự phòng tự động khi nó suy giảm. Model fusion là mảnh còn lại đáng biết ở đây: nó chạy một nhóm mô hình cùng nhau trong một lần gọi, đó là cách bạn so sánh một bản post-train mới với một baseline mạnh mà không cần viết harness cho từng cái.

Nếu bạn chọn con đường Hy-Memory, writer chỉ là một lời gọi trong một vòng lặp lớn hơn nhiều. Một memory harness gọi writer, rồi gọi một mô hình trả lời để đọc lại bank và phản hồi — và lời gọi thứ hai đó chính là nơi một mô hình hosted thường nằm. OrcaRouter truyền giá niêm yết của nhà cung cấp với mức markup 0%, nên việc nhà cung cấp giảm giá cho mô hình trả lời sẽ có hiệu lực ngay bên phía chúng tôi trong cùng ngày, và routing DSL kết hợp writer tự host và reader hosted thành một lời gọi duy nhất. Bạn không cần cả hai nửa đến từ cùng một nơi, và bạn không cần hợp đồng thứ hai để bổ sung nửa còn thiếu.

Cái nào là điểm khởi đầu đúng?

Nếu điều bạn muốn là một mô hình làm được điều gì đó ngay trong ngày bạn tải nó về — cụ thể là khiến bộ nhớ của một agent trở nên tốt hơn mà bạn không cần huấn luyện bất cứ thứ gì — thì Hy-Memory-30B-A3B là mô hình duy nhất trong hai mô hình này đáp ứng được. Nó cũng là mô hình bạn không thể kiểm thử một cách rẻ, và tuyên bố nổi bật của nó là tuyên bố có biên lợi thế mỏng manh nhất. Hãy bắt đầu với kỳ vọng rằng bạn sẽ phải chi cho phần cứng trước khi bạn học được bất cứ điều gì.

Nếu điều bạn muốn là một nền tảng mà bạn có thể định hình, thì Nemotron 3.5 Lightning 30B-A3B Base là một công trình đã công bố đáng kể: một kiến trúc lai được thiết kế cho ngữ cảnh dài và suy luận nhanh, được phát hành kèm công thức huấn luyện và một bộ khung đánh giá mà bạn có thể chạy lại. Nó sẽ không trả lời câu hỏi nào cho đến khi bạn huấn luyện hậu kỳ nó, và đó là thỏa thuận chứ không phải là một khiếm khuyết.

Việc trùng tên sẽ tiếp tục khiến hai thứ này xuất hiện cùng nhau trong một câu. Số lượng tham số sẽ tiếp tục khớp nhau. Không có gì khác về chúng khớp cả, và người đọc càng sớm tách “30B-A3B” khỏi “cùng một loại mô hình”, thì việc so sánh càng sớm trở nên hữu ích.

Con số lượt tải đáng để giữ nguyên trên màn hình. Một mô hình chuyên biệt đã qua hậu huấn luyện, phát hành hôm qua mà không có bản lượng tử hóa, không có endpoint được host và không có thông báo, chỉ có không lượt tải nào và chín lượt thích — trong khi checkpoint cơ sở tiền huấn luyện của NVIDIA, công bố trước đó hai tháng, nằm ở mức hàng chục nghìn. Khoảng cách đó không phải là một đánh giá về chất lượng. Nó là thước đo mức độ khó mà mỗi nhóm đã tạo ra để khiến người ta thử thứ này.