Một thẻ hero được tạo có nội dung 'Base đối đầu base', cùng hai ô checkpoint: 'Hy4 flash-Base' ghi 'tổng 220B / 12B hoạt động / ngữ cảnh 1M / phát hành 17 thg 11 2026', và 'ERNIE 5.5 Flash Base' ghi 'tổng 280B / 14B hoạt động / 128K huấn luyện / phát hành 5 thg 11 2026', cùng chân trang ghi 'Cả hai bảng benchmark đều do nhà cung cấp báo cáo. Không bảng nào có điểm số độc lập.'
Guides & Insights

Hy4 flash-Base so với ERNIE 5.5 Flash Base: So sánh công bằng duy nhất mà một trong hai nhà cung cấp đã công bố

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Hai phòng thí nghiệm Trung Quốc công bố checkpoint tiền huấn luyện cách nhau mười hai ngày, và lần này bảng so sánh tự nó đã rõ ràng: Hy4 flash-Base so với ERNIE 5.5 Flash Base, cùng loại sản phẩm từ cùng giai đoạn của quy trình, được đánh giá theo cùng một cách. Tencent công bố Hy4 flash-Base vào ngày 17 tháng 11 năm 2026 cùng với mô hình instruction. Baidu công bố ERNIE 5.5 Flash Base vào ngày 5 tháng 11 năm 2026, và tại thời điểm viết bài, đây vẫn là sản phẩm ERNIE 5.5 duy nhất tồn tại — mô hình chat sau huấn luyện vẫn chưa được phát hành.

Sự khác biệt đó ở những gì bao quanh checkpoint chính là phần lớn lý do khiến cuộc so tài này đáng để dành một trang. So sánh hai base cho bạn biết quá trình pre-training đã diễn ra thế nào. So sánh hai bản phát hành lại cho bạn thấy điều kém tâng bốc hơn về cả hai: một công ty tung ra nguyên liệu thô và sản phẩm hoàn chỉnh trong cùng một ngày, công ty kia tung ra nguyên liệu thô và một lời hứa.

Vì sao checkpoint gốc là phép so sánh trung thực

Gần như mọi so sánh mô hình mà bạn đọc đều ngầm không công bằng, vì nó đặt một mô hình đã hoàn thiện, được tinh chỉnh theo chỉ dẫn của nhà cung cấp này đối với một mô hình đã hoàn thiện, được tinh chỉnh theo chỉ dẫn của nhà cung cấp khác, mỗi mô hình được đánh giá trên khung đánh giá riêng với các đường cơ sở riêng. Các checkpoint gốc loại bỏ một trong những biến số đó. Cả hai mô hình đều chưa qua huấn luyện hậu kỳ, cả hai đều không có chat template định hình định dạng đầu ra, và cả hai nhà cung cấp công bố các bảng few-shot trên các chuẩn đánh giá học thuật tiêu chuẩn thay vì các bộ đánh giá tác tử tùy chỉnh.

Những gì còn lại — harness, số lượng shot, các tập con — vẫn mang tính đặc thù của từng nhà cung cấp, nên không có gì ở đây là một thí nghiệm có kiểm soát. Nhưng bảng base-đối-base là so sánh các lần chạy tiền huấn luyện, và tiền huấn luyện là phần tốn kém. Đây là thứ gần nhất với một con số so sánh ngang bằng mà hai công ty này đã công bố về nhau.

Hai trạm kiểm soát, cạnh nhau

• Tham số — Hy4 flash-Base 220.3B tổng, 12B hoạt động mỗi token; ERNIE 5.5 Flash Base 280B tổng, 14B hoạt động mỗi token.

• Các tham số nằm ở đâu — Hy4 flash-Base mang 155.5B trong backbone 42 lớp, 63.5B trong các bảng embedding n-gram Engram, 0.43B trong bộ mã hóa thị giác và 0.85B trong drafter DFly2; 280B của ERNIE là cách phân bổ MoE thông thường hơn, cộng thêm mô-đun ECHO 0.36B không được tính vào con số headline.

• Độ sâu và định tuyến — 42 lớp (một dense, 41 MoE) với 512 chuyên gia được định tuyến cộng một chuyên gia chia sẻ, 16 hoạt động, kích thước ẩn 3,072, cho Hy4 flash-Base; 43 lớp (một dense, 42 Multi-Router Latent MoE) với 512 chuyên gia được định tuyến cộng một chuyên gia chia sẻ, top-10, kích thước ẩn 4,096, cho ERNIE.

• Ngữ cảnh — 1.048.576 token được cấu hình trên cả hai. Tencent đã huấn luyện Hy4 flash trực tiếp ở độ dài đó; Baidu đã huấn luyện ERNIE ở 128.000 và đặt cấu hình phát hành thành 1.048.576 cho tinh chỉnh và suy luận, đây là một năng lực của cấu hình chứ không phải hành vi đã được đo lường.

• Phương thức — đầu vào văn bản và hình ảnh, đầu ra văn bản, ở cả hai. Hy4 flash-Base được trang bị bộ mã hóa thị giác phái sinh từ SigLIP2; thẻ mô tả của ERNIE 5.5 Flash Base chỉ nêu đầu vào văn bản trên bảng liên kết mô hình.

• Giấy phép — Tencent Hy License v1.0, một dẫn xuất của Apache 2.0 với điều khoản MaaS áp dụng khi đạt doanh thu 50 triệu USD hoặc 100 triệu MAU; ERNIE 5.5 Flash Base Model License v1.0, loại trừ hoàn toàn các lãnh thổ Liên minh châu Âu, Vương quốc Anh và Hàn Quốc.

Cuộc tranh cãi về giấy phép không phải là chuyện phụ. Một nhóm ở châu Âu hoàn toàn không thể dùng checkpoint ERNIE theo khoản tài trợ của mình, và lợi thế benchmark đến đâu cũng không thay đổi được điều đó. Một nhóm ở bất kỳ quy mô nào cũng có thể dùng Hy4 flash-Base, và một nhóm có doanh thu MaaS trên 50 triệu đô la cần gửi email trước khi làm vậy.

Bảng của Baidu nói gì, và cái giá phải trả để tin vào nó

Bộ so sánh của Baidu là lựa chọn phù hợp cho một bản phát hành cơ sở: ERNIE 5.5 Flash Base đối đầu với DeepSeek-V4-Flash-Base, Hy3-preview-Base và MiMo-V2.5-Base, trên một quy trình mà tấm thẻ mô tả là được dùng chung cho cả bốn mô hình. Mọi con số dưới đây đều do Baidu báo cáo và chưa được tái lập.

• MMLU — 93,3 ERNIE, 89,4 DeepSeek-V4-Flash-Base, 87,5 Hy3-preview-Base, 87,6 MiMo-V2.5-Base.

• MMLU-Pro — 78,4 so với 69,2, 66,9 và 65,7. Khoảng cách lớn nhất trong bộ.

• GPQA — 60.2 so với 55.9, 50.2 và 51.4.

• HumanEval+ — 82,3 so với 69,5, 78,0 và 74,4.

• LiveCodeBench — 40,1 so với 31,9, 33,5 và 32,4.

• LongBench-v2 — 48,7 so với 44,5, 39,8 và 44,6.

• BBH với chain-of-thought — 89.2 so với Hy3-preview-Base 90.0 và MiMo-V2.5-Base 89.8. Một thế hòa ba bên nằm trong ngưỡng nhiễu, bất kể định dạng in đậm hàm ý điều gì.

• ChineseSimpleQA — 73,0 so với 75,3 của DeepSeek. Một thất bại, trên bộ đánh giá gần nhất với thị trường sân nhà của Baidu.

Bảng bị thiếu các hàng, đó là lý do nó trông giống một bảng do ai đó tự dựng hơn là một bảng do ai đó chọn sẵn. Hãy để ý thứ còn thiếu trong đó: Hy4 flash-Base. Checkpoint của Tencent chưa tồn tại vào ngày 5 tháng 11, nên chưa từng có ai công bố một hàng so sánh trực tiếp giữa hai mô hình trong phép so sánh này.

Bảng của Tencent nói gì, bao gồm cả tuyên bố miễn trừ trách nhiệm

Bảng cơ sở của Tencent gồm năm mục — Hy4 flash-Base, Hy4 Base, Hy3 preview Base, DeepSeek-V4-flash-Base và DeepSeek-V4-Pro-Base — và nó cũng bị mất hàng. Do nhà cung cấp báo cáo, chưa tái hiện được:

• MMLU-Pro — 71.1 cho Hy4 flash-Base so với 73.9 cho Hy4 Base, 65.8 cho Hy3 preview Base, 68.6 cho DeepSeek-V4-flash-Base và 73.4 cho DeepSeek-V4-Pro-Base.

• SimpleQA — 37.5 so với 57.2, 26.4, 31.3 và 52.1. Mức giảm lớn nhất trên thẻ.

• C-Eval — 92,0 so với 95,0; 90,1; 91,9 và 93,4.

• CMMLU — 91,6 so với 93,1, 89,6, 89,8 và 90,7.

• AGIEval Chinese — 90,6 so với 91,2, 87,8, 88,5 và 89,8.

• Belebele — 93,8 so với 95,0, 94,2, 94,4 và 95,2.

• INCLUDE — 82,8 so với 88,1, 84,3, 84,0 và 84,3.

• MMMU-Pro — 52.0 so với 59.6 của Hy4 Base. Các hàng đa phương thức chỉ có ở hai mô hình Hy.

Xét tổng thể: Hy4 flash-Base là một mô hình nhỏ hơn, rẻ hơn so với các mô hình anh em của nó và thua kém chúng ở hầu hết các dòng, đúng như một mô hình 12B-active nên thể hiện khi đối đầu với một mô hình 49B-active. Những dòng thú vị là các dòng đa ngôn ngữ, nơi nó giữ được trong khoảng một hoặc hai điểm so với các mô hình lớn hơn nhiều, và SimpleQA, nơi nó kém Hy4 Base hai mươi điểm — một khoảng cách truy xuất sự kiện cho thấy có bao nhiêu phần năng lực đó nằm ở số lượng tham số thay vì dữ liệu huấn luyện.

Tencent cũng tự nguyện nêu một lưu ý mà card của Baidu không có: vì mô hình cơ sở đã được tiếp xúc với một lượng lớn dữ liệu hướng dẫn tổng hợp trong giai đoạn giữa quá trình huấn luyện, nó “đôi khi không tuân theo định dạng câu trả lời mong đợi trong các đánh giá few-shot, điều này có thể làm sai lệch điểm số.” Việc một nhà cung cấp tự nói rằng bộ khung đánh giá của chính họ có thể đang đo mức độ tuân thủ định dạng là điều hiếm đến mức đáng để dành hẳn một câu.

A generated reference card headed 'Two tables, one shared row', with eight benchmark rows for ERNIE 5.5 Flash Base beside eight for Hy4 flash-Base and only the MMLU-Pro pair joined by a connector labelled '78.4 vs 71.1 — the only common row'.

Không thể đặt hai bảng này chồng lên nhau

Đây là cái bẫy trong phép so sánh này, và đáng nói thẳng vì phần lớn internet sẽ không nói ra. Cả hai nhà cung cấp đều công bố MMLU-Pro. Baidu báo cáo 78,4 cho ERNIE 5.5 Flash Base. Tencent báo cáo 71,1 cho Hy4 flash-Base. Thật dễ bị cám dỗ lấy trừ đi và báo cáo rằng Baidu thắng 7,3 điểm. Phép trừ đó không thể biện minh được.

Số lượng shot khác nhau, định dạng prompt khác nhau, và trong trường hợp của Hy4 flash-Base là một vấn đề tuân thủ định dạng đã được thừa nhận có thể làm giảm điểm trung bình macro. Con số duy nhất trong cả hai bảng có cùng một định nghĩa — Belebele trên một tập con năm ngôn ngữ — là 93,8 đối với Hy4 flash-Base và hoàn toàn vắng mặt trong bảng của Baidu. Không có sự chồng lấn nào đủ chặt chẽ để trừ ra.

Điều bạn có thể nói thì hẹp hơn và vẫn hữu ích: checkpoint của mỗi nhà cung cấp đánh bại các baseline DeepSeek bên thứ ba mà mỗi bên đã chọn, trên hầu hết các hàng, với biên độ do chính harness của họ tạo ra. Hai tuyên bố gần như độc lập cùng một hướng là bằng chứng mạnh hơn từng tuyên bố riêng lẻ và yếu hơn một benchmark chung. Đó là mức trần trung thực cho những gì hai card này hỗ trợ.

Screenshot of the Hugging Face model card for tencent/Hy4-flash-Base, showing the release line, the model-links table and the benchmark table with its synthetic-data format-compliance disclaimer.

Một bản phát hành đã hoàn tất; bản còn lại là một lời hứa.

Đây là sự bất đối xứng quan trọng hơn bất kỳ hàng nào ở trên, và nó không liên quan đến chất lượng benchmark.

Tencent đã công bố ba sản phẩm vào ngày 17 tháng 11: mô hình instruct, bản dựng FP8 của nó và checkpoint gốc. Một nhóm muốn có mô hình trò chuyện ngay hôm nay có thể tải một mô hình, nạp nó vào vLLM với vllm/vllm-openai:hy4-flash image đã ghim, rồi phục vụ nó. Checkpoint gốc có sẵn cho những ai muốn tinh chỉnh, và model card dẫn đến hướng dẫn tinh chỉnh.

Baidu đã công bố một artefact vào ngày 5 tháng 11. ERNIE 5.5 Flash Base là trọng số tiền huấn luyện. Không có ERNIE 5.5 Flash được tinh chỉnh theo chỉ dẫn để tải xuống, không có endpoint API nào được ghi chép dưới tên đó trong tài liệu phát hành, và thẻ mô hình chỉ mô tả mô hình đã hậu huấn luyện như một thứ “được cho là sẽ ra đời sau đó”. Một nhóm tải ERNIE 5.5 Flash Base hôm nay đang cam kết tự thực hiện phần hậu huấn luyện, trên 280B trọng số, trước khi họ có một mô hình có thể trả lời một câu hỏi ở định dạng sử dụng được.

Đối với một nhóm nghiên cứu, đó chính xác là hiện vật thú vị. Đối với một nhóm sản phẩm, nó không phải là một mô hình, mà là một điểm khởi đầu gắn với một khối lượng công việc không giới hạn, và phép so sánh đúng đắn không phải là với Hy4 flash-Base mà là với Hy4 flash — thứ tốn tiền theo từng token và hoạt động được ngay bây giờ.

Screenshot of Baidu's ERNIE 5.5 Flash Base model card, showing the base-checkpoint benchmark table against DeepSeek-V4-Flash-Base, Hy3-preview-Base and MiMo-V2.5-Base.

Bộ định tuyến phù hợp ở đâu trong quyết định về checkpoint cơ sở

Checkpoint base không phải là thứ một router phục vụ, và sẽ là không trung thực nếu gợi ý điều ngược lại. OrcaRouter không cung cấp cả Hy4 flash-Base lẫn ERNIE 5.5 Flash Base, và hôm nay mô hình instruct của cả hai nhà cung cấp đều không có trong danh mục. Điều danh mục thực sự có là tencent/hy4-preview — mô hình 770B/49B mà Hy4 flash được chưng cất từ đó — với $0.834 mỗi triệu token đầu vào và $2.501 mỗi triệu token đầu ra, cùng $0.042 cho mỗi lần đọc bộ nhớ đệm.

Điều đó quan trọng cho một quyết định cụ thể. Nếu bạn đang cân nhắc có nên tinh chỉnh một checkpoint cơ sở 220B hay không, câu hỏi đầu tiên là liệu hành vi của dòng mô hình này có phù hợp với tác vụ của bạn hay không, và mô hình xem trước trả lời câu hỏi đó trong một buổi chiều với chi phí bằng số token bạn dùng để thử nghiệm. Làm điều đó trước khi bạn cấp phát tám GPU cho một triển khai FP8 song song tensor là bước rẻ nhất trong toàn bộ dự án. Giá niêm yết của nhà cung cấp được chuyển tiếp với mức tăng giá 0%, vì vậy khi Tencent thay đổi giá, danh mục sẽ cập nhật ngay trong ngày thay vì vào lần xây dựng lại tiếp theo, và chuyển đổi dự phòng tự động nghĩa là một tác vụ đánh giá không bị chết chỉ vì một dịch vụ thượng nguồn gặp sự cố trong một giờ.

Nếu quá trình fine-tune hiệu quả, bạn sở hữu trọng số và router không còn là một phần của đường đi đó nữa. Nếu không, bạn chỉ mất một buổi chiều thay vì một quý để biết được điều đó.

Cách đọc trận đối đầu này

Nếu bạn muốn một mô hình có thể làm việc, thì đây không phải là trang dành cho bạn: Hy4 flash là mô hình đã hoàn thiện còn ERNIE 5.5 Flash thì chưa có. Nếu bạn muốn một nền tảng đã được huấn luyện trước để xây dựng tiếp, hai ứng viên này gần nhau hơn những gì tiếp thị gợi ý và khác xa nhau hơn những gì một phép trừ điểm chuẩn có thể cho thấy.

ERNIE 5.5 Flash Base lớn hơn, được huấn luyện lâu hơn — 33,5 nghìn tỷ token trên bộ tối ưu Muon — và báo cáo điểm số mạnh hơn trên bộ đánh giá riêng của mình, bao gồm chỉ số MMLU-Pro mà không mô hình Tencent nào trên bảng so sánh đạt được. Hy4 flash-Base nhỏ hơn, rẻ hơn khi phục vụ với 12B tham số hoạt động, đa phương thức gốc, đi kèm bộ mã hóa thị giác và bộ dự thảo giải mã suy đoán, đồng thời có giấy phép không loại trừ ba khu vực tài phán.

Yếu tố quyết định nhiều khả năng không phải là năng lực hay giấy phép, mà là mười hai ngày giữa hai bên. Checkpoint của Baidu đã có gần hai tuần để cộng đồng tinh chỉnh tạo ra thứ gì đó; Hy4 flash-Base mới có một ngày. Hãy theo dõi liệu có xuất hiện một ERNIE 5.5 Flash được tinh chỉnh theo chỉ dẫn hay không, và theo dõi liệu có ai công bố LoRA cho Hy4 flash-Base hay không. Điều đầu tiên sẽ biến đây thành một so sánh thực sự với một benchmark chung rất có thể sẽ xuất hiện sau đó; điều thứ hai sẽ cho bạn biết những người thực hành thực sự thích base nào hơn.

So sánh trong bài viết này1

Phát hiện từ bài viết này