
ERNIE 5.5 Flash: Con đường FP4 chỉ dành cho Blackwell xuất hiện trước cả mô hình chat
- OrcaMỚIOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 trên 1 triệu token · 185 tok/s
- tencentMỚITencent: Hy4 Flash2026-11-16$0.02 / $0.07 trên 1 triệu token · 228 tok/s
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 89 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 98 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 89 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 trên 1 triệu token · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 113 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 trên 1 triệu token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
Điều cụ thể nhất được công bố về ERNIE 5.5 Flash trong tuần này lại là một thông báo lỗi. Bên trong một pull request dài 525 dòng được mở trong kho lưu trữ SGLang vào ngày 18 tháng 11 năm 2026 có một lời từ chối dứt khoát: --moe-a2a-backend megamoe bị từ chối trên bất kỳ thứ gì không phải là GPU SM100, bởi vì các kernel mà nếu không sẽ chạy tính toán SwiGLU và các expert của mô hình này lại dùng SiTU. Dòng đó, cùng phần còn lại của PR #51236, là mô tả công khai đầu tiên về cách bản chat của ERNIE 5.5 Flash — khác với checkpoint ERNIE 5.5 Flash Base mà Baidu công bố ngày 5 tháng 11 và endpoint ERNIE 5.5 Flash Preview mà họ mở ngày 11 tháng 11 — được dự kiến phục vụ. Bản thân mô hình vẫn chưa ra mắt. Nhưng hợp đồng phục vụ của nó thì đã có.
Đây là bài tổng hợp những gì đã biết đến nay, không phải bài đưa tin ra mắt. Mọi nội dung dưới đây đều đến từ một pull request đang mở, chưa được hợp nhất và chưa được đánh giá, từ tài liệu SGLang được viết cùng với phần hỗ trợ Base trước đó, và từ các trang do chính Baidu công bố. Chưa có nội dung nào ở đây được chạy thử với một checkpoint chat có thể tải xuống, vì không có checkpoint nào như vậy có thể tải xuống được. Chỗ nào con số là của Baidu, nó được ghi rõ là của Baidu.
Pull request thực sự bổ sung những gì
PR #51236 có tiêu đề "[Feat] ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving" và được mở bởi chang-wenbin, một cộng tác viên, lúc 12:12 UTC ngày 18 tháng 11. PR này chạm đến 14 tệp, thêm 525 dòng và xóa 24 dòng. PR không có phê duyệt nào, tất cả các lần chạy CI của nó đều bị bỏ qua trong khi chờ gắn nhãn, và cả hai phần kiểm thử độ chính xác lẫn kiểm thử tốc độ trong mô tả đều là các bình luận mẫu chưa được điền. Nếu đọc như bằng chứng thì điều đó quan trọng: đây là mã mà tác giả tin là cần thiết, chứ không phải mã đã được ai đó xác minh.
Đây là pull request ERNIE 5.5 thứ tư trong vòng hai tuần. #48546 đã thêm các công thức triển khai vào SGLang cookbook và được hợp nhất vào ngày 5 tháng 11, đúng ngày trọng số Base được đưa lên. #48547 đã thêm chính mô hình — Ernie5_5_MoeForCausalLM, backend attention, pool KV-cache, một mô-đun nháp DSpark — và được hợp nhất vào ngày 6 tháng 11. #49807 đã mở rộng prefill NVIDIA LiteTopK cho “LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1” vào ngày 11 tháng 11 và vẫn đang mở. PR ngày 18 tháng 11 là PR đầu tiên trong bốn PR không hề liên quan đến checkpoint Base.
Mẫu chat là Python, và điều đó thay đổi việc ai có thể chạy nó.
Các checkpoint ERNIE 5.5 Flash có thể mang chat template của chúng dưới dạng Python thay vì dưới dạng chuỗi Jinja, trong một lớp tokenizer mà PR gọi là ErnieChatTokenizer. Đường xử lý thông thường của SGLang kết xuất prompt bằng cách gọi apply_chat_template với một template Jinja trong cấu hình tokenizer; cách mã hóa chat ernie5_5 mới thay vào đó gọi tokenizer của chính checkpoint và tự động phân giải từ chuỗi kiến trúc hoặc kiểu mô hình ernie5_5_moe. Hệ quả thực tế đúng như chính PR nói: tokenizer phải được tải bằng --trust-remote-code, và việc phục vụ chat với --skip-tokenizer-init bị từ chối thẳng kèm một lỗi giải thích.
Đó là một ràng buộc triển khai mà người đọc có thể hành động dựa trên đó. Một mô hình kết xuất prompt bằng Python sẽ thực thi mã từ kho lưu trữ checkpoint tại thời điểm yêu cầu, nên bất kỳ ai chạy nó trong môi trường air-gapped, bên trong một image đã được gia cố, hoặc phía sau một chính sách cấm mã từ xa đều phải hoặc tự đóng gói tokenizer đi kèm, hoặc chấp nhận cờ đó. Checkpoint Base không gặp vấn đề này: tokenizer_config.json đã xuất bản của nó hoàn toàn không có chat template và khai báo một PreTrainedTokenizerFast thuần, đúng như kỳ vọng với một checkpoint được phục vụ qua endpoint completions.
Ba chi tiết nhỏ hơn trong cùng tệp đáng giá hơn vẻ ngoài của chúng. Adapter hỗ trợ tin nhắn hệ thống nội tuyến — các lượt hệ thống giữa cuộc hội thoại được hiển thị tại chỗ, không bị gộp vào tin nhắn đầu tiên — điều mà chỉ có hai encoding khác trong cây SGLang làm được. Nó dùng cơ chế tiếp nối gốc của renderer cho continue_final_message, vì đường thêm tiền tố chung sẽ làm rơi mất tiền tố bên trong khối think đã mở. Và nó cố ý loại bỏ các chat_template_kwargs mà renderer sẽ từ chối, vì ErnieChatTokenizer báo lỗi với một từ khóa không xác định, trong khi một mẫu Jinja âm thầm bỏ qua nó — PR nêu trường hợp một frontend gửi kiểu suy nghĩ DeepSeek là trường hợp bị hỏng.
Bản sửa lỗi rút ra từ điều này là dòng đơn tiết lộ nhiều nhất trong diff. Trình xử lý yêu cầu của SGLang đọc một khóa thinking và mặc định tắt khóa này; bộ phân tích lập luận ernie55 đọc enable_thinking và mặc định bật. Do đó, việc chèn mặc định của trình xử lý đã tạo ra một prompt tắt suy nghĩ dưới một bộ phân tích lập luận vốn mong đợi lập luận, và toàn bộ câu trả lời của mô hình bị phân tích vào reasoning_content trong khi content bị để trống. Đó chính xác là kiểu lỗi mà người dùng của điểm cuối Preview đã báo cáo kể từ ngày 11 tháng 11 — các câu trả lời thông thường đến dưới dạng content trống — và bản sửa lỗi ngụ ý rằng chat checkpoint mặc định suy nghĩ.
Suy luận và gọi công cụ cũng được tự động chọn trình phân tích cú pháp tương ứng: ernie55 cho suy luận, đọc các thẻ <ernie:think>, và ernie55 cho gọi công cụ, đọc <ernie:tool_call>. Docstring của adapter nêu rằng văn bản, gọi công cụ và công tắc suy nghĩ được hỗ trợ, đồng thời rằng các nhánh đa phương thức của template được "để dành cho một bản nâng cấp sau" — vì vậy tính đến PR này, mô hình trò chuyện được phục vụ đúng như những gì Baidu đã mô tả ở mọi nơi khác: một mô hình văn bản.
Vì sao các chuyên gia 4-bit khóa con đường nhanh tới Blackwell
Nửa sau của PR nói về các routed expert được lưu ở MXFP4, chạy dưới dạng w4a8 — trọng số bốn bit, activation tám bit — thông qua all-to-all MegaMoE của DeepGEMM trên các GPU. Hai lựa chọn triển khai mang thông tin về chính mô hình.
• Việc lượng tử hóa được tự động phát hiện từ header safetensors, vì checkpoint không mang khóa routed_experts_quant_method. Điều đó khớp với cấu hình Base đã công bố, vốn không có trường như vậy; trình tải đọc dtype của expert từ các header tệp và đặt is_fp4_experts từ đó.
Đường MegaMoE bị từ chối trên SM90 và trên ROCm, chứ không bị suy giảm, vì các kernel FP8 trên SM90 và kernel MegaMoE trên ROCm mã hóa cứng SwiGLU trong khi các chuyên gia này được kích hoạt bằng SiTU. Bình luận của PR xác định chính xác các hằng số mà DeepGEMM nhúng sẵn: beta SiTU 4.0 và beta tuyến tính 25.0. config.json của chính checkpoint Base khai báo activation_situ_beta: 4.0 và activation_situ_linear_beta: 25.0, nên các hằng số kernel và trọng số khớp nhau — đây là kiểu kiểm tra chéo khiến một vụ rò rỉ được hiểu như công việc kỹ thuật chứ không phải suy đoán.
Kiểu lỗi đang được ngăn chặn là kiểu âm thầm. Một kernel SM90 tính SwiGLU trên trọng số SiTU sẽ không bị sập; nó sẽ trả về văn bản trôi chảy nhưng hơi sai. Từ chối khởi động là kết cục tốt hơn, và đó là lý do câu chuyện FP4 bị giới hạn theo phần cứng thay vì mang tính phổ quát.
Ý nghĩa thương mại của điều đó hẹp hơn so với câu "ERNIE 5.5 Flash cần Blackwell." Không phải vậy. Sách hướng dẫn SGLang, được viết cho checkpoint Base, công bố các công thức triển khai một nút trên B300, GB300, B200, GB200 và H100, và công thức FP8 trên H100 dùng tám GPU vì trọng số FP8 vào khoảng 280 GB. Nhánh experts FP4 là nhánh chỉ tồn tại trên các linh kiện SM100, và SGLang chưa công bố bảng bộ nhớ cho một checkpoint FP4 vì chưa từng thấy checkpoint nào như vậy. Hãy coi mọi phép tính "vừa trên một B200" mà bạn thấy — kể cả ước tính hiển nhiên rằng việc giảm một nửa số byte expert đưa một mô hình 280 GB xuống khoảng gần 150 GB — là ước tính, không phải công thức triển khai.
Hôm nay thực sự có thể tải xuống những gì?
• ERNIE 5.5 Flash Base — trọng số mở từ ngày 5 tháng 11 năm 2026, ở định dạng FP8 và BF16, trên Hugging Face và ModelScope. Tổng cộng 280B tham số, 14B hoạt động, 43 lớp (một FFN dày đặc, 42 MoE), 512 chuyên gia được định tuyến với top-10 cộng một chuyên gia chia sẻ trong không gian tiềm ẩn 2.048 chiều. Cơ chế chú ý lai: 37 lớp chú ý nén mạnh, 6 lớp MLA với chú ý thưa DSA. Giấy phép là Thỏa thuận Giấy phép Mô hình ERNIE 5.5 Flash Base v1.0 — không phải Apache 2.0.
• ERNIE 5.5 Flash Preview — chỉ có API kể từ ngày 11 tháng 11, trên Baidu Qianfan, được niêm yết với ngữ cảnh 1M token và giới hạn tốc độ 300 yêu cầu và 3 triệu token mỗi phút. Bài đăng phát hành của Baidu cho biết các trọng số "sẽ sớm được mở mã nguồn theo Apache 2.0." Tính đến hôm nay, chúng vẫn chưa được mở. Một biến thể miễn phí của Preview đã có thể gọi được thông qua một danh mục của bên thứ ba kể từ ngày 10 tháng 11.
• ERNIE 5.5 Flash — mô hình mà pull request này đề cập. Chưa được phát hành. Cookbook của SGLang liệt kê nó là “ERNIE-5.5-Flash (FP8 / FP4 / BF16, sắp ra mắt), với khả năng suy luận, gọi công cụ và một bản nháp DSpark đi kèm”, còn danh sách mô hình của Qianfan có đúng một mục ERNIE 5.5, ernie-5.5-flash-preview. Không có trang Artificial Analysis nào cho bất kỳ mô hình ERNIE 5.5 nào, và dòng ERNIE mới nhất trên bảng xếp hạng arena là ERNIE 5.1 với 1467 — vì vậy mọi con số về năng lực gắn với mô hình này vẫn là của chính Baidu.

Đâu là cách đọc trung thực của toàn bộ PR: nó được viết cho một checkpoint mà không ai có thể tải xuống. Mã phát hiện FP4, bộ tải bản nháp DSpark dựng main_proj với cấu hình lượng tử hóa FP8 và lượng tử hóa một feature_projection BF16 khi nạp, cùng bước làm nóng bảng encode phải trả chi phí đo được là 0,8 giây lúc khởi động thay vì ở yêu cầu đầu tiên — tất cả đều nhắm tới một artefact chỉ được tham chiếu trong một bình luận mã là "the 1110 checkpoint." Baidu đã công bố artefact đó và vẫn chưa phát hành nó.

Điều này có giá trị như thế nào đối với một người đang chọn một mô hình ngày hôm nay
Rất ít với tư cách là một quyết định mua hàng, và khá nhiều với tư cách là một quyết định lên lịch. Bản phát hành có thể khiến ERNIE 5.5 Flash trở thành ứng viên không phải là pull request này; mà là chat checkpoint cộng với mức giá mà Baidu đặt cho nó cộng với một đánh giá độc lập. Điều mà PR thực sự chốt lại là hình dạng của việc triển khai mà bạn sẽ đăng ký nếu dự định tự vận hành: một tokenizer Python cần mã từ xa, một đường nhanh FP4 đòi hỏi phần cứng SM100, một bản nháp suy đoán DSpark được đóng gói vào cùng họ checkpoint, và một bộ phân tích lý luận mặc định cho rằng chế độ suy nghĩ đang bật. Các nhóm từng giả định "chúng ta có H100, chúng ta sẽ chạy phiên bản lượng tử hóa rẻ tiền" giờ đây biết rằng phiên bản lượng tử hóa rẻ tiền chính là phiên bản mà phần cứng của họ không thể chạy được.
Nếu bạn không muốn đặt cược đường triển khai production vào endpoint hoặc mã serving chưa được hợp nhất, cách hợp lý là giữ mô hình phía sau một lớp định tuyến trong khi nó chứng minh được bản thân. Danh mục của OrcaRouter không bao gồm bất kỳ mô hình ERNIE nào — danh sách mô hình trả về 218 mục và không có dòng Baidu — nên đây không phải là tuyên bố rằng bạn có thể gọi nó ở đây ngay hôm nay. Điều nền tảng cung cấp cho bạn đối với một mô hình ở trạng thái này là thiết kế thử nghiệm: một endpoint tương thích OpenAI đứng trước hơn 200 mô hình khác, tự động chuyển đổi dự phòng giữa các nhà cung cấp phía sau endpoint duy nhất đó, và mức chênh lệch 0% với giá niêm yết của nhà cung cấp được chuyển nguyên, vì vậy nếu nhà cung cấp đổi giá thì đó chính là mức bạn trả ngay ngày việc đó xảy ra, thay vì sau khi biên lợi nhuận được áp vào. Nếu ERNIE 5.5 Flash sau này xuất hiện trên một nhà cung cấp mà bạn đã định tuyến tới, việc dùng thử nó trở thành thay đổi chuỗi mô hình, không phải một tích hợp thứ hai.

Điều gì sẽ biến đây thành một câu chuyện phát hành?
Bốn điều, gần như theo thứ tự mức độ chúng sẽ thay đổi cục diện. Việc pull request được hợp nhất với CI và một lần chạy đánh giá độ chính xác đã qua rà soát sẽ biến "ai đó đã viết cái này" thành "SGLang có thể phục vụ nó", đó chính là khác biệt mà hỗ trợ Base trước đó đã tạo ra vào ngày 6 tháng 11. Một checkpoint MXFP4 xuất hiện trên Hugging Face sẽ khiến nửa FP4 của PR có thể được kiểm thử bởi bất kỳ ai có B200. Các trọng số Apache 2.0 mà Baidu đã hứa cho Preview sẽ giải quyết câu hỏi giấy phép mà bản phát hành Base đã để ngỏ. Và một điểm số độc lập đầu tiên — một trang Artificial Analysis, một mục xếp hạng trên arena, một benchmark tác tử có thể tái lập từ một người không phải Baidu — sẽ thay thế bảng của nhà cung cấp bằng bằng chứng.
Cho đến lúc đó, câu hỏi thú vị không phải là liệu ERNIE 5.5 Flash có tốt hay không. Mà là liệu một mô hình có thể xuất hiện với hợp đồng phục vụ được chỉ định đầy đủ và trọng số vẫn chưa được công bố hay không, và điều đó tác động thế nào đến những người lập kế hoạch phần cứng dựa trên các thông báo. Tuần này câu trả lời là có, và hợp đồng là một chat template bằng Python, các chuyên gia bốn bit trên một thế hệ GPU, và việc từ chối khởi động ở bất kỳ nơi nào khác. Nước đi tiếp theo của Baidu là các trọng số; của SGLang là một buổi đánh giá.
