Ming-3.0-asr-tiny vs Moonshine 250M: Một mô hình không bao giờ ngừng lắng nghe, mô hình kia không bao giờ bắt đầu cho đến khi bạn nói xong

Có một vấn đề đặt tên cần làm rõ trước tiên, vì nó thay đổi bản chất của phép so sánh này. Moonshine công bố ba checkpoint — Tiny 34M, Small 123M và Medium 245M — và Moonshine 250M là cách gọi tắt mà cộng đồng dùng để chỉ mô hình đầu dòng đó, checkpoint có tên kho lưu trữ là moonshine-streaming-medium và chỉ mục safetensors của nó thực tế tổng cộng 265.898.112 tham số. Không có tệp nào trong tổ chức Moonshine được đặt tên 250M. Mô hình đó là một bộ nhận dạng tiếng Anh dạng truyền phát với bộ mã hóa cửa sổ trượt và bộ giải mã tự hồi quy, được xây dựng cho máy tính xách tay hoặc điện thoại, phát hành vào tháng 1 năm 2026 theo giấy phép MIT. Ming-3.0-asr-tiny là một bộ nhận dạng tiếng Trung và tiếng Anh 8,87 tỷ tham số có trọng số xuất hiện trên Hugging Face vào ngày 14 tháng 10 năm 2026 mà không có thông báo, được xây dựng quanh bộ mã hóa có hình dạng Whisper và bộ giải mã hỗn hợp chuyên gia 128 chuyên gia, và được thiết kế để đọc toàn bộ một đoạn clip cùng lúc. Chúng không phải đối thủ trong cùng một thị trường. Chúng là hai câu trả lời khác nhau cho câu hỏi khi nào một bộ nhận dạng được phép lên tiếng. Checkpoint mà bài viết này gọi là Moonshine 250M được ghi tài liệu tại thẻ mô hình Moonshine Streaming Medium, nơi chỉ mục safetensors báo cáo 265.898.112 tham số so với nhãn 245M trên thẻ. Các lỗi AI được ghi nhận và sự cố tác nhân đằng sau những bản phát hành như bản này được tập hợp trong Kho lưu trữ sự cố AI của OrcaRouter nơi mỗi mục có nguồn, mức độ nghiêm trọng, mức độ tin cậy và cờ tranh chấp riêng.

Câu hỏi đó là khung hữu ích, và nó tạo ra một quyết định rõ ràng hơn so với một bảng độ chính xác. Moonshine 250M xuất ra từng từ trong khi âm thanh vẫn đang được truyền đến, với khoảng 0,1 đến 1 TOPS. Ming-3.0-asr-tiny không xuất ra gì cho đến khi bạn đưa cho nó một tệp hoàn chỉnh, và sau đó nó xuất ra một bản ghi lời nói không có dấu thời gian nào cả.

Mỗi thứ thực sự được tạo ra để làm gì

Kiến trúc của Moonshine là một sự đảo ngược có chủ đích đối với thỏa hiệp truyền phát thông thường. Bộ mã hóa là một transformer cửa sổ trượt với attention cục bộ bị giới hạn và hoàn toàn không có embedding vị trí — thẻ mô hình gọi nó là ergodic — được chia cửa sổ là (16, 4) ở hai lớp đầu và hai lớp cuối và (16, 0) ở các lớp trung gian, điều này cho ra khoảng 80 mili giây nhìn trước. Thông tin vị trí được một bộ thích nghi chèn vào sau bộ mã hóa, đưa vào một bộ giải mã nhân quả tiêu chuẩn dùng RoPE. Phần frontend âm thanh chạy ở 50 Hz bằng các phép toán miền thời gian đơn giản thay vì mel spectrogram.

Bộ giải mã là tự hồi quy, và Moonshine nói rõ cái giá của điều đó: độ trễ đầu ra đầy đủ tăng theo độ dài bản chép lời ngay cả khi thời gian đến token đầu tiên thấp. Đó là giới hạn trung thực của thiết kế, và đó là câu duy nhất cần ghi nhớ khi so sánh các tuyên bố về truyền phát. Truyền phát nghĩa là những từ đầu tiên xuất hiện nhanh; không có nghĩa là từ cuối cùng xuất hiện nhanh tương ứng.

Ming không truyền phát, và thẻ của nó nêu rõ điều đó: ví dụ đi kèm không chấp nhận đầu vào truyền phát. Âm thanh dài có thể được chia đoạn thông qua một đối số dựa trên ngữ cảnh 8.192 vị trí, nhưng chia nhỏ một tệp không giống với việc tiếp nhận một nguồn cấp trực tiếp, và trường định dạng đầu ra trong cấu hình được đặt thành plain. Điều Ming làm thay vào đó là mang theo ngữ cảnh. Nó chấp nhận hotword hoặc lượt hội thoại trước đó như một phần của lời nhắc phiên âm, và nó được đánh giá trên mười lăm bộ kiểm thử phương ngữ Trung Quốc — Hồ Nam, Mân Nam, Quảng Đông, Xuyên Du, Thượng Hải, An Huy, Đông Bắc, Hà Nam, Hồ Bắc, Giang Tô, Khách Gia, Thiểm Tây, Sơn Đông, Thiên Tân, Vân Nam. Moonshine chỉ hỗ trợ tiếng Anh và không có bất kỳ điều nào trong số này.

Hai cách đếm tham số và lý do chúng khác nhau

Một chi tiết đáng để dừng lại, bởi vì đó là kiểu điều âm thầm làm hỏng một bảng so sánh: thẻ mô hình của chính Moonshine liệt kê Medium ở 245M tham số, 14 lớp encoder và 14 lớp decoder, một encoder 768 chiều và một decoder 640 chiều. Chỉ mục safetensors trong cùng kho lưu trữ báo cáo 265.898.112. Khoảng cách là khoảng 21 triệu, tức khoảng tám phẩy năm phần trăm, và đó không phải là lỗi làm tròn — đó là sự khác biệt giữa việc đếm một backbone và đếm mọi thứ đi kèm với nó.

Ming gặp vấn đề tương tự ở kích thước lớn hơn. Chỉ mục của nó báo cáo 8,865,800,992 tham số; các biểu đồ của nó gắn nhãn mô hình là 8.6B-A2B, cách viết tắt cho tổng 8,6 tỷ với khoảng 2 tỷ tham số hoạt động mỗi token. Nhãn này thấp hơn chỉ mục khoảng 270 triệu.

• Tổng số tham số — Ming-3.0-asr-tiny 8,87B (chỉ số) so với Moonshine 250M 266M (chỉ số); nhãn của nhà cung cấp ghi là 8,6B và 245M.

• Hoạt động trên mỗi token — khoảng 2B cho Ming, vì 8 trong 128 chuyên gia được định tuyến mỗi bước. Toàn bộ 266M cho Moonshine, đây là mô hình dày đặc.

• Bộ mã hoá — 32 lớp, 1.280 chiều, 20 đầu, 128 bin mel, có cấu trúc Whisper, so với một transformer cửa sổ trượt ergodic 14 lớp ở 768 chiều trên một frontend 50 Hz.

• Bộ giải mã — 24 lớp, 128 chuyên gia, tự hồi quy; so với 14 lớp, dày đặc, tự hồi quy.

• Mô hình độ trễ — đưa toàn bộ clip vào, xuất bản ghi ra, không truyền trực tuyến; so với độ nhìn trước ~80 ms và một token đầu tiên trong khi âm thanh vẫn đang đến.

• Đầu ra — văn bản phiên âm thuần túy, không có dấu thời gian, không phân tách người nói; so với văn bản phiên âm từ một bộ giải mã tự hồi quy cũng không có đường dẫn dấu thời gian trong thẻ.

• Ngôn ngữ — Tiếng Trung và tiếng Anh cùng 15 bộ kiểm thử phương ngữ tiếng Trung; so với chỉ tiếng Anh.

• Giấy phép — MIT cho cả hai, với các header Apache-2.0 đi kèm được giữ lại trong kho lưu trữ của Ming.

Độ chính xác, với lưu ý rằng chúng chưa từng được thử nghiệm trên cùng một đoạn âm thanh

Thẻ mô hình của Moonshine báo cáo WER trung bình là 6,65 trên tám bộ dữ liệu tiếng Anh đối với Medium: 10,68 trên AMI, 11,90 trên Earnings-22, 9,46 trên GigaSpeech, 2,08 trên LibriSpeech test-clean, 5,00 trên test-other, 2,58 trên SPGISpeech, 2,99 trên TED-LIUM và 8,54 trên VoxPopuli. Được huấn luyện trên khoảng 300.000 giờ âm thanh nói.

Ming báo cáo WER trung bình 3,99 trên các bộ công khai tiếng Anh của mình — LibriSpeech clean và other, Multilingual LibriSpeech, FLEURS English, Common Voice 15 English và VoxPopuli — và CER trung bình 3,55 trên các bộ tiếng Trung của mình. Được huấn luyện trên một lượng dữ liệu không được tiết lộ.

Việc dễ làm là đặt 3.99 cạnh 6.65 rồi tuyên bố Ming chính xác hơn ở tiếng Anh. Đừng làm vậy. Hai trong năm bộ tiếng Anh khác nhau, cách tổng hợp khác nhau, thẻ của Moonshine không công bố phân tích theo từng bộ khớp gọn với năm bộ của Ming, và không bên nào chạy thử bên kia. Trên bộ duy nhất cả hai báo cáo — VoxPopuli — Ming hoàn toàn không công bố con số tiếng Anh theo từng bộ trong phần văn xuôi của mình, chỉ có mức trung bình, nên ngay cả điểm trùng lặp duy nhất đó cũng không thể so sánh từ các thẻ. Mọi con số ở đây đều do nhà cung cấp báo cáo và chưa được tái lập.

Những gì có thể nói khi không có một bộ kiểm thử chung là mang tính cấu trúc. Moonshine là một mô hình dày đặc 266 triệu tham số được huấn luyện trên 300.000 giờ tiếng Anh. Ming là một mô hình mixture-of-experts 8,87 tỷ tham số với khoảng 2 tỷ tham số hoạt động, được huấn luyện trên dữ liệu mà nó không mô tả, được đánh giá trên tiếng Trung và tiếng Anh với một thành phần phương ngữ nặng. Một mô hình có số tham số hoạt động gấp mười bảy lần và có tiên nghiệm mô hình ngôn ngữ lẽ ra phải chính xác hơn trên âm thanh tiếng Anh khó, và sẽ đáng ngạc nhiên nếu không phải vậy. Đó là một kỳ vọng từ kiến trúc, không phải một phép đo.

Nơi thực tế triển khai khác biệt

Ming cần một máy Linux có GPU CUDA, Python 3.12, PyTorch 2.11.0, torchaudio 2.11.0, Transformers 5.12.1, fla-core 0.5.2 và trust_remote_code=True để tải mã mô hình của chính nó. Các trọng số khoảng 17,7 GB ở định dạng BF16, trải trên hai shard. Có một đường phục vụ SGLang, được ghim vào một commit adapter cụ thể, đây là dấu hiệu cho thấy nhà cung cấp kỳ vọng nó sẽ chạy phía sau một API thay vì trên bàn làm việc.

Moonshine 250M nhắm tới mức bộ nhớ dưới 1 GB và khoảng 0,1 đến 1 TOPS. Nó chạy qua khung Moonshine Voice dành cho thiết bị biên và qua Transformers, và thẻ mô hình nói rõ rằng đường Transformers chưa triển khai streaming hiệu quả hoàn toàn — nó dựa vào hỗ trợ cửa sổ trượt của flash-attention. Nếu bạn muốn hành vi streaming mà kiến trúc hứa hẹn, đường framework chính là đường mang lại điều đó.

Kho lưu trữ mới là nơi dòng checkpoint thực sự hiện diện: hai mươi bốn tag trải khắp một họ Tiny, Small và Medium, cộng thêm framework mà tấm thẻ bảo bạn dùng nếu muốn streaming thực sự. Đó là câu chuyện bảo trì mà Ming chưa có, và là nửa thực tiễn của lựa chọn.

Đó là toàn bộ phép so sánh gói gọn trong hai câu: một mô hình được thiết kế để bị lãng quên bên trong thiết bị, còn mô hình kia được thiết kế để được phục vụ từ một GPU với một danh sách hotword đi kèm.

Điều một đội lấy Trung Quốc làm trọng tâm thực sự nên làm

Nếu sản phẩm của bạn là phụ đề trực tiếp hoặc lệnh thoại bằng tiếng Anh, Moonshine 250M đang đảm nhận công việc mà Ming hoàn toàn không làm được, và khoảng cách về độ chính xác — dù rốt cuộc là bao nhiêu — khó có thể quan trọng hơn việc Ming không thể xử lý luồng trực tiếp. Streaming không phải là một tính năng bạn thêm sau vào một kiến trúc chỉ đọc toàn bộ clip; đó là một thuộc tính của encoder.

Nếu sản phẩm của bạn là giọng nói tiếng Trung, hoặc một phương ngữ vùng miền, hoặc một pipeline xử lý hàng loạt nơi bản ghi được tạo ra sau khi sự việc đã xảy ra và tên riêng quan trọng, thì Ming là cái duy nhất trong hai cái giải quyết được vấn đề này, và nó mới ra đời được năm ngày với số lượt tải chỉ ở mức hàng chục. Khuyến nghị trung thực là hãy chạy một cuộc so tài (bake-off) trên chính âm thanh của bạn, chấm điểm theo độ hồi tưởng thực thể có tên (named-entity recall) thay vì tỷ lệ lỗi ký tự, vì đó chính là trục mà Ming được xây dựng để tối ưu.

Với các nhóm đang thực hiện cuộc đánh giá so sánh đó, vấn đề vận hành không nằm ở mô hình mà ở hạ tầng kết nối: hai stack, hai bộ phụ thuộc, hai bộ thông tin xác thực và không có cách nào so sánh chúng trên cùng lưu lượng mà không dựng một bộ khung kiểm thử. OrcaRouter không tự vận hành mô hình nào trong hai mô hình — Ming-3.0-asr-tiny và Moonshine 250M là trọng số mở tự vận hành — nhưng nó đặt hơn 200 mô hình được host sau một khóa API với chuyển đổi dự phòng tự động, để baseline được host mà bạn chấm điểm có thể nằm cạnh ứng viên tự vận hành của bạn mà không cần hợp đồng thứ hai. Giá niêm yết của nhà cung cấp được chuyển tiếp với mức chênh lệch 0%, và đó là con số quan trọng khi bạn so sánh chi phí mỗi giờ âm thanh thay vì chi phí mỗi token.

Câu hỏi mở đáng để theo dõi

Thẻ của Ming nói rằng hotword chỉ là gợi ý, không phải bảo đảm, và đầu ra là văn bản không có mốc thời gian ở mức từ hay phân tách người nói. Thẻ của Moonshine nói rằng bộ giải mã của nó có thể ảo giác ra từ và lặp lại cụm từ trên các đoạn ngắn hoặc nhiễu. Cả hai đều trung thực về các kiểu thất bại, hơn hẳn phần lớn các thẻ khác, và cả hai đang mô tả cùng một sự đánh đổi nền tảng từ hai đầu đối lập: một bộ giải mã tự hồi quy tạo ra văn bản trôi chảy đôi khi sẽ tạo ra văn bản trôi chảy mà không hề được nói ra.

Điều có thể giải quyết so sánh này không phải là một benchmark mà là một trường hợp sử dụng. Hãy chạy cả hai trên cùng hai mươi phút âm thanh của chính bạn — một nửa trực tiếp, một nửa theo lô, một nửa tiếng Anh, một nửa không phải — và quyết định sẽ không còn hoàn toàn xoay quanh số lượng tham số nữa. Cho đến lúc đó, mô tả đúng đắn về cuộc so tài này là một mô hình được xây dựng để lắng nghe liên tục và mô hình kia được xây dựng để đọc kỹ càng, và cái tên trên mô hình nhỏ hơn chỉ là cách viết tắt tiếp thị cho một checkpoint mà trên thực tế có 266 triệu tham số.