Ming-3.0-audio-tiny so với VibeVoice-ASR-Streaming 1.5B: Năm dấu gạch ngang đối đầu với một luồng gán nhãn người nói

Mở ảnh nhận dạng bên trong kho Hugging Face của Ming-3.0-audio-tiny và cuộn xuống cuối. Năm hàng — phân tách người nói và lỗi hoán vị tối thiểu nối tiếp cho AISHELL-4, AliMeeting và AMI — mang dấu gạch ngang ở cột tiny. Không phải một con số tệ. Mà là một ô trống. Nhà cung cấp đã đo mô hình anh em lớn hơn trên cả năm hàng và từ chối đo mô hình nhỏ. Giờ hãy mở thẻ mô hình cho VibeVoice-ASR-Streaming 1.5B và đọc gạch đầu dòng đầu tiên: nó phiên âm ai nói gì, liên tục, ngay khi lời nói đến. Đó chính là năm hàng đó, nhưng đảo ngược. Một mô hình công bố gần như mọi thứ trừ việc gán người nói; mô hình kia tồn tại chủ yếu để công bố điều đó. Các lỗi AI và sự cố tác nhân đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.

Cả hai đều chưa được chấm điểm độc lập. Ở đây, điều đó ít quan trọng hơn bình thường, vì cuộc so tài này được quyết định bởi một lựa chọn thiết kế chứ không phải một con số: điều gì xảy ra khi âm thanh không bao giờ ngừng đến. Ming-3.0-audio-tiny là một mô hình xử lý tệp với cửa sổ lớn và tùy chọn đầu ra giọng nói. VibeVoice-ASR-Streaming 1.5B là một mô hình luồng, phát ra văn bản khoảng mỗi ba giây và gắn nhãn người nói cho từng đoạn. Nếu tác vụ của bạn là một bản ghi âm, chúng cạnh tranh với nhau. Nếu tác vụ của bạn là một căn phòng, chỉ một trong số chúng đang cố gắng.

"streaming" tốn gì trong config

Kho lưu trữ của Microsoft rõ ràng một cách bất thường về ngân sách độ trễ của chính nó, khiến cho sự đánh đổi có thể kiểm chứng thay vì chỉ là tiếp thị. Các tokenizer âm học và ngữ nghĩa đều là nhân quả và chạy ở mức nén 3.200× so với đầu vào 24 kHz, nên luồng token tương đương khoảng 7,5 token mỗi giây âm thanh. Lớp bao bọc streaming gom lô 22 khung token mỗi chunk với 4 khung nhìn trước: 22 chia 7,5 xấp xỉ 2,9 giây mỗi lần phát, và 4 chia 7,5 tương đương khoảng nửa giây âm thanh tương lai mà mô hình được phép thấy trước khi đưa ra quyết định.

• Nhịp phát — khoảng 2,9 giây; lookahead là phần đánh đổi độ trễ để lấy độ chính xác.

• Backbone — bộ giải mã thuộc họ Qwen2, 28 lớp, 1.536 chiều ẩn, 12 đầu với 2 đầu khóa-giá trị, cửa sổ 64.000 token.

• Kích thước — ba phân đoạn safetensors tổng cộng 5,63 GB. Đó không phải 1,5B tham số; 5,63 GB ở bf16 tính ra gần 2,8 tỷ hơn, và 1,5B trong tên nên được hiểu là phần xương sống ngôn ngữ chứ không phải toàn bộ hệ thống.

• Ngôn ngữ — mười: tiếng Trung, tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Nhật, tiếng Hàn, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha.

• Phần bổ sung — các hotword tùy chỉnh được truyền làm ngữ cảnh, và nhãn người nói được gắn vào từng đoạn được phát ra.

• Mốc thời gian — kho lưu trữ được tạo vào ngày 2 tháng 9 năm 2026 lúc 15:51 UTC, được chỉnh sửa lần cuối vào sáng hôm sau. Chỉ được công bố bằng một dòng tin trong README GitHub của VibeVoice, tức là gần như không được công bố gì cả.

Cửa sổ 64K đó là con số để đối chiếu với 131.072 của Ming. Nghe như chỉ bằng một nửa dung lượng, nhưng đó không phải cùng một loại dung lượng. Một mô hình truyền trực tiếp không cần giữ cả một giờ, vì nó đã ghi lại năm mươi chín phút vừa rồi. Cửa sổ là bộ nhớ làm việc cho đoạn hiện tại cộng với bất kỳ ngữ cảnh hội thoại nào mà mô hình mang theo. 131K của Ming là cược ngược lại: giữ mọi thứ sống động và suy luận trên đó.

Canh bạc của Ming, và những gì nó đem lại

Điểm bán của mô hình nhỏ không phải là độ chính xác nhận dạng — trên chính các bảng của inclusionAI, nó kém mô hình anh em lớn hơn 0,34 điểm về tiếng Trung (3,79 so với 3,45 lỗi ký tự) và kém 0,89 điểm về phương ngữ (10,29 so với 9,40). Điểm bán là một checkpoint thực hiện nhận dạng, hiểu, suy luận và xử lý giọng nói trong cùng một lượt lan truyền xuôi, trên một cửa sổ đủ dài đến mức "cô ấy đã nói gì trong mười phút đầu tiên" là câu hỏi bạn có thể đặt ra.

Các chỉ số trí tuệ âm thanh của nó là đáng nể so với kích thước và là lý do để ưu tiên nó hơn một bộ chuyển âm thuần túy: MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, MuchoMusic 58,07 cho âm nhạc. Tất cả đều do nhà cung cấp tự chạy, với dấu hoa thị ở các hàng tự đánh giá, và thẻ mô hình tiết lộ rằng các mô hình so sánh được tái tạo theo prompt và cách giải mã của chính inclusionAI. Hãy xem chúng như một bản tóm tắt thiết kế.

Điều mà các bảng không cho bạn biết là ai đã nói. Đó là khoảng trống mà năm dấu gạch ngang đánh dấu, và nó mang tính cấu trúc chứ không phải ngẫu nhiên. Một mô hình trả lời các câu hỏi về một bản ghi âm không cần phân đoạn theo từng người nói để trả lời chúng; một mô hình tạo bản chép lời cho một cuộc họp thì cần. Ming có lẽ có thể được gợi ý để làm điều gì đó giống như gán nhãn người nói, và phần nổi bật trên thẻ về "các bản ghi âm nhiều người nói" cho thấy nó đã được huấn luyện gần với vấn đề này. Nhưng "có lẽ" đang gánh vác công việc của năm hàng chưa được công bố.

Hai pipeline, được vẽ một cách trung thực

Hãy hình dung cùng một bản ghi âm dài chín mươi phút được xử lý qua từng cái.

Với VibeVoice-ASR-Streaming 1.5B, âm thanh đến theo từng khối khoảng ba giây và văn bản đi ra theo cùng nhịp đó, mỗi đoạn gắn với một người nói. Bạn có thể hiển thị nó trực tiếp. Cái giá phải trả là mọi quyết định đều mang tính cục bộ: mô hình chỉ thấy trước nửa giây cùng bất kỳ ngữ cảnh nào mà nó còn lưu giữ, nên một người nói tạm dừng bốn giây có thể quay lại với nhãn khác, và một cái tên được giới thiệu ở phút thứ hai chỉ có thể khôi phục được thông qua cơ chế hotwords do bạn cung cấp. Tính nhất quán giữa các khối là thứ cần kiểm thử và là thứ mà model card không định lượng.

Với Ming-3.0-audio-tiny, tệp được đưa vào, toàn bộ nội dung nằm trong ngữ cảnh, và câu trả lời đến khi nó đến. Tính nhất quán giữa các đoạn không phải là rủi ro vì không có đoạn nào — cho đến giới hạn cửa sổ. Cái giá phải trả là không có gì khả dụng cho đến khi mô hình hoàn tất, và phần dự trữ bộ nhớ được định cỡ cho toàn bộ cửa sổ: cấu hình ASR tham chiếu chiếm 0,92 card với lô 32.768 token. Bạn có thể giảm max_model_len; bạn không thể khiến nó phát trực tuyến, vì không có đường phát trực tuyến trong kho lưu trữ.

• Dạng độ trễ — VibeVoice: liên tục, chậm khoảng ~3 giây. Ming: một câu trả lời duy nhất ở cuối.

• Ghi công — VibeVoice: theo từng phân đoạn, theo thiết kế. Ming: chưa công bố.

• Bối cảnh — VibeVoice: cửa sổ làm việc 64K cùng bản ghi lời thoại riêng của nó. Ming: 131.072 vị trí, tương đương khoảng ba giờ âm thanh nếu tính theo bộ mã hóa, với điều kiện bộ xử lý cấp một luồng liên tục.

• Đầu ra — VibeVoice: văn bản. Ming: văn bản, hoặc văn bản kèm giọng nói được tổng hợp thông qua Talker tùy chọn trên GPU thứ hai.

• Phần cứng — VibeVoice: checkpoint 5,63 GB, nên chỉ cần một card phổ thông. Ming: 17,74 GB cho Thinker, một card cho văn bản, hai card cho giọng nói.

Giấy phép và giấy tờ thủ tục thì giống nhau, và điều đó thật bất thường.

Cả hai đều dùng MIT. Cả hai đều là các bản phát hành âm thầm. Cả hai đều đưa trọng số lên trước khi tài liệu bắt kịp, và cả hai đều dựa vào một kho GitHub không được đặt tên theo checkpoint: hồ sơ triển khai của Ming nằm trong inclusionAI/Ming-3.0-audio-flash, và hướng dẫn sử dụng của VibeVoice nằm trong microsoft/VibeVoice cùng với phiên bản anh em 7B.

Điểm khác biệt nằm ở những gì mỗi kho lưu trữ cung cấp cho bạn. Microsoft phát hành một báo cáo kỹ thuật — arXiv 2609.02812 — và một hình kết quả trong card, nhưng đó là hình ảnh chứ không phải bảng, nên không thể trích xuất các con số và không có tỷ lệ lỗi theo từng ngôn ngữ nào được nêu trong văn bản. inclusionAI phát hành ba hình ảnh đánh giá chuẩn, cũng đều là hình ảnh, cùng một card chỉ ngầm nêu các điểm yếu của chính mình bằng cách để trống các ô. Không nhà cung cấp nào đưa ra một con số mà bạn có thể dán vào bảng tính mà không phải chép lại bằng tay.

Một điểm bất đối xứng đáng được lưu ý cho bất kỳ ai làm công tác mua sắm: kho lưu trữ Hugging Face của Ming không chứa tệp LICENSE nào, chỉ có một liên kết trong siêu dữ liệu của thẻ đến giấy phép trong kho lưu trữ kia. Thẻ của VibeVoice ghi MIT trong siêu dữ liệu và kho lưu trữ có tệp giấy phép. Cả hai tuyên bố đều đúng; chỉ một nằm trong sản phẩm.

Router ở đây dùng để làm gì và không dùng để làm gì

OrcaRouter không phục vụ cả hai mô hình đó. Ming-3.0-audio-tiny là một checkpoint và VibeVoice-ASR-Streaming 1.5B là một checkpoint; cả hai đều không có trong danh mục của chúng tôi, và không có nội dung nào trong bài viết này là lời đề nghị lưu trữ chúng. Vị trí của router trong một pipeline như thế này là ở hạ nguồn của bước phiên âm và thượng nguồn của bước ra quyết định: tóm tắt cuộc gọi, trích xuất các cam kết, phân loại xem đoạn đó có cần con người hay không, dịch những phần không nằm trong ngôn ngữ làm việc. Những lệnh gọi đó là văn bản, và một endpoint cho hơn 200 mô hình với mức markup 0% — giá niêm yết của nhà cung cấp được chuyển thẳng qua, nên thay đổi giá từ nhà bán sẽ đến phía chúng tôi ngay trong ngày — loại bỏ một hợp đồng cho mỗi nhà cung cấp khỏi quá trình xây dựng. Tự động chuyển đổi dự phòng là tính năng cụ thể quan trọng khi một job phiên âm kéo dài hai giờ phải giao đầu ra của nó đến một nơi đáng tin cậy vào lúc 2 giờ sáng.

Điều mà một router sẽ không làm là dung hòa hai nhãn người nói không khớp nhau, hoặc quyết định xem các hàng phân tách người nói bị thiếu của Ming là điểm yếu thực sự hay chỉ là chưa được đo lường. Đó là việc dành cho âm thanh của chính bạn.

Bài kiểm tra giúp phân biệt họ chỉ trong một buổi chiều

Ghi âm hai mươi phút với ba người, trong đó một người nói lấn át những người khác hai lần và một người dùng micro laptop. Chạy bản ghi này qua VibeVoice-ASR-Streaming 1.5B với danh sách hotword được điền ba cái tên, vì đó chính là cơ chế mà mô hình cung cấp cho đúng trường hợp này. Chạy cùng tệp đó qua Ming-3.0-audio-tiny bằng prompt đã được kiểm chứng yêu cầu nhãn ngôn ngữ, một ký tự tab, rồi đến bản chép lời — và sau đó, ở lượt thứ hai, yêu cầu nó gán từng câu cho người nói tương ứng.

Chấm điểm bốn điều: mô hình thứ nhất nhận đúng bao nhiêu lần đổi người nói, có nhãn người nói nào bị đảo giữa bản ghi không, việc gán người nói của mô hình thứ hai có ổn định xuyên suốt tệp không, và bản đầu ra nào bạn có thể sửa bằng tay nhanh hơn. Điều cuối cùng không phải là một phép đánh giá chuẩn và sẽ dự báo trải nghiệm sản xuất của bạn tốt hơn số liệu của cả hai nhà cung cấp.

Và hãy ghi nhớ các dấu gạch ngang khi bạn làm việc đó. Một nhà cung cấp công bố bảng phương ngữ đến hai chữ số thập phân và để trống năm ô phân tách người nói đã cho bạn biết một điều cụ thể về nơi sự tự tin của họ chấm dứt. Về phần mình, Microsoft đã công bố một hình thay vì một bảng và để bạn tự đọc bức hình. Cả hai đều không đưa cho bạn một con số mà một người lạ đã kiểm tra.

Nơi mỗi thứ thực sự thuộc về

Phụ đề trực tiếp, giám sát tổng đài, trợ lý cuộc họp cần tên bên cạnh mỗi dòng: VibeVoice-ASR-Streaming 1.5B được xây dựng cho đúng kiểu nhu cầu đó, và ở mức 5.63 GB, nó chạy trên phần cứng mà bạn có thể đã có sẵn. Rà soát tuân thủ một kho lưu trữ, “tìm mọi đề cập đến thỏa thuận dàn xếp trong bốn mươi bản ghi âm này”, bất kỳ trường hợp nào mà câu hỏi đến sau âm thanh chứ không phải trong lúc nghe: cửa sổ lớn duy nhất và điểm hiểu của Ming-3.0-audio-tiny là lựa chọn phù hợp hơn, và các hàng phân tách người nói bị thiếu không còn quan trọng nếu không ai hỏi ai đã nói.

Sai lầm sẽ là chọn Ming cho một công việc streaming vì 131,072 gấp đôi 64,000, hoặc chọn VibeVoice cho một công việc lý luận vì 1.5B nghe có vẻ rẻ hơn 9.3B. Cả hai con số đều mô tả một thứ khác với điều mà câu nói giả định, và đó là điều đáng tin cậy nhất mà phép so sánh này đã xác lập.