Thẻ tiêu đề ghi 'Scribe v3 vs MAI Transcribe 2' với phụ đề 'độ chính xác hay thông lượng — chọn điểm nghẽn của bạn', bên cạnh hai cặp thanh được dán nhãn 'Độ chính xác (AA-WER)' ở 1,95% và 2,04% và 'Tốc độ (x thời gian thực)' ở 76,8x và 338,5x dài hơn nhiều, với chân trang ghi 'Tất cả số liệu theo Artificial Analysis, AA-WER v2.2, không streaming'.
Guides & Insights

Scribe v3 so với MAI Transcribe 2: 0,09 điểm và chênh lệch tốc độ 4,4 lần

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Đặt ElevenLabs Scribe v3 và MAI-Transcribe-2 trên cùng một harness, chúng kết thúc cách nhau 0,09 điểm phần trăm về tỷ lệ lỗi từ — 1,95% so với 2,04% trên Chỉ số AA-WER không truyền trực tiếp của Artificial Analysis. Đặt chúng trên cùng một băng ghế đo thông lượng, một trong hai xử lý xong cùng một giờ âm thanh trong khoảng một phần tư thời gian thực. Hai sự thật đó chỉ về hai hướng trái ngược nhau, và việc bạn theo hướng nào phụ thuộc vào một câu hỏi mà hầu hết các so sánh chuyển văn bản không bao giờ hỏi: liệu nút thắt của bạn là số từ hay là đồng hồ. Scribe v3 là mô hình chính xác hơn với mức chênh lệch mà bạn sẽ khó đo được trong môi trường sản xuất. MAI-Transcribe-2 nhanh hơn 4,4 lần và giá bằng một nửa. Trang này nói về việc bạn thực sự nên trả tiền cho mô hình nào trong hai mô hình đó.

Hãy bắt đầu với kho ngữ liệu giống với âm thanh của bạn

Khoảng cách tổng hợp 0,09 điểm là mức trung bình, và mức trung bình che giấu một sự đảo chiều. Trên kho ngữ liệu Earnings-22 của Artificial Analysis — âm thanh điện thoại tự phát, có giọng địa phương, nhiều người nói, thứ gần nhất trên bảng với một cuộc gọi bán hàng thực tế — MAI-Transcribe-2 đạt 2,99% và Scribe v3 đạt 3,34%. Microsoft thắng trên kho ngữ liệu đó với cách biệt 0,35 điểm, gấp bốn lần độ lớn của khoảng cách tổng hợp, theo hướng ngược lại. Trên bộ đọc chính, Scribe v3 thắng với 1,47% so với 1,83%. Trên VoxPopuli, giọng nói nghị viện, kết quả là 1,52% so với 1,50% — bất phân thắng bại trong ngưỡng nhiễu.

Vậy nên “Scribe v3 chính xác hơn” là một phát biểu về mức trung bình, và mức trung bình chỉ có ý nghĩa nếu âm thanh của bạn là mức trung bình của sách nói, nghị viện và các cuộc gọi hội nghị. Các tác vụ tổng đài chăm sóc khách hàng và voice agent thì không; chúng có dạng Earnings-22, và trên tập dữ liệu đó, thứ hạng bị đảo ngược. Các tác vụ podcast và lưu trữ truyền thông có dạng lời đọc, và trên những tác vụ đó, lợi thế của Scribe v3 là có thật và lớn hơn mức mà chỉ số tổng hợp gợi ý.

Two-column scoreboard card titled 'Scribe v3 vs MAI-Transcribe-2: the scoreboard', with six identical rows per column — AA-WER composite, AA-WER on earnings calls, median speed factor, price per 1,000 minutes, documented languages and verbatim mode — showing ElevenLabs Scribe v3 at 1.95%, 3.34%, 76.8x, $3.33, 90+ and none, and Microsoft MAI-Transcribe-2 at 2.04%, 2.99%, 338.5x, $1.67 introductory, 60 and yes, over a footer separating Artificial Analysis figures from vendor list prices.

Cả hai bộ số đều là các phép đo của Artificial Analysis trên một khung đánh giá chung, và đó là lý do duy nhất khiến việc so sánh này đáng để thực hiện. Tài liệu ra mắt của mỗi nhà cung cấp đều không thể so sánh với bên kia: ElevenLabs báo cáo mức cải thiện FLEURS tương đối 27% so với Scribe v2 trên 102 ngôn ngữ, Microsoft báo cáo mức trung bình FLEURS 5,2% trên 60 ngôn ngữ, và hai con số đó được tính trên các tập ngôn ngữ khác nhau với cách lấy trung bình khác nhau. Bảng đánh giá của bên thứ ba là nơi duy nhất hai mô hình gặp nhau trên cùng một mặt bằng.

4.4× là con số thay đổi kiến trúc.

Thông lượng là điểm mà ở đó hai mô hình không còn giống như những lựa chọn thay thế cho nhau. MAI-Transcribe-2 đạt hệ số tốc độ trung vị 338,5 trên bộ benchmark của Artificial Analysis; Scribe v3 đạt 76,8. Cả hai đều nhanh hơn nhiều so với thời gian thực — Scribe v3 xử lý xong một giờ âm thanh trong chưa đầy một phút — nên với một tác vụ hàng loạt chạy hằng đêm để nạp bù kho lưu trữ podcast, khác biệt này không đáng kể. Còn với bất kỳ thứ gì mang tính tương tác thì không phải vậy.

Screenshot of the Microsoft Learn page for MAI-Transcribe in Azure Speech, with body text describing MAI-Transcribe as a next-generation speech-to-text model built in-house by the Microsoft AI team that transcribes across 60 languages and serves video captioning, meetings, clinical notes, call-centre documentation, accessibility tools, content creation and voice agents, above the Foundry portal, REST API and SDK language tabs.

Hãy xem xét một voice agent cần bản ghi lời nói trước khi có thể quyết định nói gì tiếp theo. Ở tốc độ 76,8×, một giờ âm thanh cần 47 giây tính toán. Điều đó ổn khi âm thanh là một bản ghi đã hoàn tất, và vô dụng khi âm thanh đang đến trực tiếp — đó là lý do ElevenLabs bán một mô hình thời gian thực riêng cho công việc đó thay vì trỏ vào mô hình theo lô. Câu trả lời của Microsoft cũng là một SKU phát trực tuyến riêng. Mô hình theo lô của cả hai nhà cung cấp đều không phải công cụ phù hợp cho âm thanh trực tiếp; con số thông lượng lại quan trọng cho một trường hợp khác — các pipeline bất đồng bộ khối lượng lớn, nơi bạn đang xử lý hàng nghìn giờ mỗi ngày và hàng đợi, chứ không phải người gọi, mới là thứ đang chờ.

Ở mức 10.000 giờ một tháng, 76,8× cần khoảng 130 giờ tính toán và 338,5× cần khoảng 30 giờ. Đó là sự khác biệt giữa một cụm máy chủ bạn thuê theo giờ và một cụm mà bạn hầu như không để ý tới. Đó cũng là sự khác biệt giữa một lần backfill hoàn thành qua đêm và một lần hoàn thành trong cả cuối tuần.

Giá: gấp đôi, kèm ngày hết hạn

Xét về giá niêm yết, khoảng cách rõ ràng hơn so với khoảng cách về độ chính xác. MAI-Transcribe-2 có giá $0.10 mỗi giờ âm thanh, tức $1.67 mỗi 1.000 phút. Scribe v3 có giá $0.20 mỗi giờ âm thanh sau đợt cắt giảm ngày 17 tháng 11 của ElevenLabs, tức $3.33 mỗi 1.000 phút. Đúng gấp đôi, ở cả hai mức.

Mức giá của Microsoft có một điều kiện kèm theo mà bất kỳ ngân sách nào dựa trên nó cũng cần tính đến: 0,10 đô la một giờ là ưu đãi giới thiệu kéo dài đến hết năm 2026, và Microsoft chưa công bố mức giá tiêu chuẩn tiếp theo. Một kế hoạch cho năm 2027 neo vào 1,67 đô la mỗi 1.000 phút là kế hoạch có một dòng chưa có giá. Mức giá của ElevenLabs là giá niêm yết thường xuyên sau khi giảm, không phải chương trình khuyến mại, khiến đây là con số dễ bảo vệ hơn cho một mô hình nhiều năm, dù hiện tại nó là mức cao hơn.

Hai chi phí khác nằm ngoài mức giá niêm yết và cả hai đều có lợi cho ElevenLabs. Keyterm prompting trên Scribe v3 tính phí $0,05 mỗi giờ cộng thêm vào mức giá cơ bản; chỉnh sửa bản phiên âm tính $0,07. Microsoft tích hợp thiên lệch từ khóa vào yêu cầu phiên âm. Và mức giá theo giờ của ElevenLabs bao gồm phân tách người nói, nhận diện thực thể và dấu thời gian từ trong cùng một lượt xử lý, trong khi Microsoft tính phí qua các tài nguyên Azure Speech, nơi các dịch vụ xung quanh có các mục chi phí riêng. Bội số gấp đôi là có thật, nhưng đó là mức sàn của khoảng cách, không phải mức trần.

Các tính năng mà ở đó chúng thực sự khác biệt

• Chế độ nguyên văn — MAI-Transcribe-2 có chế độ này, dưới dạng công tắc giữa kiểu đầu ra nguyên văn và kiểu đầu ra đã làm sạch. Scribe v3 thì không; ElevenLabs ghi rõ "không có chế độ nguyên văn" cho model này. Đối với ghi âm phục vụ tuân thủ, chấm điểm QA và bất kỳ trường hợp nào mà một lần khởi đầu sai lại là bằng chứng, đó là yêu cầu bắt buộc và tự nó quyết định lựa chọn.

• Độ phủ ngôn ngữ — Scribe v3 được ghi nhận ở hơn 90 ngôn ngữ; MAI-Transcribe-2 ở 60 ngôn ngữ, với bảng hỗ trợ theo từng ngôn ngữ được công bố và tính năng nhận diện ngôn ngữ tự động được bật theo mặc định. ElevenLabs có liệt kê tên ngôn ngữ nhưng phần phân tích độ chính xác của nó hẹp hơn so với tuyên bố về phạm vi bao phủ.

• Phân tách người nói — Scribe v3 hỗ trợ tối đa 32 người nói, với nhà cung cấp tuyên bố ít lỗi phân tách người nói hơn 12% so với v2 và ít hơn 17% khi có từ ba người nói trở lên. MAI-Transcribe-2 cung cấp tính năng phân tách người nói dưới dạng tham số với các đoạn được gắn nhãn người nói, còn Microsoft hoàn toàn không công bố tỷ lệ lỗi phân tách người nói nào. Không được đo không đồng nghĩa với tệ, nhưng nó vẫn là chưa được đo.

• Từ vựng theo lĩnh vực — Scribe v3 tiếp nhận tối đa 1.000 thuật ngữ chính cho mỗi yêu cầu theo lô. MAI-Transcribe-2 tiếp nhận một danh sách cụm từ có độ dài tùy ý làm gợi ý nhận dạng, với tài liệu nêu rõ rằng các thuật ngữ chỉ là gợi ý chứ không phải đầu ra bắt buộc.

• Hình thức triển khai — MAI-Transcribe-2 chạy qua điểm cuối chế độ nâng cao của Azure Speech tại các vùng được chỉ định, với các đường dẫn REST và SDK cùng tích hợp Voice Live để phiên âm đầu vào. Scribe v3 là một thay đổi ID mô hình trên tích hợp ElevenLabs hiện có, với xử lý tại Hoa Kỳ theo mặc định và các tùy chọn lưu trú dữ liệu tại EU, Ấn Độ và Singapore trên các gói doanh nghiệp.

• Tuân thủ — ElevenLabs yêu cầu phải có Thỏa thuận liên kết doanh nghiệp (Business Associate Agreement) được ký kết thông qua bộ phận kinh doanh trước khi thực hiện công việc liên quan đến HIPAA, và tài liệu của họ không nêu rõ rằng bản thân Scribe v3 đủ điều kiện HIPAA, mà chỉ nói rằng khách hàng trong lĩnh vực y tế phải ký BAA trước. Bộ giải pháp Azure Speech của Microsoft mang lại bề mặt tuân thủ khu vực và doanh nghiệp thông thường. Hãy đọc kỹ cả hai trước khi đưa âm thanh bệnh nhân qua bất kỳ bên nào.

Screenshot of the ElevenLabs Speech to Text documentation model cards, showing Scribe v3 with 27% fewer word errors than Scribe v2 on FLEURS, diarization to 32 speakers, secondary language codes for mixed-language audio and keyterm prompting up to 1,000 terms, and Scribe v3 Live with a 10,000-term keyterm library, turn prediction and realtime timestamps.

Chạy cả hai mà không cần hợp đồng thứ hai

Câu trả lời thực tế cho hầu hết các nhóm không phải là một mô hình thắng thế duy nhất mà là sự phân tách: một mô hình cho tập dữ liệu nơi nó vượt trội, được định tuyến theo khối lượng công việc. Đó chính là trường hợp mà lớp định tuyến của OrcaRouter tồn tại để phục vụ xa hơn về phía trước trong pipeline — bản ghi được tóm tắt, phân loại và xử lý, và đó là những lệnh gọi nhân lên. Một API cho hơn 200 mô hình, giá niêm yết của nhà cung cấp được chuyển thẳng với mức tăng giá 0%, chuyển đổi dự phòng tự động, và một DSL định tuyến có thể gửi bản ghi cuộc họp đến một công cụ tóm tắt và bản ghi tuân thủ đến một công cụ khác mà không cần tích hợp thứ hai. Cả Scribe v3 lẫn MAI-Transcribe-2 đều không nằm trong danh sách của chúng tôi — cả hai đều do nhà cung cấp của chúng cung cấp — nên sự phân tách vẫn đồng nghĩa với hai hợp đồng nhận dạng giọng nói. Điều được thu gọn lại chính là mọi thứ phía sau bản ghi.

Nếu bạn thực sự muốn chỉ dùng một nhà cung cấp, thì bước phân định thắng thua rất rẻ để thực hiện: lấy một trăm giờ âm thanh của chính bạn, chấm điểm cả hai trên đó, và xem xét tập con có hình dạng giống Earnings-22 thay vì mức trung bình. Khoảng cách tổng hợp 0,09 điểm nhỏ hơn mức chênh lệch mà mỗi mô hình thể hiện giữa các tập ngữ liệu, nghĩa là bảng xếp hạng đã công bố chỉ là một tiên nghiệm, không phải câu trả lời.

Ai nên chọn cái nào

Chọn MAI-Transcribe-2 nếu âm thanh của bạn mang tính hội thoại, lưu lượng của bạn cao, quy trình xử lý của bạn là bất đồng bộ và bạn cần đầu ra nguyên văn — đồng thời dự trù ngân sách cho việc mức giá sẽ thay đổi vào tháng 1. Chọn Scribe v3 nếu bạn cần độ phủ ngôn ngữ rộng, số lượng người nói lớn, một tuyên bố phân tách người nói đã được công bố, hoặc một mức giá bạn có thể đưa vào mô hình ba năm mà không kèm dấu hoa thị. Chọn cả hai, chia tách theo kho ngữ liệu, nếu bạn có khẩu vị vận hành — khác biệt về độ chính xác giữa chúng đủ nhỏ để quyết định thực sự nằm ở thông lượng, hỗ trợ nguyên văn và việc bạn tin mức giá của bên nào sẽ vẫn còn tồn tại vào năm sau.