Eleven v4 so với Cartesia Sonic 3.6: Khoảng cách Elo 43 điểm so với một giọng nói rẻ hơn 39%

ElevenLabs Eleven v4 cao hơn 43 điểm Elo so với Cartesia Sonic 3.6 trên Provider Voice Arena của Artificial Analysis — 1.319 so với 1.276 — và nó cũng thắng trên bảng Controlled Voice, xếp thứ hai so với vị trí thứ tư của Sonic 3.6. Nó thua về giá với khoảng cách lớn ở chiều ngược lại: $80.00 cho mỗi triệu ký tự so với $49.00, và cao gấp khoảng chín lần mức giá trên mỗi ký tự trên bảng giá của chính các nhà cung cấp trong thời gian ra mắt. Đây là cuộc so tài hiếm hoi mà bảng điểm thì rõ ràng, còn quyết định thì vẫn không, vì hai mô hình thực sự không cạnh tranh cho cùng một công việc.

Mỗi mô hình là gì, mỗi mô hình một đoạn văn.

ElevenLabs Eleven v4 ra mắt vào ngày 28 tháng 9 với tư cách là mô hình tổng hợp giọng nói hàng đầu của công ty, cùng với Eleven v4 Turbo. Tài liệu cho biết mô hình hỗ trợ hơn 90 ngôn ngữ, giới hạn đầu vào 10.000 ký tự mỗi yêu cầu, đối thoại nhiều người nói với danh tính người nói ổn định, hỗ trợ ký hiệu âm vị IPA được cải thiện, và các chỉ thị nội tuyến cho phép bạn viết cách thể hiện vào kịch bản. Tính năng nhân bản giọng nói chỉ cần mười giây âm thanh để tạo bản sao tức thì, cùng một gói chuyên nghiệp cao cấp hơn.

Cartesia Sonic 3.6 là bản phát hành hiện tại của một dòng mô hình mà Cartesia định vị dựa trên tốc độ và độ tự nhiên. Trang sản phẩm của chính hãng gọi đây là mô hình chuyển văn bản thành giọng nói nhanh nhất và tự nhiên nhất, tuyên bố độ trễ dưới 90 ms, khả năng đa ngôn ngữ gốc trên 44 ngôn ngữ, nhân bản giọng nói từ mười giây âm thanh, từ điển phát âm tùy chỉnh và một bộ tuân thủ bao gồm HIPAA, SOC 2 Type 2, GDPR và PCI. Cả hai nhà cung cấp đều công bố số liệu độ trễ cho các mô hình của riêng họ; không bộ số liệu nào được xác minh độc lập và chúng không được đo theo cùng một cách.

Bảng điểm, phân tích theo từng khía cạnh

• Ưu tiên đánh giá mù, giọng nói riêng của từng nhà cung cấp — Eleven v4 xếp hạng 1, Elo 1.319 so với Sonic 3.6 xếp hạng 2, Elo 1.276. Khoảng cách 43 điểm.

• Ưu tiên mù, các giọng nói nhân bản được ghép cặp — Eleven v4 hạng 2, Elo 1.157 so với Sonic 3.6 hạng 4, Elo 1.138. Khoảng cách 19 điểm, hẹp hơn lần đầu tiên.

• Chuẩn hóa giá Arena, trên mỗi triệu ký tự — Eleven v4 $80.00 so với Sonic 3.6 $49.00. Sonic rẻ hơn 39% theo mẫu số chung của bảng.

• Bảng giá nhà cung cấp, trên mỗi nghìn ký tự — Eleven v4 $0.022 khuyến mãi, $0.08 sau ngày 12 tháng 10 so với Sonic 3.6 $0.049. Sonic rẻ hơn 39% sau khi chương trình khuyến mãi kết thúc.

• Độ phủ ngôn ngữ, theo tài liệu nhà cung cấp — Eleven v4 hơn 90 so với Sonic 3.6 là 44. Gần gấp đôi.

• Giới hạn đầu vào mỗi yêu cầu — Eleven v4 10.000 ký tự, còn Sonic 3.6 thì không được nêu rõ trên trang sản phẩm của nó.

• Độ trễ, theo công bố của nhà cung cấp — Eleven v4 Turbo khoảng 150 ms trung vị để phát ra âm thanh đầu tiên, so với Sonic 3.6 dưới 90 ms. Một lần nữa, các bài kiểm tra là khác nhau.

• Nhân bản giọng nói — cả hai đều từ mười giây âm thanh, cả hai đều với gói chuyên nghiệp cao cấp hơn.

• Điều khiển liệt kê — Eleven v4 tài liệu hóa đầu vào âm vị IPA và gói nhân bản chuyên nghiệp; Sonic 3.6 tài liệu hóa từ điển phát âm tùy chỉnh.

• Tình trạng tuân thủ — Sonic 3.6 công bố HIPAA, SOC 2 Type 2, GDPR và PCI. ElevenLabs công bố tình trạng tuân thủ của mình tách biệt khỏi trang model và không đặt một danh sách tương ứng bên cạnh v4.

Hai trong số những hàng đó là những hàng quyết định các dự án thực tế. Khoảng cách Elo là 43 điểm trên bảng giọng nhà cung cấp và 19 trên bảng giọng nhân bản — khoảng cách của Sonic thu hẹp hơn một nửa khi người nói được giữ cố định. Đó là dấu hiệu của một mô hình có phần tinh chỉnh mang tính cạnh tranh, còn dàn giọng mặc định thì không, và nó cho bạn thấy vấn đề của Sonic trong cặp đối đầu này nằm ở phần trình bày chứ không phải chất lượng tổng hợp.

Vì sao chênh lệch giá nhỏ hơn vẻ ngoài của nó

So sánh mức giá nổi bật gây hiểu lầm theo cả hai hướng. Mức 0,022 USD mỗi nghìn ký tự của Eleven v4 là một con số khuyến mãi có ngày hết hạn là 12 tháng 10; con số tồn tại sau khoảng thời gian đó là 0,08 USD, cao hơn bảng giá của Sonic 3.6 hơn 60%. Nhưng việc chuẩn hóa theo arena không quan tâm đến chương trình khuyến mãi: nó định giá các mô hình theo giá niêm yết của chúng và cho ra kết quả 80,00 USD so với 49,00 USD, đây là phép so sánh vẫn sẽ còn đúng vào tháng 11.

Có một vấn đề tế nhị thứ hai. Cartesia không công bố đơn giá theo ký tự trên trang sản phẩm của mình, nên con số $0.049 đến từ việc chuẩn hoá của đấu trường chứ không phải từ nhà cung cấp, và hai phép đo có thể không khớp hoàn toàn — chuẩn hoá đưa ra các giả định về cách một nhà cung cấp tính phí. Hãy xem thứ tự là đáng tin cậy và các tỷ lệ phần trăm chính xác là chỉ gần đúng.

Một tháng tính toán ở mức năm triệu ký tự: Eleven v4 theo giá ưu đãi tốn $110, và $400 sau ngày 12 tháng 10. Sonic 3.6 tốn $245. Vậy nên trong hai tuần tới, Eleven v4 có chi phí chưa bằng một nửa chi phí của Sonic, còn sau đó thì cao hơn 63%. Bất kỳ ai viết một bản so sánh mua sắm hôm nay rồi phát hành vào tháng sau sẽ hiểu ngược lại, trừ khi họ nói rõ đã dùng mức giá nào.

Đoạn mà Sonic 3.6 là đáp án đúng

Có những workload thoại trong môi trường production mà các bảng xếp hạng arena không đo lường được điều thực sự quan trọng, và Sonic 3.6 được xây dựng dành cho chúng.

Các tác nhân hội thoại thời gian thực là trường hợp rõ ràng nhất. Độ trễ dưới 90 ms không phải là một con số tiếp thị ở một tác nhân điện thoại; đó là sự khác biệt giữa việc một ngắt lời có cảm giác được xử lý và cảm giác như bị rớt cuộc gọi, và ElevenLabs không công bố con số tương đương cho chính Eleven v4 — chỉ cho gói Turbo với khoảng 150 ms trung vị tới âm thanh đầu tiên. Nếu ngân sách socket của tác nhân bạn đang eo hẹp, 43 điểm Elo có thể ít có giá trị với bạn hơn số mili giây, và việc tự kiểm thử barge-in của bạn sẽ giải quyết điều đó nhanh hơn bất kỳ bảng xếp hạng nào.

Triển khai trong môi trường chịu quản lý là mục thứ hai. Cartesia nêu rõ HIPAA, SOC 2 Type 2, GDPR và PCI trên trang sản phẩm. Danh sách tuân thủ không phải là một Elo và không thể bị thay thế bằng một Elo; nếu người đánh giá về chăm sóc sức khỏe hoặc thanh toán nằm trong quy trình phát hành của bạn, thì hàng đó trên bảng điểm có trọng lượng lớn hơn chín mục còn lại.

Phát âm tất định là yếu tố thứ ba, và nó tinh tế hơn. Đầu vào âm vị IPA được tài liệu hóa của Eleven v4 là một điểm mạnh, nhưng các từ điển phát âm tùy chỉnh của Sonic 3.6 mới là quy trình mà các đội có vốn từ vựng tên sản phẩm lớn thường đã xây dựng sẵn. Chuyển một từ điển là công việc thực sự; mô hình sử dụng tạo tác mà bạn sở hữu sẽ có lợi thế xuất phát.

Khi Eleven v4 đơn giản là mô hình tốt hơn

Dù đã nói tất cả những điều đó, các bảng xếp hạng đo lường một điều gì đó và Eleven v4 đã thắng cả hai. Trên Provider Voice, nó dẫn trước Sonic 3.6 43 điểm với 1.674 mẫu hỗ trợ cho ước tính, và sản phẩm chủ lực trước đó — ElevenLabs Eleven v3 ở mức 1.169 — kém Sonic 3.6 107 điểm, điều đó có nghĩa là ElevenLabs đã thu hẹp một khoảng cách thực sự chỉ trong một thế hệ thay vì bảo vệ vị trí dẫn đầu.

Số lượng ngôn ngữ là lợi thế rõ ràng thứ hai. Hơn 90 so với 44 là gần gấp đôi, và với một sản phẩm được phát hành vượt ra ngoài tiếng Anh cùng một vài ngôn ngữ châu Âu, đó là vấn đề độ phủ chứ không phải chất lượng — Sonic 3.6 có thể hoàn toàn không có giọng nào cho một số locale của bạn. Và khả năng xử lý hội thoại nhiều người nói cùng các chỉ dẫn cách thể hiện nội tuyến là một khác biệt năng lực thực sự: viết một tiếng cười vào kịch bản là quy trình mà Sonic 3.6 không ghi trong tài liệu, và tái tạo hiệu ứng đó trên một mô hình không có tính năng này đồng nghĩa với xử lý hậu kỳ hoặc thu lại lần hai, vốn tốn kém hơn mức chênh lệch Elo gợi ý.

Chạy một trong hai, và phần chúng tôi không thể hỗ trợ

OrcaRouter không lưu trữ mô hình nào trong hai mô hình này. ElevenLabs và Cartesia không nằm trong danh mục của chúng tôi, vì vậy không có gì trong so sánh này có thể được gọi qua chúng tôi, và câu trả lời trung thực cho câu hỏi "làm cách nào để có nó trên OrcaRouter" là bạn không thể — bạn phải đến nhà cung cấp. Điều chúng tôi thực sự xử lý là trường hợp một ngăn xếp giọng nói lại trải rộng trên nhiều nhà cung cấp thay vì chỉ một: một khóa API duy nhất cho hơn 200 mô hình, với giá niêm yết của nhà cung cấp được chuyển qua nguyên vẹn ở mức markup 0% để mọi thay đổi giá từ nhà cung cấp đều có hiệu lực ngay bên phía chúng tôi trong cùng ngày nó được áp dụng. Với một quyết định phụ thuộc vào việc bạn đang trả $110 hay $400 cho cùng số ký tự trong tháng, thời điểm đó không phải là chuyện nhỏ.

Khi một luồng thoại hướng tới khách hàng và không thể bị ngắt, cơ chế chuyển đổi dự phòng tự động sẽ chuyển lưu lượng sang một upstream khỏe mạnh khi một upstream bị suy giảm. Đó chính là cách làm khiến một cửa sổ khuyến mãi kéo dài hai tuần trở nên đáng tận dụng: bạn có thể trỏ production sang mô hình rẻ hơn trong hai tuần mà không cần viết lại tích hợp, rồi chuyển trở lại khi mức giá quay về như cũ.

Ai nên chuyển đổi, và ai nên chờ đợi

Chuyển sang Eleven v4 nếu sản phẩm của bạn được đánh giá dựa trên âm thanh của nó, nếu bạn phát hành bằng hơn hai chục ngôn ngữ, hoặc nếu người dùng của bạn nghe bất kể giọng nói nào mà nhà cung cấp đã chọn cho họ — nhóm cuối cùng đó chính là những người mà bảng Provider Voice đại diện, và khoảng cách ở đó là lớn nhất so với bất kỳ hàng nào.

Hãy ở lại với Sonic 3.6 nếu bạn đang chạy hội thoại thời gian thực trong một ngân sách độ trễ, nếu một người đánh giá tuân thủ phê duyệt ngăn xếp của bạn, hoặc nếu bạn có một từ điển phát âm mà bạn không đủ nguồn lực để xây dựng lại. Ở ba dòng đó, Sonic không hề thua kém; nó là lựa chọn duy nhất có câu trả lời được công bố.

Khoan đã, dù thế nào đi nữa, nếu quyết định của bạn phụ thuộc vào giá. Hai tuần nữa, bảng giá của Eleven v4 sẽ thay đổi gần gấp bốn lần, còn của Sonic 3.6 thì không, và một so sánh viết hôm nay sẽ bị coi là sai vào giữa tháng Mười. Thứ tự Elo vẫn sẽ giữ nguyên. Còn tiền thì không.