Thẻ tiêu đề ghi 'Scribe v3 Live Medical so với Gemini 3.5 Transcribe Live' với phụ đề '12.8% và 4.00% không phải là cùng một con số'. Bên dưới là hai thanh ngang được ghi nhãn 'PriMock57 tư vấn giả lập lâm sàng' ở 12.8% và 'Artificial Analysis lời nói tổng quát' ở 4.00%, mỗi thanh được gắn thẻ với benchmark mà nó thuộc về và được phân tách bằng một đường chia dọc nét đứt.
Guides & Insights

Scribe v3 Live Medical so với Gemini 3.5 Transcribe Live: 12.8% và 4.00% không phải là cùng một con số

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Đặt 12,8% của Scribe v3 Live Medical cạnh 4,00% của Gemini 3.5 Transcribe Live và câu hỏi về phiên âm trực tuyến trông như đã ngã ngũ theo hướng có lợi cho Google với hệ số ba. Không phải vậy, và lý do chính là điều hữu ích nhất trên trang này: hai con số đó được đo trên audio khác nhau, bởi các tổ chức khác nhau, cho các mục đích khác nhau. 12,8% là tỷ lệ lỗi từ của ElevenLabs trên PriMock57 — 57 buổi tư vấn chăm sóc ban đầu giả lập được ghi âm, đầy tên thuốc, liều lượng và những câu nói dở dang. 4,00% là tỷ lệ lỗi từ khi phiên âm trực tuyến của Artificial Analysis đối với Gemini 3.5 Transcribe Live trên bộ kiểm thử giọng nói tổng quát của họ, với 0,40 giây để có bản ghi cuối cùng. Một cái là buổi tư vấn lâm sàng; cái kia là một bộ benchmark. So sánh chúng cũng giống như so sánh mức tiêu hao nhiên liệu của một chiếc xe trên đường đua với mức tiêu hao khi chạy trong giao thông thành phố rồi kết luận động cơ đã thay đổi.

Gạt bỏ màn đối đầu giả tạo sang một bên, lựa chọn thực sự vẫn còn đó, và nó nằm ở việc triển khai chứ không phải độ chính xác. Gemini 3.5 Transcribe Live là một mô hình mà bạn gọi: gemini-3.5-transcribe-live, một endpoint WebSocket với mức giá công bố theo phút, gói miễn phí và giới hạn phiên mười phút. Scribe v3 Live Medical là một mô hình mà bạn hoàn toàn không thể gọi — nó chỉ tồn tại như một tùy chọn ASR bên trong ElevenAgents, ở chế độ truy cập sớm, không có model ID và không có mức giá riêng. Một bên là hạ tầng. Bên kia là một tính năng của nền tảng agent. Bạn muốn cái nào tùy thuộc vào việc bạn đang xây dựng một trình phiên âm hay đang mua một agent điện thoại.

Mỗi bên thực sự công bố những gì

Sự đối chiếu thông số kỹ thuật, theo từng khía cạnh, đúng như từng nhà cung cấp trình bày:

• Truy cập — Gemini 3.5 Transcribe Live là một endpoint WebSocket của Live API (gemini-3.5-transcribe-live) với gói miễn phí; Scribe v3 Live Medical chỉ có thể chọn trong phần cài đặt Nhận dạng giọng nói tự động của tác nhân ElevenAgents, và không thể thông qua API Chuyển giọng nói thành văn bản.

• Giá — Gemini 3.5 Transcribe Live có giá $3.50 cho mỗi triệu token đầu vào âm thanh và $21.00 cho mỗi triệu token đầu ra văn bản, mà Google ước tính lần lượt là $0.005 và $0.004 mỗi phút, khoảng $0.009 mỗi phút khi tính gộp; Scribe v3 Live Medical không có giá riêng và được bao gồm trong giá của ElevenAgents.

• Độ chính xác — Gemini: WER streaming 4,00% tại 0,40 giây đến bản cuối, theo Artificial Analysis; Scribe: WER 12,8% trên PriMock57, do nhà cung cấp thực hiện, so với 15,5%–17,2% của bốn mô hình thời gian thực cạnh tranh.

• Thích ứng lĩnh vực — Gemini: thiên lệch từ vựng tùy chỉnh trên phiên bản batch cùng dòng, với phân tách người nói và dấu thời gian từng từ được mô tả trên thẻ Gemini 3.5 Transcribe; Scribe: bản tinh chỉnh lâm sàng cùng tối đa 10.000 thuật ngữ tùy chỉnh mà không tốn thêm chi phí.

• Ngôn ngữ — Gemini: hơn 85 ngôn ngữ với khả năng chuyển đổi giữa chừng; Scribe: hơn 90 ngôn ngữ, các cải thiện về y khoa được đo lường bằng tiếng Anh, tiếng Pháp và tiếng Đức.

• Hình dạng phiên — Gemini: một phiên WebSocket giới hạn tối đa mười phút; Scribe: tồn tại trong suốt thời lượng của cuộc hội thoại tác nhân.

• Tuân thủ — Gemini: không có định vị y tế hoặc HIPAA nào mà chúng tôi có thể tìm thấy trên tài liệu mô hình; Scribe: đủ điều kiện HIPAA với BAA và Zero Retention Mode, kèm cảnh báo rõ ràng không gửi PHI đến mô hình thời gian thực truy cập sớm cho đến khi xác nhận đủ điều kiện của chính mô hình đó.

Hai trong số các dòng đó quyết định phần lớn các quyết định thực tế, và không dòng nào là độ chính xác. Giới hạn mười phút mang tính kiến trúc: một phiên phải được chắp nối cho bất cứ thứ gì dài hơn một cuộc khảo sát qua tổng đài, và mối nối chính là vấn đề của bạn. Sự thiếu vắng một mức giá cho mô hình ElevenLabs là điều còn lại: bạn không thể đưa nó lên bảng giá, vì nó nằm trong một gói đăng ký cũng tính tiền cho LLM, dịch vụ điện thoại và giọng nói.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Biến dòng độ chính xác thành thứ bạn có thể sử dụng

Có một cách hợp lý để so sánh hai thứ này, và cách đó đòi hỏi phải chạy chúng — đúng điều mà các biểu đồ tiếp thị sinh ra để giúp bạn tránh phải làm. Điều có thể khẳng định từ bằng chứng đã công bố thì hẹp hơn:

Cụ thể ở các cuộc hội thoại lâm sàng, ElevenLabs có một con số đo được còn Google thì không. Đó không phải là tuyên bố rằng Gemini 3.5 Transcribe Live kém với tên thuốc — mà là tuyên bố rằng chưa ai công bố một con số tương đương PriMock57 cho nó. Cơ chế từ vựng tùy chỉnh của Google chính là công cụ mà họ cung cấp cho đúng vấn đề này, và việc tạo thiên lệch theo từ vựng trên mô hình batch đã được ghi tài liệu; trên endpoint Live, tài liệu mỏng hơn so với người anh em batch của nó, và các tính năng diarization cùng dấu thời gian từng từ được mô tả trên thẻ Gemini 3.5 Transcribe dùng chung không được xác nhận rõ ràng theo từng endpoint.

Trên âm thanh hội thoại nói chung, Google có một con số được công bố độc lập và ElevenLabs có một con số do nhà cung cấp tự vận hành. Con số 4,00% đến từ một công cụ theo dõi có bộ khung cố định và hàng chục mô hình; con số 12,8% đến từ một bộ duy nhất gồm 57 cuộc tư vấn do ElevenLabs tự chọn và tự chạy. Cả hai đều hữu ích. Không con số nào có thể dùng để trừ đi con số kia.

Phiên bản thực tế: nếu khối lượng công việc của bạn là các cuộc gọi lâm sàng, hãy mượn một mẫu theo kiểu PriMock57 từ chính các bản ghi âm của bạn — hai người nói, có một danh mục thuốc thật trong phòng, ít nhất một người gọi đọc to mã thành viên — và chạy cả hai. Nếu đó là phiên âm trực tuyến đa dụng có một chút thuật ngữ chuyên ngành, con số công bố của Google là điểm khởi đầu dễ kiểm toán hơn, và cơ chế ưu tiên từ vựng của nó sẽ gánh phần lớn yêu cầu chuyên ngành.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

Sự khác biệt về mặt lâm sàng nằm ở những khoảng dừng, chứ không phải ở từ ngữ.

Tính năng mà ElevenLabs đã xây dựng mà tài liệu của Google không mô tả là dự đoán lượt nói. Mô hình lượt nói của Scribe v3 Live Medical sử dụng ngữ cảnh hội thoại thay vì chỉ dựa vào khoảng lặng để quyết định rằng người gọi đã nói xong, và đó chính là sự khác biệt giữa một tác nhân trả lời sau “mã thành viên của tôi là 4-4-2” và một tác nhân chờ đến chữ số cuối cùng. Các ví dụ của chính ElevenLabs đúng là những chuỗi phá vỡ endpointing dựa trên khoảng lặng: mã thành viên, ngày sinh, số điện thoại, liều lượng được đánh vần.

Gemini 3.5 Transcribe Live đẩy vấn đề tương tự lên một tầng cao hơn trong stack. Tài liệu của nó mô tả đây là một mô hình phiên âm truyền phát hai chiều; việc lượt nói kết thúc ở đâu do bất kỳ framework agent nào nằm phía trên quyết định, và câu chuyện voice-agent của Google đi qua chính phần xử lý lượt của Live API thay vì một mô hình lượt dành riêng cho phiên âm. Đó là một kiến trúc hoàn toàn tốt, và nó là một kiến trúc khác: bạn sở hữu logic endpointing, và bạn sẽ phải tinh chỉnh nó. Trong một cuộc gọi lâm sàng, khi bệnh nhân dừng lại giữa lúc mô tả triệu chứng để suy nghĩ, việc tinh chỉnh đó không phải là chuyện bề ngoài.

So sánh chi phí, được thực hiện một cách trung thực

Cách tính phí của Google đủ minh bạch để dựa vào đó lập ra một con số. Lấy một phòng khám vận hành 40 giờ gọi trực tiếp mỗi ngày, 22 ngày mỗi tháng: 52.800 phút. Với mức ước tính $0,009 mỗi phút tính gộp, tức khoảng $475 mỗi tháng cho phần phiên âm, và đó là một khoản mục bạn có thể dự báo, giới hạn và tranh luận khi gia hạn.

Về phía ElevenLabs không đưa ra một con số tương đương để so sánh, và bất kỳ ai trích dẫn một con số như vậy đều chỉ đang đoán. Mốc tham chiếu gần nhất được công bố là bảng giá API — Scribe v3 Live ở mức 0,22 USD mỗi giờ, keyterm prompting ở mức 0,08 USD mỗi giờ — nhưng Scribe v3 Live Medical không được bán theo cách đó. Nó nằm trong ElevenAgents, được tính giá theo phút hội thoại, và hội thoại bao gồm token LLM, tổng hợp giọng nói và dịch vụ điện thoại. Việc gộp gói đó hoặc là một khoản giảm giá, hoặc là một sự khóa chặt vào nhà cung cấp, tùy thuộc vào việc nếu không chọn gói này thì bạn sẽ ghép những thành phần nào lại với nhau, và điều đó không thể xác định chỉ từ một trang giá.

Một điều quả thực được chuyển giao: nếu cuối cùng bạn chạy cả hai — Google cho phần phiên âm, một LLM do bạn chọn cho phần suy luận — thì chặng thứ hai là nơi các quyết định định tuyến nằm. OrcaRouter cung cấp 215 mô hình sau một API tương thích OpenAI duy nhất với mức cộng giá 0%, giá niêm yết của nhà cung cấp được chuyển nguyên vẹn, nên mô hình đọc bản ghi của Gemini có thể được hoán đổi hoặc chuyển sang dự phòng mà không cần chạm vào mã ASR. Chúng tôi không cung cấp mô hình phiên âm nào trên trang này, và không có gì ở trên là giá của chúng tôi.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Chọn cái nào?

Hãy chọn Gemini 3.5 Transcribe Live nếu bạn đang xây dựng sản phẩm thay vì mua một sản phẩm có sẵn. Đây là lựa chọn duy nhất trong hai lựa chọn là một mô hình có thể gọi được với mức giá công bố, gói miễn phí để đánh giá và một endpoint mà bạn có thể đặt phía sau vòng lặp agent của riêng mình. Giới hạn phiên mười phút là ràng buộc cần thiết kế xoay quanh, và việc thiếu chuẩn đánh giá lâm sàng là khoảng trống cần lấp đầy bằng âm thanh của chính bạn và danh sách từ vựng tùy chỉnh.

Chọn Scribe v3 Live Medical nếu bạn đã quyết định rằng agent là vấn đề của ElevenLabs — và nếu lập trường tuân thủ của bạn cho phép một mô hình truy cập sớm cho PHI, điều mà tài liệu hiện nói là chưa được phép cho đến khi xác nhận đủ điều kiện. Bản tinh chỉnh lâm sàng và mô hình xử lý lượt là những lợi thế thực sự trong một cuộc gọi bệnh nhân trực tiếp, và khoảng cách PriMock57 so với các mô hình thời gian thực cạnh tranh là bằng chứng được công bố mạnh nhất cho thấy việc thích ứng lâm sàng thực sự có tác dụng. Đơn giản là nó không phải bằng chứng về Gemini, và Gemini không phải bằng chứng về nó.

Con số cần theo dõi không phải là một trong hai chỉ số WER. Mà là liệu Scribe v3 Live Medical có bao giờ có model ID riêng của nó hay không. Ngày nó có, phép so sánh này trở thành một phép so sánh bình thường — hai endpoint có thể gọi, hai đồng hồ đo, một benchmark bạn có thể chạy — và 12,8% trở thành thứ mà người mua thực sự có thể kiểm tra.

So sánh trong bài viết này1

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày