GLM-Legal so với Astra for Law: Hai cách để xây dựng một mô hình pháp lý, và chỉ một trong hai bán API cho bạn

Hai mô hình pháp lý thú vị nhất được phát hành trong tháng qua giải quyết cùng một vấn đề bằng những phương tiện trái ngược nhau. GLM-Legal là một chuyên môn hóa ở cấp trọng số — Z.ai đã lấy GLM-5.3-Flash và đưa nó qua quá trình huấn luyện trung gian về pháp lý và học tăng cường cho đến khi nó hành xử như một người hành nghề luật. Astra for Law là một cấu hình — nhà cung cấp đã giữ nguyên GPT-6 Astra y như vốn có và gắn thêm một chỉ mục án lệ Hoa Kỳ gồm 230 triệu URL cùng một bộ hướng dẫn pháp lý vào phía trước nó. Một bên là một luật sư thông minh hơn nhưng có thư viện sai; bên kia là một luật sư bình thường với một thư viện phi thường. Bạn muốn bên nào phụ thuộc gần như hoàn toàn vào việc vấn đề của bạn là suy luận hay truy xuất, và hai bản phát hành được đánh giá trên các benchmark không thể đặt cạnh nhau.

Điểm cuối cùng đó chính là lý do khiến so sánh này khó hơn vẻ ngoài của tiêu đề, vì vậy đáng để giải quyết cho xong trước tiên.

Vì sao không có con số nào trong bài viết này so sánh chúng trực tiếp với nhau

Con số nổi bật của GLM-Legal là 19,2% đạt tất cả trên Harvey LAB. Của Astra for Law là 54,0% độ chính xác tổng thể trên một tập xác thực nghiên cứu pháp lý riêng tư của Hoa Kỳ. Bất kỳ ai cũng có thể chia 54 cho 19,2 và kết luận rằng phiên bản được cấu hình tốt hơn gần ba lần. Phép tính đó vô nghĩa, và đây chính xác là lý do:

• Điều gì đang được đánh giá — GLM-Legal trên các nhiệm vụ quy trình làm việc đầu-cuối của công ty luật trải rộng 24 lĩnh vực hành nghề so với Astra for Law về các câu hỏi nghiên cứu pháp lý Hoa Kỳ. Các nhóm nhiệm vụ khác nhau, không phải các mức độ khó khác nhau của cùng một nhiệm vụ.

• Mức độ khắt khe khi chấm điểm — Harvey LAB chấm theo kiểu all-pass: một tác vụ chỉ được tính khi mọi bước đều đạt. Con số Astra là độ chính xác tổng thể, một chỉ số tổng hợp dựa trên điểm thành phần. Cách chấm điểm all-pass về mặt cơ học tạo ra các con số thấp hơn trên cùng một mô hình, và tỷ lệ all-pass 19,2% không thể so sánh với bất kỳ tỷ lệ phần trăm nào có cho điểm thành phần.

• Đường cơ sở — Z.ai đo GLM-Legal so với GLM-5.3-Flash và báo cáo mức tăng 12,5 điểm. Nhà sản xuất GPT đo Astra for Law so với GPT-6 Astra bằng tìm kiếm web thông thường — từ 38,7% lên 54,0% — và việc truy xuất đang đảm nhiệm gần như toàn bộ phần việc đó. Cả hai đều là những tuyên bố về mức chênh lệch so với nền tảng của chính nhà cung cấp, chứ không phải so với nhau.

• Khu vực tài phán — hiệu lực pháp lý gắn chặt với khu vực tài phán, và không bộ khung đánh giá nào bao phủ được địa hạt của bộ kia. Harvey LAB và bộ dữ liệu kiểm định Astra đều tập trung vào Hoa Kỳ; PLawBench, benchmark thứ hai của GLM-Legal, lại thiên về Trung Quốc. Một mô hình có thể xuất sắc ở bộ này nhưng vô dụng ở bộ kia mà vẫn đạt điểm cao theo số liệu công bố của cả hai.

• Tính độc lập — bằng không ở cả hai phía. Không có bên thứ ba nào chạy lại Harvey LAB với GLM-Legal, và không ai ngoài nhà cung cấp kiểm soát cách chia tập dữ liệu mà con số 54,0% được đo trên đó.

Bảng công khai duy nhất từng chạm đến lĩnh vực này là Legal Research Bench của Vals AI, nơi Astra for Law được chấm 9,4% độ chính xác so với 22,5% của một mô hình tiên tiến giấu tên — một lời nhắc rằng khi các tiêu chí chấm điểm nghiêm ngặt thay thế các tập chia do nhà cung cấp tự chọn, những con số nổi bật trong hạng mục này có xu hướng đi xuống, chứ không phải đi lên. Đó không phải là một phán quyết về Astra for Law; đó là lý do để giữ mọi con số trong so sánh này một cách dè dặt.

Mỗi thứ thực sự được tạo ra để làm gì

Sự khác biệt về kiến trúc không phải là chuyện học thuật — nó quyết định mỗi mô hình có thể giỏi ở điểm gì.

• GLM-Legal — mô hình đã thay đổi. Kho ngữ liệu pháp lý trong giai đoạn giữa huấn luyện, rồi RL trên khắp những gì Z.ai mô tả là hàng chục nghìn môi trường pháp lý thực tế, với bộ khung tác tử cùng tiến hóa song song với các trọng số. Nó cung cấp khả năng suy luận, không phải một thư viện.

• Astra for Law — mô hình thì không. Cùng trọng số GPT-6 Astra, cộng thêm một lớp truy xuất trên án lệ, luật và quy định của Hoa Kỳ, cùng các chỉ dẫn chuyên biệt cho pháp lý. Nó cung cấp một thư viện, chứ không phải một luật sư giỏi hơn.

• Bằng chứng của GLM-Legal — so sánh song song với mô hình cơ sở của chính nó. Với cùng những lời nhắc, GLM-5.3-Flash đưa ra lời khuyên tổng quát đủ tốt; GLM-Legal giải quyết các con số — giảm thời hạn thông báo chấm dứt vì lý do thuận tiện từ 60 xuống 30 ngày, loại bỏ thời hạn khắc phục đối với các vi phạm về sở hữu trí tuệ và bảo mật, yêu cầu trả lại sản phẩm công việc bất kể đã được thanh toán hay chưa, bổ sung tối đa 90 ngày hỗ trợ chuyển tiếp theo mức phí của nhà cung cấp.

• Bằng chứng của Astra for Law — một mức chênh lệch truy xuất. 54,0% so với 38,7% về độ chính xác tổng thể, tìm thấy nhiều hơn 24% vụ án tham chiếu, truy xuất được nhiều hơn tối đa 54% đoạn liên quan từ các phán quyết đúng, và độ dài câu trả lời gần gấp đôi. Những con số của chính nhà cung cấp, trên một tập tách mà không ai khác có thể chạy được.

• Bản tóm tắt trung thực về các bản demo — mô hình cơ sở tìm ra sự thật, mô hình chuyên biệt dựng nên lập luận. Trong ví dụ phân tích bằng chứng của Z.ai, GLM-5.3-Flash phát hiện mâu thuẫn giữa báo cáo khách hàng hoàn thành 60% và ảnh chụp nội bộ 41% và nói rằng các tài liệu "có thể hỗ trợ" lập trường của khách hàng. GLM-Legal liên kết một cảnh báo nội bộ trước đó, ảnh chụp nội bộ và một chỉ thị che giấu rủi ro thành một lý thuyết che đậy duy nhất, đồng thời nêu tên các yếu tố khiếu nại vẫn cần kiểm chứng.

Đọc cùng nhau, hai cơ sở bằng chứng đó mô tả một sự phân chia rạch ròi. GLM-Legal đang được bán dựa trên khả năng phán đoán; Astra for Law đang được bán dựa trên việc không bỏ sót vụ án.

Nơi mà mỗi thứ có khả năng sẽ khiến bạn thất vọng

Cả hai bản phát hành đều ghi lại những điểm yếu của riêng mình, điều mà hầu hết các đợt ra mắt còn chưa làm được, và các dạng thất bại của chúng là hình ảnh phản chiếu của nhau.

Kết quả mang nhiều bài học nhất của Astra for Law đến từ một bài kiểm tra của bên thứ ba chứ không phải từ chính buổi ra mắt. Ở các khu vực tài phán ngoài Hoa Kỳ, ba mô hình do công ty AI pháp lý HAQQ kiểm thử đều trích dẫn đúng điều khoản nhưng lại trình bày sai nội dung của điều khoản đó — Astra đúng về mặt pháp lý ở 66,7% trong số những mục đó, so với 100% của Claude Opus 5. Trình kiểm tra trích dẫn chấp nhận những câu trả lời đó, vì trích dẫn là có thật và chính xác. Còn khách hàng thì không. Đây là dạng thất bại mà Legal Search Index, xét về cấu trúc, khó có khả năng sửa chữa nhất: chỉ mục này chỉ dành cho Hoa Kỳ, và lỗi nằm ở việc đọc hiểu chứ không phải ở việc truy xuất.

Điểm yếu của GLM-Legal nằm ở chiều ngược lại. Nó được tinh chỉnh cho thực hành luật thành văn Trung Quốc và đa khu vực tài phán — bản demo tuân thủ giải quyết các nghĩa vụ về quyền riêng tư của Singapore, Malaysia và Indonesia bằng các trích dẫn ở cấp điều/mục — và nó không có tương đương với một chỉ mục án lệ Hoa Kỳ. Về nghiên cứu pháp lý Hoa Kỳ, kiến trúc tìm ra 230 triệu URL án lệ đang làm điều mà GLM-Legal đơn giản là không làm. Những điểm mạnh được công bố của nó là soạn thảo, liên kết bằng chứng và công việc tài liệu được chấm theo rubric; bằng chứng được công bố của nó hoàn toàn không bao gồm tuyên bố nào về truy xuất.

Cả hai nhà cung cấp đều chưa công bố hồ sơ quản trị mà tổng cố vấn pháp lý của một công ty luật sẽ hỏi đầu tiên. Astra for Law đi kèm với Zero Data Retention trên API và việc sử dụng ChatGPT Enterprise được loại trừ khỏi đánh giá bởi con người theo mặc định, nhưng phạm vi áp dụng đó được cấp theo từng tổ chức và chương trình hoạt động theo hình thức mời. Các điều khoản beta của GLM-Legal hoàn toàn không được công bố, điều này không đồng nghĩa với việc không thể chấp nhận — đơn giản là không có tài liệu, và không có tài liệu chính là điều bạn không thể mang tới hội đồng rủi ro.

Được thử một trong hai, và chi phí của nó là bao nhiêu

Cả hai cấu hình hợp pháp đều không có trên bảng giá công khai.

• Astra for Law — Truy cập đáng tin cậy, theo hình thức mời và hướng đến các hãng luật lớn; không có mức giá công bố cho cấu hình pháp lý; id mô hình API được cho là sẽ sớm ra mắt.

• GLM-Legal — một ứng dụng beta hướng đến các công ty luật, công ty công nghệ pháp lý, đội ngũ pháp chế nội bộ và những người hành nghề độc lập; chưa công bố giá; không có endpoint công khai.

• Tuy nhiên, cả hai mô hình nền tảng đều đang hoạt động thực tế. GPT-6 Astra có giá 10 USD cho mỗi triệu token đầu vào và 50 USD cho mỗi triệu token đầu ra với ngữ cảnh 1,05 triệu token, kèm mức giá điều chỉnh cho ngữ cảnh dài khi vượt quá 272.000 token đầu vào — ngưỡng mà các bộ tài liệu pháp lý sẽ thường xuyên vượt qua. GLM 5.3 Flash có giá 0,15 USD và 0,50 USD với ngữ cảnh 1 triệu token. Đó là mức chênh lệch gấp 66 lần về giá đầu vào giữa hai mô hình đều có thể xử lý trọn một bộ hợp đồng chỉ trong một lượt.

Cả hai đều có trên danh mục OrcaRouter ở đúng mức giá niêm yết đó mà không cộng thêm phụ phí, điều này quan trọng hơn mức thông thường trong hạng mục này: thay đổi giá từ nhà cung cấp đối với một trong hai mô hình sẽ được cập nhật trực tiếp tại đây ngay trong cùng ngày thay vì phải chờ đến cuối chu kỳ hợp đồng. Một khóa dùng chung cho cả hai, vì vậy một nhóm kỹ thuật pháp lý muốn dùng Astra cho các tác vụ truy xuất nặng và GLM 5.3 Flash cho việc rà soát sơ bộ khối lượng lớn thì không cần hai mối quan hệ thương mại, hai bộ SDK hay hai bộ thông tin xác thực. DSL định tuyến phân tách lưu lượng theo lớp tác vụ, nên luồng soạn thảo và luồng tóm tắt có thể trỏ đến các mô hình khác nhau mà vẫn xuất một hóa đơn duy nhất.

Và có một hạn chế có chủ đích đáng được gọi tên thay vì che giấu. Điều thực sự phân biệt Astra for Law với GPT-6 Astra là Legal Search Index, và lớp đó không phải để bán — bạn không thể định tuyến tới nó, và cũng không ai khác có thể. Thứ chúng tôi định tuyến là mô hình cơ sở. Một nhóm đang tạo nguyên mẫu quy trình pháp lý trên GPT-6 Astra hôm nay đang kiểm thử mọi thứ, trừ phần đã khiến cấu hình pháp lý trở nên tốt hơn.

Chọn cái nào?

Nếu công việc là nghiên cứu án lệ Hoa Kỳ, phân tích nặng về tiền lệ, hay bất cứ việc gì mà rủi ro chính là bỏ sót một nguồn có thẩm quyền, thì Astra for Law nhắm thẳng vào đó và GLM-Legal không cạnh tranh ở mảng này. Nếu công việc là soạn thảo theo một đặc tả, tuân thủ luật định trên các chế độ pháp lý được nêu tên, hay suy luận trên một bộ tài liệu bạn đã cung cấp, thì bằng chứng của GLM-Legal lại trực tiếp đúng trọng tâm hơn — và các bản demo của nó cho thấy đúng hành vi bạn muốn, đó là một mô hình tạo ra số liệu và ngôn ngữ điều khoản thay vì một danh sách kiểm tra những điều cần cân nhắc.

Đối với hầu hết các nhóm pháp lý, câu trả lời thực tế trong quý này là cả hai đều không phải là quyết định mà bạn phải đưa ra ngay lúc này. Cả hai đều bị giới hạn bởi đơn đăng ký, cả hai đều chưa có giá, và cả hai đều chỉ có đúng một lần chạy benchmark do nhà cung cấp kiểm soát đứng sau những con số hào nhoáng của mình. Những nhóm sẽ sẵn sàng khi cánh cửa mở ra chính là những nhóm đã tận dụng khoảng thời gian này để xây dựng pipeline trên các mô hình nền thực sự có thể gọi được — để rồi sau này, việc áp dụng phiên bản chuyên biệt chỉ còn là một thay đổi model-id chứ không phải là làm lại toàn bộ nền tảng.

DSL định tuyến phân tách lưu lượng theo lớp tác vụ, nên luồng soạn thảo và luồng tóm tắt có thể trỏ tới các mô hình khác nhau mà vẫn tính phí trên một hóa đơn duy nhất.