Gemini Decision 1 vs Drex Max v1.1: Cả hai đều đọc 262K token, chỉ một bên đếm được tài liệu

Đặt Gemini Decision 1 và Drex Max v1.1 cạnh nhau và các bảng thông số kỹ thuật gần như trùng khớp: cả hai đều là mô hình ra quyết định, cả hai đều có cửa sổ 262.144 token, cả hai đều đọc hình ảnh cùng với văn bản, cả hai đều trả về xác suất thay vì văn xuôi. Khoảng cách mở ra ở một chỗ. Ở thành phần quyết định tài liệu của Artificial Analysis Decision Index v2.1 — bài kiểm tra có trọng số 30% yêu cầu một mô hình rút ra năm quyết định và mười dữ kiện từ một tài liệu dày đặc duy nhất và phải đúng cả mười lăm — Drex Max v1.1 vượt qua 63% tài liệu còn Gemini Decision 1 vượt qua 33%. Chính thành phần đó là phần lớn lý do một mô hình đạt 73 và mô hình kia đạt 66.

Phần còn lại của sự khác biệt là phép tính mà bạn có thể hành động dựa trên đó. Drex Max v1.1 có giá $0.03 mỗi triệu token đầu vào và Gemini Decision 1 có giá $0.10; trên một triệu tác vụ, đó là $103 so với $345. Và Gemini Decision 1 mang tối đa 1.000 câu hỏi mỗi yêu cầu trên phần đầu vào dùng chung, trong khi Drex Max v1.1 kỳ vọng một trạng thái với một vài câu hỏi được gắn kèm. Con số nào trong số đó quyết định lựa chọn của bạn phụ thuộc hoàn toàn vào việc các quyết định của bạn đến từng tài liệu một hay từng bốn mươi quy tắc một.

Hai hình dạng khác nhau của cùng một ý tưởng

Cả hai mô hình đều không tạo sinh văn bản, và cả hai có chung một đặc điểm quan trọng đối với việc mô hình hóa chi phí: đầu vào chỉ được đọc một lần và mọi câu hỏi đều được tính điểm dựa trên nó. Chỗ chúng khác nhau là chúng cho phép bạn đưa gì vào đầu vào đó.

• Các loại câu trả lời — Drex Max v1.1 cung cấp choice, noul và score, dạng yêu cầu do Jev của TypeSafe định nghĩa và Nace áp dụng. Gemini Decision 1 cung cấp cùng ba loại, với 2 đến 255 tùy chọn cho một choice và 2 đến 255 mức rubric, khuyến nghị 2 đến 10.

• Số câu hỏi mỗi lần gọi — tối đa 1.000 cho Gemini Decision 1, mỗi câu được đánh giá độc lập trong một lượt, khóa do bạn cung cấp; một vài câu cho mỗi trạng thái đối với Drex Max v1.1, trong đó đơn vị công việc là một mục và các câu hỏi của mục đó.

• Phương thức — Gemini Decision 1 chấp nhận văn bản, hình ảnh, video, âm thanh và PDF; Drex Max v1.1 chấp nhận văn bản và tối đa tám hình ảnh mỗi yêu cầu. Cả hai đều không chấp nhận phương tiện bên trong chỉ dẫn câu hỏi; trên Gemini Decision 1, đó là một giới hạn đã được ghi nhận và ở đó phương tiện thuộc về đầu vào dùng chung.

• Cửa sổ — 262.144 token cho Gemini Decision 1 trên toàn bộ đầu vào dùng chung và tất cả câu hỏi gộp lại; Drex Max v1.1 ghi nhận 131.072 token mỗi câu hỏi, với token hình ảnh được tính trong đó, và mức trần yêu cầu đã đóng gói là 262.144.

• Tính phí — Gemini Decision 1 tính $0.10 mỗi triệu token đầu vào và tính lại đầy đủ phần đầu vào dùng chung bị lặp lại một cách rõ ràng, không có bộ nhớ đệm và không có Batch API. Drex Max v1.1 tính $0.03 mỗi triệu token đầu vào, mức giá mà Nace đã giảm một nửa khi vv1.1 thay thế v1 tại chỗ.

• Truy cập — Gemini Decision 1 trên Gemini Developer API ở v1beta, có gói miễn phí và yêu cầu hàng ngày không giới hạn từ Tier 2. Drex Max v1.1 được Nace.AI lưu trữ tại POST /v1/systemone, không có checkpoint có thể tải xuống.

Hãy đọc danh sách đó như một câu: Drex Max v1.1 được xây dựng cho một màn hình hoặc một trang và một vài phán đoán về nó, còn Gemini Decision 1 được xây dựng cho một ngữ cảnh lớn và một cuốn sổ tay quy tắc đồ sộ. Mức trần 1.000 câu hỏi không phải là chi tiết hào nhoáng trên bảng thông số. Đó là khác biệt giữa một mô hình mà bạn gọi bốn mươi lần mỗi yêu cầu và một mô hình mà bạn chỉ gọi một lần.

Khoảng cách 6,6 điểm thực sự đến từ đâu

Decision Index đánh trọng số cho sáu đánh giá và cả hai mô hình đều đã được chạy trên cả sáu. Việc đối chiếu các thành phần của chúng mang lại nhiều thông tin hơn so với chỉ số tổng hợp:

• AA-Paperclip, 30% — Drex Max v1.1 72.8, Gemini Decision 1 56.8. Mười lăm câu trả lời cho mỗi tài liệu, được ăn cả ngã về không. Đây là khoảng cách mười sáu điểm quyết định thứ hạng.

• EvalSafe-O*NET-AA, 15% — 88.3 so với 87.1. Thực tế là hòa.

• When2Call, 10% — 95.3 so với 80.5. Drex Max v1.1 đứng thứ hai trong nhóm ở đây; Gemini Decision 1 đứng thứ mười bốn trong số mười tám.

• AA-Omniscience-Decision v1.1, 15% — 60,3 so với 66,3. Gemini Decision 1 thắng hạng mục này, và độ chính xác thô 44,8% của nó là cao nhất trong số mọi mô hình ra quyết định trên bảng xếp hạng.

• HLE-MultiChoice v1.1, 15% — 46,6 so với 48,7. Sát nhau, cả hai đều ở gần vị trí dẫn đầu, cả hai đều có độ chính xác thô ở mức một chữ số.

• AA-Symmetry v1.1, 15% — 79,8 so với 70,5. Drex Max v1.1 giữ nguyên câu trả lời khi đảo thứ tự và phủ định trong 53,3% số lần; Gemini Decision 1, 38,3%.

Quy luật này nhất quán. Drex Max v1.1 thắng hai thành phần kiểm tra liệu một quyết định có thể lặp lại và vững về cấu trúc hay không. Gemini Decision 1 thắng hai thành phần kiểm tra liệu nó có biết mọi thứ và biết khi nào mình không biết hay không. Cả hai đều là những sản phẩm có thể bảo vệ được; chúng đang trả lời những câu hỏi khác nhau về mục đích của một mô hình quyết định.

Một lưu ý về con số của Drex: mức 103 USD cho mỗi triệu tác vụ mà Artificial Analysis báo cáo phản ánh giá ra mắt tạm thời, và hội đồng ghi chú rằng giá tiêu chuẩn sẽ khiến chi phí tăng gấp đôi. Theo giá niêm yết, Drex Max v1.1 ở mức gần 206 USD cho mỗi triệu tác vụ — vẫn thấp hơn đáng kể mức 345 USD của Gemini Decision 1, nhưng không còn bằng một phần ba mức đó nữa. Độ trễ thì ngược lại: 283 mili giây mỗi tác vụ đối với Drex Max v1.1 so với 211 của Gemini Decision 1, cả hai đều chậm hơn mức trung vị 209 của lĩnh vực.

Hãy chọn theo hình thái yêu cầu của bạn, không phải theo điểm số.

Hãy chọn Drex Max v1.1 nếu quyết định của bạn xoay quanh một tạo tác với một câu trả lời phải đứng vững. Phân loại yêu cầu bồi thường bảo hiểm trên biểu mẫu quét, điều khiển tác nhân dựa trên ảnh chụp màn hình nơi cùng một quyết định nhấp được hỏi lại sau khi kết xuất lại, rà soát hợp đồng nơi một câu trả lời có/không bị đảo ngược là lỗi thật. Tỷ lệ vượt qua tài liệu 63% và tỷ lệ vượt qua đối xứng 53.3% là những con số tự hoàn vốn ở đó, và $0.03 mỗi triệu token đầu vào khiến lập luận về khối lượng trở nên dễ dàng.

Hãy chọn Gemini Decision 1 nếu quyết định của bạn là một bộ quy tắc áp dụng cho một đầu vào, hoặc nếu đầu vào không phải là văn bản và hình ảnh. Bốn mươi bước kiểm tra chính sách trên một phiếu hỗ trợ trong một lần gọi là khối lượng công việc mà Gemini Decision 1 đã được ghi nhận là đáp ứng được, còn Drex Max v1.1 thì không — và nếu đầu vào là bản ghi âm cuộc gọi hoặc tệp PDF, chỉ một trong hai công cụ này đọc được. Tài liệu của Google liệt kê mười bốn khả năng không được hỗ trợ bên cạnh một khả năng được hỗ trợ, nên rất dễ xác minh mức độ phù hợp trước khi bạn cam kết: quyết định có hiệu chuẩn, mọi thứ khác đều tắt.

Đừng chọn cái nào, tuy vậy, nếu quyết định xoay quanh chi phí ở quy mô lớn. Gemini Decision 1 không có Batch API và không có context caching, nghĩa là một lượt quét hàng đêm trên một triệu ticket lịch sử sẽ bị tính phí ở mức đầy đủ, với tài liệu chính sách phải được đọc lại mỗi lần. Giá ra mắt của Drex Max v1.1 là tạm thời. Hiện tại, không sản phẩm nào cung cấp cấu trúc giảm giá khiến việc backfill trở nên rẻ, và điều đó sẽ quan trọng hơn sáu điểm chỉ số đối với bất kỳ ai đang tính toán con số cho một năm ticket.

Chạy cả hai mà không cần hợp đồng thứ hai

OrcaRouter không cung cấp cả hai mục này. Cả hai đều là các endpoint chỉ chuyên về xác suất chứ không phải mục tiêu chat-completions, và chúng tôi nói rõ điều đó thay vì ngụ ý ngược lại — mục liệt kê mô hình quyết định của danh mục là typesafe/jev-1.14 của TypeSafe, nằm ở 66,23 trên cùng bảng xếp hạng giữa hai mô hình trong bài này.

Điều mà một cuộc bake-off thực sự khiến bạn tốn kém chính là phần không bao giờ xuất hiện trong một bài benchmark: hai SDK, hai cách quản lý khóa, hai bộ giới hạn tốc độ cần phải cân nhắc.giá niêm yết của nhà cung cấp được chuyển thẳng với mức markup 0%, và chuyển đổi dự phòng khi một nhà cung cấp bị suy giảm. Hãy trỏ lệnh gọi chấm điểm trực tiếp vào Google hoặc Nace và giữ lệnh gọi viết ở trạng thái có thể di chuyển. Đó là lý do phần sinh nội dung của một pipeline quyết định nên nằm sau một router, ngay cả khi phần chấm điểm thì không thể. Lệnh gọi soạn câu trả lời ứng viên, viết rubric, hoặc tạo ra bản tóm tắt đang được chấm điểm chính là lệnh gọi mà bạn muốn đổi nhà cung cấp trong một buổi chiều — một endpoint, hơn 200 mô hình. Mô hình mà bạn không thể định tuyến là phần rẻ; mô hình mà bạn có thể định tuyến mới là cái bạn sẽ muốn thay đổi.

Nếu bạn thực sự kiểm thử cả hai trên nhãn của chính mình — và bạn nên làm vậy, vì cả hai nhà cung cấp đều không công bố đường cong hiệu chuẩn trên dữ liệu của bạn — hãy chạy chúng trên cùng 200 tài liệu với cùng bộ câu hỏi và so sánh tỷ lệ đạt, không phải chỉ số. Khoảng cách 30 điểm của hội đồng trên Paperclip là một tiên nghiệm mạnh. Đó không phải là phép đo trên tài liệu của bạn.