Chuyển khối lượng công việc quyết định từ Drex Max sang Gemini Decision 1

Việc chuyển cổng trông giống như một thay đổi URL nhưng không phải vậy. Drex Max v1.1 và Gemini Decision 1 đều nhận một khối ngữ cảnh và một tập câu hỏi có kiểu rồi trả về xác suất, nên buổi chiều đầu tiên của một đợt di chuyển diễn ra suôn sẻ: đổi tên trường, trỏ client tới một đường dẫn gốc khác, chạy bộ kiểm thử. Thứ thất bại là tuần thứ hai, khi lưu lượng đến và hai mô hình tính phí hóa ra lại bất đồng về việc bạn đang mua gì. Đây là bản tường thuật về những gì thực sự phải thay đổi, viết cho người đang nắm một tích hợp Drex Max v1.1 đang hoạt động và tự hỏi liệu điểm số nổi bật của mô hình mới hơn có biện minh cho việc chuyển đổi hay không.

Hãy bắt đầu với phiên bản trung thực của sự đánh đổi. Trên Artificial Analysis Decision Index v2.1, Drex Max v1.1 đạt 73 điểm và Gemini Decision 1 đạt 66 điểm. Mô hình cũ hơn thắng, và thắng với cách biệt 6,6 điểm, phần lớn nằm ở thành phần chiếm 30% của điểm tổng hợp. Nếu khối lượng công việc của bạn là phân loại tài liệu, thì việc di chuyển là một bản hạ cấp được khoác lên vẻ nâng cấp. Nếu đó là thứ gì khác, hãy tiếp tục đọc, vì hai điểm đầu cuối không giống nhau như hình dạng yêu cầu của chúng gợi ý.

Sự khác biệt không nằm trên bất kỳ bảng xếp hạng nào

Drex Max v1.1 cấp cho mỗi câu hỏi ngân sách 131.072 token riêng. Gemini Decision 1 cấp cho toàn bộ yêu cầu 262.144 token, được chia sẻ giữa phần đầu vào và mọi câu hỏi trong đó. Hai câu đó mô tả cùng một nhóm sản phẩm và đưa ra lời khuyên kỹ thuật trái ngược nhau.

Trên Drex, việc hỏi 200 câu hỏi tốn 200 ngân sách riêng biệt, và mức trần thực tế cho một yêu cầu là giới hạn tốc độ của bạn chứ không phải ngữ cảnh. Trên Gemini Decision 1, 200 câu hỏi và một hợp đồng 200.000 token không vừa trong cùng một yêu cầu: 200.000 token đầu vào để lại 62.144 token cho các câu hỏi và hướng dẫn, mức này thoải mái, nhưng đầu vào 250.000 token chỉ để lại 12.144 và yêu cầu thất bại. Mức trần là có thật, nó được chia sẻ và nó thay đổi tùy thuộc vào lượng bạn gửi.

Đây là thay đổi đơn lẻ dễ làm hỏng một tích hợp Drex đang hoạt động nhất, vì kiểu lỗi không phải là lỗi ở lưu lượng thấp. Một bộ kiểm thử chạy 20 câu hỏi trên một tài liệu 30.000 token vừa thoải mái trong cả hai hệ thống. Môi trường production, với một bản ghi 180.000 token và 900 câu hỏi, vừa trong một hệ thống nhưng không vừa trong hệ thống kia.

Giá trên mỗi token che giấu điều gì

Drex Max v1.1 được niêm yết ở mức 0,03 USD mỗi triệu token đầu vào như giá ra mắt, so với giá niêm yết 0,06 USD, và Gemini Decision 1 là 0,10 USD. Cả hai đều không tính phí đầu ra. Chỉ nhìn riêng vào cột đó, Drex rẻ hơn từ 1,7 đến 3,3 lần, đủ để kết thúc cuộc trao đổi với một đội có lưu lượng lớn.

Tính theo từng tác vụ, khoảng cách thu hẹp lại. Artificial Analysis định giá Drex Max v1.1 ở mức 103 USD cho mỗi triệu tác vụ quyết định và Gemini Decision 1 ở mức 345 USD, tỷ lệ khoảng 3,3 — so sánh theo giá niêm yết, không phải giá ra mắt. Lý do là Gemini Decision 1 đọc nhiều token hơn để đi đến câu trả lời. Ngữ cảnh chia sẻ của nó lớn gấp đôi và điểm thành phần cho thấy nó đưa nhiều đầu vào hơn qua mỗi câu hỏi thay vì ít hơn. Tính theo từng tác vụ, chênh lệch thực tế là khoảng ba trên một theo hướng có lợi cho Drex, và chiết khấu ra mắt là một điều kiện tạm thời sẽ không tồn tại qua lần gia hạn hợp đồng thứ hai của bạn.

Điều đó có nghĩa là câu hỏi về giá không phải là “cái nào rẻ hơn” mà là “bạn sẵn sàng trả gấp 3 lần để làm đúng bao nhiêu phần trong số công việc của mình”. Một quy tắc chuyển phiếu hỗ trợ vào một hàng đợi chẳng có giá trị gì nếu nó sai nhiều hơn 5% so với phương án thay thế. Một quy tắc gắn cờ một điều khoản hợp đồng để bộ phận pháp lý xem xét thì phần chênh lệch đó đáng giá ngay lập tức.

Xử lý tài liệu là nơi tạo ra điểm số.

Khoảng cách tổng hợp 6,6 điểm không được phân bổ đồng đều, và lập luận về di cư phụ thuộc vào việc biết nó nằm ở đâu.

• AA-Paperclip, trọng số 30% — Drex Max v1.1 đạt 72.8 điểm và vượt qua 63% tài liệu ngay lập tức trong bài kiểm tra được ăn cả ngã về không; Gemini Decision 1 đạt 56.8 điểm và vượt qua 33%. Chỉ riêng thành phần này chiếm phần lớn chênh lệch tổng hợp.

• When2Call, 10% — Drex 95,3 so với Gemini 80,5, khoảng cách 14,8 điểm về khả năng phán đoán trong việc gọi công cụ, mức dẫn đầu theo tỷ lệ lớn nhất mà Drex đạt được ở bất kỳ đâu.

• EvalSafe-O*NET-AA, 15% — 88,3 so với 87,1. Một sai số làm tròn, và là bài kiểm tra duy nhất liên quan đến an toàn trong bộ này.

• AA-Omniscience-Decision v1.1, 15% — Drex 60,3, Gemini 66,3. Ưu thế dẫn đầu của Gemini, và là lý do các bài đưa tin ra mắt của nó tập trung vào tri thức.

• HLE-MultiChoice v1.1, 15% — Drex 46.6, Gemini 48.7. Sát nút, và cả hai mô hình từ chối trả lời thay vì đoán thường xuyên đến mức độ chính xác thô thấp hơn nhiều so với những con số này.

• AA-Symmetry v1.1, 15% — Drex 79.8 so với 70.5. Liệu câu trả lời có còn đúng khi câu hỏi bị sắp xếp lại, đổi nhãn và phủ định hay không, đây là thứ gần nhất trên bảng xếp hạng với một bài kiểm tra độ ổn định.

Hai trong số các dòng đó đáng để xem lại trước khi bạn quyết định. Ở mảng trích xuất tài liệu, Drex đáng tin cậy gần gấp đôi theo một chỉ số nghiêm ngặt, và về tính đối xứng, nó ổn định hơn chín điểm — nghĩa là một pipeline dựa trên Drex tạo ra ít câu trả lời bị đảo hơn khi cùng một câu hỏi được diễn đạt theo cách khác. Nếu sản phẩm của bạn đưa ra một câu trả lời duy nhất cho người dùng, sự bất ổn là một báo cáo lỗi. Nếu nó cấp dữ liệu cho một điểm số ở hạ nguồn, sự bất ổn là phương sai mà bạn có thể triệt tiêu bằng cách lấy trung bình.

Tốc độ, và lý lẽ ủng hộ việc giữ cả hai

Drex Max v1.1 chạy một tác vụ trong trung vị 283 mili giây. Gemini Decision 1 chạy cùng tác vụ đó trong 211. Mô hình mới hơn nhanh hơn dù đảm nhận nhiều việc hơn, và đây là điểm duy nhất mà việc chuyển đổi giúp ích một cách vô điều kiện. Đối với một bước kiểm tra đồng bộ đặt trước một hành động hướng tới người dùng, 70 mili giây không phải là chuyện nhỏ.

Tốc độ, giá cả và độ chính xác hiếm khi khớp với nhau rõ ràng đến vậy theo một hướng, và ở đây thì chúng không khớp: Gemini nhanh hơn và kém hơn, Drex chậm hơn và tốt hơn, còn tỷ lệ chi phí đi theo tỷ lệ chất lượng chứ không phải tỷ lệ độ trễ. Đó là dấu hiệu của hai mô hình có thiết kế thực sự khác biệt, chứ không phải một mô hình là cải tiến tuyệt đối.

Đó mới là khuyến nghị thực sự. Một dịch vụ quyết định chỉ có một mô hình chấm điểm thì có một điểm lỗi duy nhất và một quan điểm duy nhất. Chạy cả hai tốn thêm một tích hợp và đổi lại có được một tín hiệu bất đồng: khi hai mô hình trả về câu trả lời khác nhau với độ tin cậy cao, trường hợp đó thực sự mơ hồ và có lẽ không nên tự động hóa. Mô thức đó cũ, nhàm chán, và nó bắt được những lỗi mà điểm tin cậy của bất kỳ mô hình đơn lẻ nào cũng không bắt được.

Chuyển đổi bản thân lời gọi

Phần cơ học nhỏ hơn phần kế toán, với ba cái bẫy đáng được nêu tên trước khi bạn bắt đầu.

Đầu tiên, Drex được gọi tại /v1/systemone với model id được ghim là drex-max; alias drex-latest trong quickstart không phải là id được ghim, và việc dùng nó nghĩa là model của bạn thay đổi ngầm bên dưới mà không cần deploy. Gemini Decision 1 gặp vấn đề ngược lại: không có alias nào cả, chỉ có gemini-decision-1, và một request đặt tên gemini-decision sẽ không được phân giải. Hãy ghim ở cả hai phía, và coi model id như một số phiên bản trong config của bạn, không phải một hằng số trong mã nguồn.

Thứ hai, các giới hạn phương tiện không chuyển đổi tương đương. Drex Max v1.1 chấp nhận tối đa 8 hình ảnh mỗi yêu cầu. Gemini Decision 1 chấp nhận văn bản, hình ảnh, âm thanh, video và PDF với giới hạn 100 MB đối với base64 nội tuyến, 50 MB mỗi PDF và 15 MB mỗi URL HTTPS, và từ chối thẳng các liên kết YouTube và URI gs://. Một pipeline Drex gom tám bản quét trang mỗi yêu cầu sẽ trở thành một pipeline Gemini hoặc gửi các trang dưới dạng một PDF hoặc tách lô.

Thứ ba, các loại câu hỏi gần giống nhau nhưng giới hạn không hoàn toàn trùng khớp. Cả hai đều hỗ trợ có/không, lựa chọn và điểm số. Gemini giới hạn lựa chọn và điểm số ở 2–255 tùy chọn hoặc mức, và kẹp xác suất có/không vào khoảng 0.01–0.99, vì vậy bất kỳ ngưỡng nào mà mã Drex của bạn đặt trên 0.99 sẽ âm thầm không bao giờ kích hoạt sau khi chuyển đổi. Hãy kiểm tra mọi hằng số ngưỡng trong cơ sở mã, không chỉ những hằng số trong tệp cấu hình.

Nơi bộ định tuyến phù hợp và nơi nó không phù hợp.

OrcaRouter không mang gemini-decision-1 lẫn drex-max. Cả hai đều là các endpoint chỉ trả xác suất, và một router theo hình dạng của chúng ta đứng trước các target chat-completions; tuyên bố khác đi sẽ là một tuyên bố về tính sẵn sàng thất bại ngay ở yêu cầu đầu tiên. Vai trò của router trong đợt migration này là phần của pipeline không phải bộ chấm điểm.

Gần như mọi dịch vụ ra quyết định đều được soạn thảo trước khi được chấm điểm: một mô hình tạo sinh trích xuất các điều khoản ứng viên, đề xuất thang đánh giá, hoặc tóm tắt hồ sơ thành ngữ cảnh chia sẻ mà mô hình ra quyết định sau đó đọc. Lệnh gọi soạn thảo đó chính là nơi lựa chọn nhà cung cấp thực sự quan trọng và là nơi hợp đồng thứ hai gây bất lợi, và nó có thể chạy trên hơn 200 mô hình trên một endpoint với giá niêm yết của nhà cung cấp được chuyển nguyên ở mức markup 0%. DSL định tuyến quan trọng ở đây hơn so với trong một sản phẩm chat, bởi vì các lệnh gọi soạn thảo không đồng nhất — một mô hình rẻ để phân loại sơ bộ, một mô hình ngữ cảnh dài cho hồ sơ 180.000 token — và diễn đạt điều đó bằng các quy tắc tốt hơn là diễn đạt nó bằng ba SDK.

Giới hạn trung thực: failover bảo vệ lệnh gọi soạn thảo, chứ không phải lệnh gọi chấm điểm. Chỉ có một nơi để gửi yêu cầu quyết định, và nếu nơi đó không khả dụng thì dịch vụ của bạn cũng không khả dụng. Nếu sự phụ thuộc đó là không thể chấp nhận, mẫu hai mô hình ở trên không chỉ là thước đo độ chính xác — mà còn là cách dự phòng thực sự duy nhất hiện có, vì đó là cách duy nhất để có hai điểm cuối chấm điểm độc lập.

Điểm mấu chốt

Hãy chuyển sang Gemini Decision 1 nếu các quyết định của bạn {{1}}có dạng tri thức{{/1}}, nếu tốc độ quan trọng, hoặc nếu bạn muốn một ngữ cảnh chia sẻ đủ lớn để chứa trọn một hồ sơ trong một lần. Hãy ở lại với Drex Max v1.1 nếu chúng {{2}}có dạng tài liệu{{/2}} — và tỷ lệ đạt cho thấy có lẽ đúng là như vậy, vì khi nhìn kỹ, phần lớn khối lượng công việc ra quyết định hóa ra lại là trích xuất tài liệu. Hãy chạy cả hai nếu một câu trả lời sai là đắt đỏ, và hãy tính đến tỷ lệ chi phí ba-một trước khi bạn hứa với ai đó về khoản tiết kiệm. Việc di chuyển mất một ngày làm việc và một quý để tinh chỉnh lại; quyết định thực hiện nó phụ thuộc vào việc khối lượng công việc của bạn thực sự giống thành phần nào của chỉ mục.