
PAN 2 vs Odyssey 3: Mô hình thế giới duy nhất ở đây có giá niêm yết cũng công bố con số tệ nhất của mình
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 119 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 99 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-0727 tok/s
- OrcaMỚIOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 120 tok/s
- OrcaMỚIOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 230 tok/s
- OrcaMỚIOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 trên 1 triệu token · 41 tok/s
- OrcaMỚIOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 129 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 58 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 126 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 105 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 64 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 407 tok/s
Hai tuyên bố về suy luận vật lý, được công bố cách nhau ba tuần, và khác biệt giữa chúng không nằm ở điểm số. PAN 2 là mô hình thế giới trọng số mở 29 tỷ tham số của Institute of Foundation Models — trọng số Apache-2.0 vào ngày 7 tháng 10 năm 2026, mã vào ngày 5 tháng 11, hỗ trợ vLLM-Omni từ Ngày 0 vào ngày 10 tháng 11 — mô hình này kết xuất tối đa hai mươi giây video 704×1248 ở 24 khung hình/giây từ một khung hình khởi đầu và một hành động được mô tả. Odyssey 3 là transformer khuếch tán tự hồi quy khoảng 14 tỷ tham số của Odyssey, được phát hành dưới dạng bản xem trước nghiên cứu miễn phí vào ngày 8 tháng 10 năm 2026 với giá khoảng 0,139 USD mỗi video được tạo ở gói cơ bản và 0,267 USD ở gói Pro. Một bên là checkpoint có thể tải xuống, không có giá. Bên kia là sản phẩm tính phí theo mức dùng, không có trọng số. Và lý do cặp đôi này đáng một bài báo chứ không chỉ một đoạn văn là bên trả phí đã công bố một lưu ý về benchmark mà hầu hết các phòng thí nghiệm sẽ chôn vùi, trong khi bên miễn phí thì chưa được bất kỳ ai benchmark cả.
Sự đảo ngược đó mới là phần hữu ích. Bản năng thường mách bảo rằng “open weights” nghĩa là “minh bạch hơn”, còn “commercial API” nghĩa là “nhiều marketing hơn”. Ở đây lại diễn ra theo chiều ngược lại, và hiểu được vì sao sẽ cho bạn biết nhiều hơn về việc đánh giá các mô hình thế giới vào năm 2026 so với bất kỳ vị trí nào trên bảng xếp hạng.
Những gì Odyssey đã xuất bản, bao gồm cả phần khiến nó bị trừ một điểm
Odyssey 3 Pro báo cáo 66,1 trên Physics-IQ Verified, một benchmark suy luận vật lý video-to-video, và mô tả đó là state of the art. Phương pháp đằng sau con số đó mới là phần thú vị: nó đến từ một lần chạy duy nhất sử dụng lựa chọn best-of-eight, trong khi chính quy định của benchmark yêu cầu bốn lần chạy kèm độ lệch chuẩn được báo cáo. Không có lựa chọn, trung bình bốn lần chạy là 63,37.
Cả hai con số đều là của Odyssey. Khoảng cách 2,73 điểm giữa chúng chính là cái giá của việc chọn mẫu tốt nhất trong tám mẫu và gọi đó là điểm số, và việc cả hai con số đều được công bố công khai mang lại mức độ minh bạch cao hơn mức mà hạng mục này thường có. Theo thước đo riêng của benchmark về mức cải thiện ròng so với điểm trung bình của track, Odyssey 3 Pro đứng thứ hai với +11,15 điểm phần trăm, sau FLUX 3 [large] với +12,27. Trên WorldMark, đánh giá của chính Odyssey, nó đứng đầu ở ba trong bốn hạng mục — 77,2 cách điệu góc nhìn thứ nhất, 79,0 thực tế góc nhìn thứ ba, 76,3 cách điệu góc nhìn thứ ba — và đứng thứ ba ở hạng mục thực tế góc nhìn thứ nhất với 80,6, sau Lyra 2.0 với 84,4 và AlayaWorld với 83,0.

Hãy đọc những con số đó theo cách một người mua nên đọc, và ba điều sẽ rút ra. Thứ nhất, mô hình thực sự có sức cạnh tranh: vị trí thứ hai trên thước đo cải thiện của chính bộ benchmark không phải là chiêu trò tiếp thị. Thứ hai, nó không thắng hạng mục mà nó được tiếp thị, và đánh giá của chính nó cũng nói như vậy ở một trong bốn hạng mục. Thứ ba, và hữu ích nhất, việc nhà cung cấp sẵn lòng công bố cạnh nhau một con số được chọn lọc và mức trung bình không được chọn lọc là một tín hiệu về cách đọc mọi thứ khác mà họ công bố.
Giờ hãy hướng cùng lăng kính đó sang PAN 2. IFM đã công bố nhiều đánh giá hơn đáng kể so với hầu hết các bản phát hành mô hình video — 300 ca hành động đơn trên sáu nhóm năng lực; 100 tác vụ đa bước egocentric được đặt theo cả hai cách, 200 lời nhắc và 456 bước, được chấm điểm theo mức hoàn thành từng bước và hoàn thành toàn bộ kế hoạch qua ba seed; Physics-IQ Verified trên thiết lập image-to-video, được chuẩn hoá sao cho phương sai giữa hai lần quay thật bằng 100; PhyGround trên thang năm điểm do Qwen3.8-27B đánh giá; RBench là trung bình không trọng số trên năm nhóm tác vụ và bốn nhóm hiện thân; và một nghiên cứu người dùng theo cặp mù trên 140 lời nhắc với mười ba người đánh giá tạo ra 1.400 so sánh, Elo được khớp bằng Bradley–Terry và lấy tâm tại 1500. Điều IFM không công bố là một lưu ý về tuyển chọn, bởi vì theo như thẻ mô hình cho thấy thì không có gì để tuyển chọn: các con số được báo cáo như đầu ra của harness.
Cả hai đều chưa được kiểm toán. Chỉ một trong số chúng có thể so sánh với bất kỳ thứ gì khác, vì Odyssey đã chạy một benchmark công khai còn các con số tiêu đề của PAN 2 đến từ một harness riêng. Sự khác biệt đó — benchmark so với harness — còn giá trị hơn cả bản thân các điểm số.
Hai sản phẩm, hai kiểu ma sát
Giá là nơi việc so sánh dễ diễn đạt nhất và cũng khó hành động nhất.
• Đơn giá — Odyssey 3 có giá khoảng 0,139 USD mỗi video được tạo ở độ phân giải 832×480 trên gói cơ bản và khoảng 0,267 USD ở 1280×720 trên gói Pro; PAN 2 không có đơn giá vì không có dịch vụ được host, chỉ có trọng số và hóa đơn GPU.
• Chi phí thực sự — giá của Odyssey 3 là toàn bộ chi phí cho một clip; còn của PAN 2 là cỗ máy: mười ba giây video 704×1248 mất khoảng 119 giây trên bốn B300, với tám H200 ở BF16 là cấu hình mặc định được ghi trong tài liệu.
• Rào cản truy cập — Odyssey 3 có bản demo trình duyệt miễn phí mà bất kỳ ai cũng có thể mở, và truy cập API qua biểu mẫu liên hệ, không có khóa tự phục vụ và không công bố bảng giá; PAN 2 là 86,17 gigabyte trải trên sáu mươi tệp theo Apache-2.0, không bị chặn, không cần trao đổi.
• Trọng số — Odyssey 3 không công bố trọng số nào và không có giấy phép để đọc; còn của PAN 2 theo Apache-2.0, không yêu cầu ghi công, không có ngưỡng người dùng và không hạn chế lĩnh vực sử dụng.
• Tốc độ trong bộ khung thử nghiệm — Odyssey 3 chạy ở 16 khung hình/giây ở 832×480, được tinh gọn thành một vài bước để một người có thể điều khiển theo thời gian thực; PAN 2 chạy 24 khung hình/giây qua năm mươi bước lấy mẫu với guidance 2.5.
Ghép năm dòng đó lại và hai sản phẩm nhắm đến những người mua khác nhau. Odyssey 3 được định giá cho người muốn có clip và không muốn sở hữu một trung tâm dữ liệu — một nhóm nội dung, một nhóm nghiên cứu đang chạy vài nghìn lượt tạo, bất kỳ ai có kinh tế đơn vị tính theo mỗi đầu ra. PAN 2 được định giá cho người đã có node, vì với những người khác, việc giấy phép miễn phí là điều ít quan trọng nhất ở nó.
Con số còn thiếu ở cả hai bên là cùng một con số, và nó không phải giá. Không nhà cung cấp nào công bố tỷ lệ thành công cho thứ mà người mua thực sự quan tâm. Odyssey đã chạy một chính sách lái xe, một cánh tay robot và một robot hình người bên trong các thế giới do mình tạo ra, và chi tiết của những màn trình diễn đó đáng để đọc kỹ — nhưng con số mà người mua cần không nằm trong bất kỳ màn nào: không có tỷ lệ thành công cho tác vụ trên đường, không có mốc so sánh với huấn luyện trong thế giới thực, không có thử nghiệm ablation cho thấy phần nào của thế giới được tạo ra đã đóng vai trò quyết định.
Con số tương đương của PAN 2 thì tệ hơn và được công khai. Thẻ mô hình của nó nêu rằng khoảng hai trong ba kế hoạch mô phỏng có chứa ít nhất một bước không được thực hiện. Đó là một con số đáng báo động đối với bất kỳ ai hy vọng giao đầu ra cho robot, và đó cũng là câu hữu ích nhất trong cả hai bản phát hành, vì nó cho bạn biết tỷ lệ thất bại của thứ bạn sắp xây dựng dựa trên. Một nhà cung cấp công bố tỷ lệ thất bại hai trong ba và một nhà cung cấp không công bố tỷ lệ nào cả không cung cấp lượng thông tin như nhau, và bên có con số xấu lại chính là bên bạn có thể lập kế hoạch dựa vào.
Mỗi cái thực sự tạo ra những gì, và tại sao sự khác biệt này lại mang tính kiến trúc
Odyssey 3 là một transformer khuếch tán tự hồi quy với khoảng 14 tỷ tham số, được huấn luyện trên video internet, cảnh quay trò chơi với đầu vào được căn chỉnh theo thời gian và các tương tác vật rắn mô phỏng, rồi được chưng cất thành mô hình vài bước để một người có thể điều hướng đầu ra trong thời gian thực: bạn nhập lời nhắc cho một môi trường, di chuyển trong đó ở góc nhìn thứ nhất hoặc thứ ba với điều khiển camera độc lập, và kích hoạt các sự kiện khi bạn di chuyển. Các gói chỉ khác nhau ở những gì bạn có thể thấy — 832×480 ở gói cơ bản với khoảng $0.139 mỗi video và 1280×720 ở Pro với khoảng $0.267 — với một biến thể Flash đứng sau bản demo trình duyệt miễn phí mà bất kỳ ai cũng có thể mở mà không cần tài khoản.
PAN 2 là một trình kết xuất theo lô có một mô hình ngôn ngữ bên trong. Một bộ suy luận khái niệm viết trạng thái thế giới kế tiếp dưới dạng mô tả có cấu trúc, gắn với thời gian; một bộ mã hóa văn bản Qwen3.5-9B đóng băng biến mô tả đó thành các đặc trưng điều kiện; một transformer khuếch tán 29B điền vào chi tiết cảm nhận; và một VAE Wan 2.2 giải mã hai mươi giây ở 704×1248 với 24 khung hình mỗi giây. Không có vòng tương tác: một lần gọi, một clip, không có phản hồi bên trong lần gọi. Thay vào đó là một hợp đồng — kỹ năng viết lại lời nhắc, một lời nhắc phủ định cố định và một bộ kiểm tra đối chiếu chú thích với ngân sách của bộ mã hóa là 1.480 token mềm và 1.536 token cứng, trong đó thẻ thừa nhận rằng các nghiên cứu điển hình về tác tử dựa vào những lời nhắc được tinh chỉnh thủ công.
Sự khác biệt đó quyết định hai thứ phù hợp để làm gì, hơn hẳn mức giá. Odyssey 3 được xây dựng cho một người trong một môi trường: tạo, quan sát xung quanh, điều chỉnh, tạo lại. PAN 2 được xây dựng cho một cỗ máy đang đặt câu hỏi: nếu tôi làm điều này, chuyện gì sẽ xảy ra, và liệu một bộ kiểm tra có thích một lựa chọn khác hơn không. Các sampler mã hóa ý định — tám bước chưng cất cho một bên, năm mươi bước với guidance 2.5 ở mỗi bước cho bên kia — và kiểu lỗi mà mỗi bên ghi lại cũng vậy.
Việc chứng minh rằng cả hai công ty đều chưa trở thành một phép đo
Cả hai bản phát hành đều dựa vào bằng chứng video về một chính sách đang học hỏi bên trong một thế giới được tạo ra, và không bản nào công bố con số có thể khiến bằng chứng ấy trở nên đủ sức trụ đỡ.
Odyssey đã huấn luyện một chính sách lái xe trên khoảng 20 giờ dữ liệu đường thực tế của Ấn Độ với một backbone đóng băng bên trong các thế giới do nó tạo ra, và riêng rẽ đã cho thấy việc điều khiển cánh tay robot học được từ hàng chục giờ trình diễn, bao gồm các hành vi phục hồi không có trong dữ liệu huấn luyện, các chính sách humanoid được xây dựng bằng Flexion, điều hướng drone, và một chính sách huấn luyện trên GTA V chuyển giao sang Red Dead Redemption 2. Việc chuyển giao từ game này sang game khác là lập luận mạnh nhất cho một mô hình thế giới video tổng quát như là nền tảng huấn luyện, bởi vì nếu một chính sách có thể học từ cảnh quay của một game và hoạt động trong game khác, thì mô hình đã nắm bắt được điều gì đó về động lực học chứ không phải về pixel. Điều còn thiếu là bất kỳ tỷ lệ thành công nào được công bố trên nhiệm vụ đường Ấn Độ, bất kỳ baseline nào so với huấn luyện trong thế giới thực, và bất kỳ phép ablation nào cho thấy phần nào của thế giới được tạo ra đã đóng vai trò.
PAN 2 không có bản demo chính sách kiểu đó, nhưng nó có thứ mà Odyssey không có: tỷ lệ thất bại được công bố. Khoảng hai trong ba kế hoạch mô phỏng chứa ít nhất một bước không được thực hiện. Thẻ của nó cũng thừa nhận rằng việc mô phỏng những kế hoạch lẽ ra phải thất bại, theo cách nói của chính nó, vẫn chưa được đo lường — điều này quan trọng đối với một nền tảng huấn luyện, bởi vì một thế giới chỉ thể hiện thành công sẽ dạy cho chính sách rằng mọi thứ đều hoạt động.
Đặt hai lời thừa nhận đó cạnh nhau là khoảng trống trong hạng mục này hiện ra. Một công ty đã chứng minh được khả năng chuyển giao nhưng không đo độ tin cậy. Công ty còn lại đo một kiểu hỏng nhưng không chứng minh được khả năng chuyển giao. Cả hai đều không phải là nghiên cứu mà người mua cần, tức là nghiên cứu đặt cả hai mô hình vào cùng một nhiệm vụ với cùng một chính sách và cùng một chỉ số, chạy đủ nhiều lần để độ lệch chuẩn nhỏ hơn khoảng cách.
Những đường truy cập khiến bạn tốn thời gian thay vì tiền bạc
Rào cản của Odyssey 3 là một cuộc trò chuyện. Có bản xem trước nghiên cứu công khai miễn phí trên trình duyệt, quyền truy cập API qua biểu mẫu liên hệ, không có khóa tự phục vụ, không có bảng giá theo token hoặc theo clip nào được công bố ngoài các con số theo gói, không có trọng số mở và không có giấy phép để đọc. Đối với một nhóm muốn đo điểm chuẩn một mô hình so với khối lượng công việc của chính mình ngay chiều nay, đó là một rào cản khác với giá cả: bạn có thể dùng thử bản demo và có thể trao đổi với bộ phận kinh doanh, nhưng cả hai đều không mang lại cho bạn một bộ khung kiểm thử có thể tái lập.
Rào cản của PAN 2 là một cỗ máy. Các trọng số nặng 86,17 gigabyte trải trên sáu mươi tệp theo Apache-2.0, không có cổng chặn, không cần trò chuyện — và rồi bạn phát hiện ra rằng cấu hình phục vụ được ghi trong tài liệu là một node, rằng bộ lấy mẫu cần một trăm lượt truyền xuôi cho mỗi clip, và rằng một clip 704×1248 dài hai mươi giây tự nó đã là một bài toán giải mã trước khi thậm chí bàn tới song song hóa. Giấy phép thì miễn phí còn phần cứng thì không, đó chính là sự đánh đổi mà toàn bộ hạng mục trọng số mở thực hiện và là điều người mua thường hiểu sai nhất.
Cả hai kiểu ma sát đó đều không phải là lỗi. Chúng là hai hình thái mà một bản phát hành nghiên cứu mang hình hài vào năm 2026: một sản phẩm có giá và có biểu mẫu, hoặc một checkpoint có giấy phép và có hóa đơn. Biết được mình có thể hấp thụ hình thái nào là một bộ lọc hữu ích hơn bất kỳ vị trí benchmark nào, và đó lại là bộ lọc mà hầu hết các đội áp dụng sau cùng thay vì đầu tiên.
Sản phẩm 16 fps và mô hình nghiên cứu 24 fps mỗi loại dùng để làm gì
Cả hai công ty đều dùng cụm từ thời gian thực, nhưng không bên nào dùng nó với cùng một đại lượng. Odyssey 3 ở 16 khung hình/giây là 62,5 mili giây mỗi khung, đủ nhanh để một người điều khiển camera không cảm thấy độ trễ — đó là điều một sản phẩm cần, và đó là lý do mô hình được chưng cất xuống còn vài bước thay vì năm mươi bước. PAN 2 với hai mươi giây ở 24 khung hình/giây hoàn toàn không mang tính tương tác; đó là một lần kết xuất theo lô với chi phí tính bằng node-phút, và mục đích của nó là tạo ra một clip để một tác nhân hoặc nhà nghiên cứu sau đó kiểm tra.
Hệ quả đối với bất kỳ ai đang lên kế hoạch công việc là hai mô hình này có thể dùng được trong những vòng lặp khác nhau. Odyssey 3 phù hợp với quy trình có con người trong vòng lặp: tạo, xem, điều chỉnh, tạo lại, với mức giá đủ thấp để việc lặp lại trở nên rẻ. PAN 2 phù hợp với một vòng lặp tự động: tạo năm hệ quả ứng viên, chấm điểm chúng bằng một bộ kiểm tra, hành động theo kết quả tốt nhất, với mức giá đủ cao để bạn suy nghĩ trước khi tạo cả loạt. Một bên tối ưu cho độ trễ mỗi clip, bên kia tối ưu cho độ trung thực mỗi clip, và các thiết lập sampler thể hiện rõ sự đánh đổi — năm mươi bước với guidance ở 2.5 ở mọi bước là một trăm lượt truyền xuôi qua một transformer 29B, so với tám bước đã chưng cất qua một mô hình thuộc lớp 8 đến 14B.
Cũng có một khác biệt mang tính cấu trúc về việc đầu ra có thể được dùng để làm gì. Những thế giới được tạo ra của Odyssey 3 đã huấn luyện một chính sách lái xe và một cánh tay robot, đây là bằng chứng công khai mạnh nhất cho thấy một mô hình thế giới video tổng quát có thể đóng vai trò nền tảng huấn luyện cho điều khiển có hiện thân. Đầu ra của PAN 2 thì chưa làm được điều đó, và thẻ của nó nói rõ rằng việc mô phỏng những kế hoạch lẽ ra phải thất bại vẫn chưa được đo lường — điều này quan trọng, vì một nền tảng huấn luyện chỉ cho thấy thành công sẽ dạy cho chính sách rằng mọi thứ đều hiệu quả. Các trình diễn của Odyssey cũng không giải quyết được điều đó: một chính sách được huấn luyện trong các thế giới được tạo ra mà chưa từng được đánh giá so với đường cơ sở trong thế giới thực là một kết quả đầy hứa hẹn, chứ không phải một phương pháp đã được kiểm chứng.
Chỗ OrcaRouter khớp vào cả hai là lớp đánh giá chứ không phải lớp tạo sinh, và điều này đáng được nói chính xác. Cả PAN 2 lẫn Odyssey 3 đều không có trong danh mục của chúng tôi: một cái là mô hình khuếch tán 29B bạn chạy trên node của riêng mình, cái còn lại là sản phẩm chạy trên máy chủ của nhà cung cấp, được bán qua biểu mẫu liên hệ, và không bộ định tuyến nào có thể phục vụ cả hai. Thứ có thể được định tuyến là bộ máy xung quanh chúng, mà trong cả hai trường hợp đây chính là nơi chi phí thực sự tích tụ — một giám khảo thị giác-ngôn ngữ chấm điểm các clip được tạo theo một rubric, một bộ lập kế hoạch biến câu hỏi nghiên cứu thành một loạt prompt, một trình viết chú thích tạo ra các mô tả trạng thái thế giới có cấu trúc mà bộ mã hóa văn bản của PAN 2 tiêu thụ trong ngân sách 1,480 token mềm và 1,536 token cứng. Đó là hàng nghìn lệnh gọi thông thường tới một mô hình mà mỗi đầu ra tốn của bạn một phút GPU, đây chính là dạng khối lượng công việc mà ở đó một khóa duy nhất trên hơn 200 mô hình, giá niêm yết của nhà cung cấp được chuyển thẳng với mức markup 0% và tính năng tự động chuyển đổi dự phòng giữa các nhà cung cấp không còn là sự tiện lợi mà bắt đầu trở thành khác biệt giữa một lô chạy xong và một lô chết ở 80%.

Làm thế nào để đọc cái tiếp theo trong số này
Ba câu hỏi, theo thứ tự, và không câu nào trong số đó là “nó được bao nhiêu điểm”.
Con số đó đến từ một bộ đánh giá công khai hay một khung kiểm thử nội bộ? Mức trung bình qua bốn lần chạy của Odyssey là 63,37 có thể so sánh với các mục khác trên cùng hạng mục. Các số liệu hoàn thành bước của PAN 2 không thể so sánh với bất cứ thứ gì, vì không ai khác chạy khung kiểm thử đó. Cả hai đều hợp lệ; chỉ một là có thể mang đi so sánh.
Điểm số đó có phải là kết quả được chọn lọc? Một con số tốt nhất trong tám lần chạy và một mức trung bình của bốn lần chạy đo lường những thứ khác nhau, và một nhà cung cấp công bố cả hai đã cho bạn biết nên trích dẫn con số nào. Một nhà cung cấp chỉ công bố con số đầu tiên cũng đã cho bạn biết điều gì đó.
Tỷ lệ thất bại trên tác vụ bạn quan tâm là bao nhiêu? PAN 2 trả lời điều này bằng việc hai trong ba kế hoạch bỏ sót một bước. Odyssey không trả lời điều đó cho thí nghiệm đường bộ Ấn Độ. Sự thiếu vắng đó không phải là sự thiếu trung thực — chưa ai chạy nghiên cứu — nhưng một người mua không hỏi là đang mua một bản demo.
Áp dụng cho lựa chọn trước mắt bạn: Odyssey 3 là công cụ dễ tiếp cận. Một bản demo miễn phí trên trình duyệt, một biểu mẫu liên hệ, mức giá theo từng clip mà bạn có thể nhân lên, và một con số benchmark với phương pháp được ghi chép rõ ràng đằng sau. Nếu bạn cần thử các mô hình thế giới trong tuần này và ngân sách của bạn tính theo từng clip, thì trong hai lựa chọn, đây là cái duy nhất bạn có thể bắt đầu, và lưu ý là "dễ tiếp cận" ở đây có nghĩa là một cuộc trò chuyện bán hàng thay vì một khóa API.
PAN 2 là công cụ có thể kiểm toán. Trọng số, mã nguồn, một công thức phục vụ, một hợp đồng chú thích với ngân sách token, một rào chắn kèm theo các con số dương tính giả — 11,5% yêu cầu văn bản-thành-video lành tính và 3,3% yêu cầu hình ảnh-thành-video lành tính bị từ chối, trong khi đầu ra văn bản-thành-video không an toàn giảm từ 33,9% xuống 1,5% — và một phần hạn chế mở đầu bằng tỷ lệ thất bại. Nếu bạn có phần cứng và cần biết thứ đó vận hành ra sao chứ không chỉ biết rằng nó hoạt động, thì đây là bản phát hành đầy đủ hơn trong hạng mục này với khoảng cách rất lớn.
Điều có thể phân định cuộc so sánh là nghiên cứu mà cả hai công ty đều chưa thực hiện: cả hai mô hình, một nhiệm vụ, một chính sách, một chỉ số, đủ số lần chạy để độ lệch chuẩn nhỏ hơn khoảng cách. Chưa ai đề xuất nó. Cho đến khi có ai đó làm vậy, tóm tắt chính xác là mô hình trả phí đã công bố một con số được tài liệu hóa tốt hơn và mô hình miễn phí đã công bố một con số kém hơn, và mô hình miễn phí là cái bạn có thể kiểm tra.

