GPT-6 Luna đọc Slack với giá 0,007 USD mỗi luồng: Con số đó che giấu điều gì

0,7 xu. Đó là mức chi phí trung bình mà Agent Initiative Benchmark của Deepnote Research ghi nhận cho GPT-6 Luna khi xử lý một tình huống nơi làm việc trong một công ty mô phỏng - đọc các tin nhắn, quyết định xem có cần báo cho ai điều gì không, và trả lời đúng kênh. Claude Fable 5.1, với cùng năm mươi tình huống, cùng công cụ và cùng ngân sách phản hồi 180 giây, có chi phí trung bình $3.02 cho điểm số cao hơn 1,1 điểm: 6,38 trên 10 so với 7,50. Bài viết của chính benchmark gọi hai mô hình là "cách nhau 430 lần về giá", và phép tính đúng: $3.02 chia cho $0.0070 là 431.

GPT-6 Luna đã được cung cấp rộng rãi kể từ ngày 22 tháng 9 năm 2026, và bảng so sánh đã lan truyền khắp timeline vào ngày 13 tháng 11 như một câu chuyện về một mô hình rẻ đuổi kịp một mô hình đắt tiền. Đó là một câu chuyện thú vị hơn thế, và cũng kém tôn vinh tiêu đề hơn một chút. Dòng của chính Luna trong bảng đó có chín lần chạy đạt 10/10 và chín lần bị 0 điểm, và lý do một agent chủ động khó mua không phải là điểm trung bình - mà là những điểm không.

Benchmark thực sự đã chạy những gì

Agent Initiative không phải là một bộ câu hỏi tĩnh khác. Deepnote đã xây dựng một công ty phần mềm giả lập có tên PageMantle - 71 nhân viên, 100 khách hàng doanh nghiệp, sáu năm hồ sơ dữ liệu được liên kết, khoảng 10 GB trải khắp mười một dịch vụ gồm Slack, Notion, Linear, HubSpot, Stripe, PostHog, BigQuery và Snowflake - rồi thả mười hai mô hình tiên tiến nhất vào đó với vai trò người quan sát ẩn danh. Mỗi mô hình nhận được cùng một chỉ dẫn, cùng quyền truy cập công cụ, cùng ảnh chụp nhanh về công ty và cùng ngân sách thời gian. Nhiệm vụ là đọc các tin nhắn Slack mới và quyết định có nên điều tra không, trả lời ở đâu, và có trả lời hay không.

Bảng điều khiển nhỏ và cố tình gây khó dùng:

• Năm mươi tình huống thuộc tám loại nhiệm vụ - Phân tích (8), Xác minh (7), Điều phối, Giải thích, Chẩn đoán, Quyết định và Bảo vệ (mỗi loại 6) và Tìm (5).

• Bốn mươi trong năm mươi trường hợp cần một tin nhắn; mười trường hợp là bẫy mà nước đi đúng là im lặng.

• Hai giám khảo LLM, không biết mô hình nào đã tạo ra lần chạy, chấm điểm từ 0 đến 10 về can thiệp, bằng chứng, giọng điệu và cách định vị khán giả.

• Mọi mô hình ở mức nỗ lực suy luận cao, với thời gian thực thi công cụ được loại trừ khỏi đồng hồ 180 giây.

• Mười hai mô hình từ sáu phòng thí nghiệm, tổng cộng 600 lần chạy, với khoảng tin cậy 95% từ tái lấy mẫu bootstrap theo tác vụ.

Lựa chọn thiết kế đó - bốn mươi trường hợp trợ giúp so với mười trường hợp im lặng - là lý do bảng này phân tách các mô hình theo cách mà một benchmark trò chuyện không bao giờ làm được. Phần lớn việc một tác nhân luôn bật làm cả ngày là quyết định không lên tiếng, và gần như không có đánh giá công khai nào chấm điểm điều đó.

Hàng của Luna, đầy đủ

GPT-6 Luna đứng thứ bảy trong số mười hai với 6,38. Nó đã gửi tin nhắn trong 38/40 tình huống cần gửi, tỷ lệ thành công cao hơn con số 37 của Claude Sonnet 5.5, và thực hiện việc đó trong 50 giây với 13,7 lần gọi công cụ. Chi phí mỗi tác vụ của nó, $0.0070, là thấp nhất trong nhóm, thấp hơn gần bốn lần so với $0.026 của DeepSeek V4.1 Flash và thấp hơn sáu mươi lần so với $0.42 của Claude Sonnet 5.5.

Cột quan trọng là cột mà Deepnote gắn nhãn “Tens / zeros”. GPT-6 Astra, người đạt điểm cao nhất với 8,97, ghi nhận 26 lượt chạy hoàn hảo và hai điểm 0. Claude Opus 5.5 ghi nhận 14 và hai. Luna ghi nhận chín và chín. Trong một benchmark mà điểm 0 có nghĩa là agent hoặc không hề lên tiếng khi đáng lẽ phải lên tiếng, hoặc đã lên tiếng trong một tình huống mà nó đã hiểu sai, một trong năm lượt chạy của Luna là vô ích, so với một trong hai mươi lăm lượt ở hai mô hình xếp trên nó. Tính trung bình trên năm mươi tác vụ, một agent xuất sắc trong nửa số lần và vắng mặt trong nửa còn lại trông giống như một điểm B-minus. Khi được triển khai trên Slack của một đội nhóm thực tế, nó trông giống như một đồng nghiệp hoặc xuất sắc hoặc im lặng, và không ai có thể đoán trước được là trường hợp nào.

Tiêu đề 430x, kèm phép tính được trình bày

Con số này là thật, và đây cũng là cách diễn đạt có lợi nhất hiện có, vì hai lý do đáng nói thẳng.

Đầu tiên, Claude Fable 5.1 không phải là mô hình hiện tại của Anthropic. Claude Fable 5.2 mới là, và nó đạt 8,17 trên cùng một bài kiểm chuẩn với chi phí 1,87 đô-la mỗi tác vụ. So với mô hình kế nhiệm, GPT-6 Luna rẻ hơn 267 lần và kém 1,79 điểm. Đó là một câu ít trích dẫn được hơn và liên quan hơn đến việc ra quyết định, vì không ai chọn mô hình trong tuần này lại chọn Fable 5.1 trừ khi họ có lý do.

Thứ hai, khoảng cách 1,1 điểm là một ước lượng điểm trên năm mươi tác vụ. Deepnote nói rõ rằng một số mô hình ở giữa bảng của nó nằm trong các khoảng chồng lấn - nó gọi Claude Sonnet 5.5, GPT-6 Luna, DeepSeek V4.1 Flash, Mistral Large 4 và Claude Haiku 5.5 là một cụm cách nhau trong vòng 0,6 điểm - và nó dự định có một bộ tác vụ lớn hơn trong một phiên bản tương lai. Cách đọc trung thực về cặp Luna so với Fable 5.1 là khoảng cách giá được đo đến ba chữ số có nghĩa còn khoảng cách chất lượng được đo đến khoảng một chữ số. Bất kỳ ai trích dẫn “chỉ kém 1,1 điểm” như thể chữ số thập phân đó có ý nghĩa là đang trích dẫn khoảng, chứ không phải điểm số.

Con số không ai nhắc đến: bốn trên mười

Khi im lặng là câu trả lời đúng, mô hình trung vị trong lĩnh vực này đã giữ im lặng sáu trên mười lần. GPT-6 Luna giữ im lặng bốn lần. Nó can thiệp trong sáu trên mười tình huống mà hồ sơ đã cho thấy vấn đề đã được xử lý - và, như Deepnote chỉ ra, những can thiệp đó không phải là vô nghĩa. Chúng chính xác, đúng chỗ và không cần thiết. Một bước kiểm tra chất lượng chỉ đọc tin nhắn sẽ không bao giờ bắt được lỗi đó. Khảo sát mức độ hài lòng của người dùng cũng vậy, vì chẳng ai phàn nàn khi được nói một điều đúng.

Bộ benchmark dù sao cũng định giá cho điều đó. Trên toàn bộ bảng đánh giá, việc nói chen ngang không đúng lúc tốn kém khoảng 1,8 lần so với việc giữ im lặng khi cần một tin nhắn. Đối với một agent Slack mà toàn bộ tiền đề là nó đọc mọi luồng, chế độ thất bại không phải là một câu trả lời sai rồi được sửa. Mà là sự bào mòn dần dần của kênh: một khi một nhóm học được rằng một phần ba tin nhắn của bot là nhiễu, họ sẽ ngừng đọc bất kỳ tin nhắn nào, và giá trị của những tin nhắn đúng cũng về không theo.

Có một lỗi thứ hai, kín đáo hơn trong báo cáo. Trong một tác vụ truy cập dữ liệu, Luna đã tìm thấy hồ sơ xác nhận rằng một quản trị viên truy cập đã bàn giao cho người kế nhiệm, rồi cuối cùng vẫn chuyển nhân viên đó đến cựu quản trị viên. Đọc đúng bằng chứng nhưng rút ra kết luận sai là một khiếm khuyết khác với việc thiếu bằng chứng, và đó chính là khiếm khuyết vẫn tồn tại sau khi khắc phục chất lượng truy xuất.

Vì sao bảy phần mười xu lại làm thay đổi thiết kế, chứ không chỉ hóa đơn

Chi phí mỗi token là đơn vị sai cho quyết định này, vì chi phí của một tác nhân chủ động tăng theo số luồng mà nó chạm tới, chứ không theo số câu hỏi mà nó được hỏi. Biểu đồ của chính Deepnote làm điểm này trở nên cụ thể: 7 đô-la cho mỗi 1.000 tác vụ đối với GPT-6 Luna so với 3.020 đô-la cho mỗi 1.000 tác vụ đối với Claude Fable 5.1. Ở mức 2.500 luồng mỗi tháng, cùng con số mà phép đo hiệu năng dùng cho Sol và Fable 5.2, hóa đơn của Luna là khoảng 17,50 đô-la.

Con số đó đủ nhỏ để thay đổi thứ bạn xây dựng. Với 3 đô la một lần đọc, một tác nhân chủ động phải có tính chọn lọc trước khi bắt đầu - ai đó phải quyết định kênh nào đáng theo dõi, và đó chính xác là phán đoán mà mô hình lẽ ra phải đưa ra. Với chưa đến một xu một lần đọc, bạn có thể theo dõi mọi thứ và để mô hình phân loại ưu tiên, đó là phiên bản sản phẩm duy nhất khớp với lời giới thiệu.

Nó cũng mua thêm một lượt chạy thứ hai. Chạy GPT-6 Luna trên toàn bộ 2.500 luồng với giá khoảng $17.50, bảo nó đánh dấu năm mươi luồng có vẻ mơ hồ và gửi những luồng đó cho Claude Sonnet 5.5 với giá $0.42 mỗi luồng: thêm $21, tổng cộng gần $39 một tháng. Phiên bản dùng toàn Fable 5.1 cho cùng phạm vi bao phủ là $7,550. Việc giải pháp kết hợp đó có thực sự vượt qua Luna đơn thuần hay không vẫn chưa được kiểm chứng - bài đánh giá chạy các mô hình, không phải các khung kiểm thử, và Deepnote nói rõ điều đó trong phần hạn chế của mình - nhưng chính phép tính là thứ giúp thử nghiệm đủ rẻ để chạy.

Các vật tư đường ống đã đến sớm ba tuần.

Việc đọc với chi phí thấp cho mỗi lần gọi chỉ đáp ứng một nửa nhu cầu của một tác nhân hoạt động liên tục; nửa còn lại là một cách rẻ để đặt một câu hỏi hẹp. Vào ngày 22 tháng 10 năm 2026, OpenAI đã đưa Decisions API ra khỏi giai đoạn beta, và GPT-6 Luna là mô hình duy nhất mà nó hỗ trợ. Endpoint này trả về câu trả lời có kiểu dữ liệu thay vì văn xuôi - xác suất một điều kiện là đúng, một lựa chọn từ danh sách cố định, hoặc điểm số so với các mức có thứ tự - và OpenAI tuyên bố nó nhanh hơn khoảng mười lần so với việc hỏi cùng mô hình qua Responses API.

Đối với một trình theo dõi Slack, đó là hình dạng phù hợp. “Chuỗi hội thoại này có mâu thuẫn với ngày phát hành trong tin nhắn được ghim không?” là một vị từ, chứ không phải một đoạn văn. Bản phát hành chính thức (general availability) đã nâng giới hạn lên 400 câu hỏi mỗi yêu cầu, thêm bộ nhớ đệm lời nhắc cho ngữ cảnh dùng chung, cho phép hình ảnh bên trong hướng dẫn của từng câu hỏi và chấp nhận dữ liệu có cấu trúc trực tiếp thông qua một input_json phần nội dung. Giờ đây, một lệnh gọi duy nhất có thể đánh giá toàn bộ hoạt động của kênh trong một ngày dựa trên một tập bằng chứng cố định thay vì từng tin nhắn một.

Điều đáng biết trước khi bạn thiết kế xoay quanh nó: bộ nhớ đệm mới áp dụng cho bằng chứng dùng chung mà bạn gửi, không áp dụng cho bảng giá của Luna, và các giới hạn của chính mô hình vẫn được áp dụng - cửa sổ ngữ cảnh 1,050,000 token, đầu vào tối đa 922,000, đầu ra 128,000, và mốc kiến thức là ngày 18 tháng 5, 2026. Gọi hàm trên Chat Completions chỉ hoạt động khi reasoning effort được đặt thành none; mọi thứ có công cụ tích hợp phải đi qua Responses API.

Nơi bằng chứng dừng lại

Bộ đánh giá chuẩn này thẳng thắn một cách bất thường về những giới hạn của chính nó, và những giới hạn đó có ý nghĩa với bất kỳ ai sắp đưa một mô hình đến trước một đội ngũ thực tế.

• Năm mươi nhiệm vụ, trong đó một số danh mục chỉ có năm đến tám nhiệm vụ, vì vậy xếp hạng theo từng danh mục chỉ mang tính xu hướng chứ không phải thứ tự.

• Một bản chụp nhanh cố định về công ty mà đồng đội không bao giờ phản hồi, chỉ đo lường một đóng góp duy nhất thay vì cả một tháng tích lũy bối cảnh.

• Một mức nỗ lực. Mọi mô hình đều chạy ở mức cao; các cài đặt thấp hơn và cao hơn chưa được kiểm thử, và mặc định của Luna là trung bình, không phải cao.

• Chỉ Slack. Email, tài liệu và mọi hành động ngoài việc gửi tin nhắn đều nằm ngoài phạm vi.

• Chi phí lịch sử, không phải báo giá trực tiếp. Các con số theo từng tác vụ là quan sát từ lần chạy, nên thay đổi giá của nhà cung cấp sẽ làm chúng thay đổi.

• Không có bộ định tuyến nào được thử nghiệm. Deepnote nói rõ rằng lời khuyên định tuyến của mình là một khuyến nghị thiết kế được ngoại suy từ kết quả mô hình.

Cũng có một mâu thuẫn giữa bảng đó và các phép đo tốc độ độc lập. Deepnote đo Luna ở mức 50 giây mỗi tình huống khi nỗ lực cao. Artificial Analysis, khi chạy nó ở mức nỗ lực tối đa, đo được thời gian đến token trả lời đầu tiên là 79,33 giây - tệ hơn một bậc độ lớn so với mức trung vị của phân khúc giá của nó. Cả hai con số đều có thể đúng, vì chúng đo những thứ khác nhau ở các thiết lập khác nhau, nhưng cặp số này là một lời cảnh báo: độ trễ cảm nhận của một agent luôn bật được quyết định bởi núm nỗ lực, và việc tăng nó lên để theo đuổi các số 0 sẽ tốn giây trước khi tốn đô la.

Triển khai một đầu đọc ở mức giá này

Phiên bản thực tế của benchmark này là một pipeline hai tầng, và đó là lý do khoảng cách về giá quan trọng hơn khoảng cách về điểm số. GPT-6 Luna ở mức nỗ lực thấp hoặc trung bình đảm nhận việc đọc - mọi luồng, mọi kênh, các quyết định được nhập qua Decisions API. Một ngưỡng trên các quyết định đó sẽ chuyển các trường hợp mơ hồ lên một mô hình mạnh hơn. Mô hình đắt tiền sau đó chỉ xử lý hàng chục luồng mỗi tháng thay vì hàng nghìn, và chi phí của nó không còn là một khoản mục ngân sách.

Quy trình đó sẽ dễ vận hành hơn khi cả hai tầng nằm sau một khóa. OrcaRouter cung cấp GPT-6 Luna, Claude Sonnet 5.5, Claude Fable 5.2 và hơn 200 mô hình khác thông qua một điểm cuối tương thích OpenAI duy nhất, với mức tăng giá 0% - giá niêm yết của nhà cung cấp được chuyển nguyên vẹn, vì vậy mức giảm giá của nhà cung cấp sẽ được áp dụng ở phía chúng ta ngay trong cùng ngày thay vì phải chờ đại lý định giá lại. DSL định tuyến kết hợp các tầng thành một lần gọi (lượt đầu rẻ, nâng cấp khi có điều kiện), chuyển đổi dự phòng tự động giữ trình theo dõi hoạt động nếu một nhà cung cấp suy giảm, và hợp nhất mô hình cho phép một hội đồng cùng trả lời khi một phân loại đơn lẻ quá hệ trọng để tin giao cho một mô hình. Không có gì trong số đó thay đổi các con số ở trên; nó chỉ loại bỏ công việc tích hợp giữa chúng.

Điều gì sẽ khiến con số này thay đổi?

Hai điều sẽ khiến bài viết này trở nên lỗi thời: một phiên bản kế nhiệm GPT-6 Luna, hoặc một lần chạy độc lập thứ hai của cùng bộ đánh giá với bộ tác vụ lớn hơn. Điều thứ nhất phụ thuộc vào lịch của OpenAI. Điều thứ hai đã được cam kết - Deepnote cho biết một bảng gồm 50 tác vụ sẽ được thay bằng một mẫu lớn hơn trong phiên bản tiếp theo, và các tác giả của nó nói rõ rằng bảng hiện tại nên được hiểu là một phép đo đầu tiên thay vì một bảng xếp hạng.

Cho đến lúc đó, kết luận có thể bảo vệ được sẽ hẹp hơn phiên bản theo dòng thời gian và hữu ích hơn. GPT-6 Luna là mô hình đầu tiên đủ rẻ để một tác nhân chủ động có thể chấp nhận việc sai về việc có nên xem xét hay không, và đó là một ngưỡng thực sự - sự khác biệt giữa một sản phẩm chỉ lấy mẫu công ty mình và một sản phẩm đọc được công ty mình. Nó vẫn chưa đủ đáng tin cậy để có thể sai về việc có nên lên tiếng hay không. Điểm im lặng bốn trên mười là phần của bảng cần thiết kế xoay quanh: giữ việc đọc thật rẻ, giữ việc ghi có cổng kiểm soát, và đặt mô hình đắt tiền ở nơi quyết định ngắt lời thực sự được đưa ra.