Obsidian 3: Một dòng benchmark ẩn, hóa đơn gấp 3,6 lần và câu hỏi về Fable 5.5

Con số thú vị nhất trên bảng xếp hạng lập trình mới của Cognition tuần này thuộc về một mô hình mà không ai có thể gọi tên. Một mục ẩn có nhãn Obsidian 3 đã xuất hiện trong tệp dữ liệu phía sau FrontierCode 2.0 với điểm số nỗ lực cao là 46,77%, cao hơn Claude Opus 5.5 ở 45,5% — mô hình mà chính bảng của Cognition xếp ở vị trí đầu. Dòng này chạy trong harness claude-code, thứ mà chỉ các mô hình của Anthropic sử dụng trên bảng xếp hạng đó, và sự đồn đoán ngay lập tức chia làm hai hướng: Claude Fable 5.5, mô hình hàng đầu mà Anthropic chưa phát hành, và một bản làm mới giữa chu kỳ mà một người đăng bài gọi là "Opus 5.6". Không có điều nào trong số đó được xác nhận. Anthropic chưa nói gì, không có model card hay API ID nào tồn tại, và mọi con số Obsidian 3 trong bài này là tuyên bố chưa được xác minh từ các bài đăng trên X chứ không phải kết quả mà chúng tôi có thể tái lập.

Những gì có thể kiểm chứng thì hẹp hơn và hữu ích hơn: tệp công khai mà vụ rò rỉ chỉ ra, đường cong nỗ lực được gán cho hàng ẩn, và phép tính đằng sau tuyên bố “chi phí 3.6×”. Ghép những điều đó lại và câu chuyện không còn là “mô hình tiếp theo của Anthropic đánh bại mô hình hiện tại của nó.” Nó trở thành một điều cụ thể hơn — một hàng đạt đỉnh ở mức nỗ lực cao rồi sau đó đi ngược lại, một so sánh chỉ đúng nếu bạn giữ các mức nỗ lực khác nhau ở mỗi bên, và một tệp dữ liệu hoàn toàn không chứa hàng đó.

Cái gì đã bị rò rỉ, và khi nào

Cognition đã công bố FrontierCode 2.0 vào ngày 27 tháng 10. Bộ đánh giá này được cố ý thiết kế để khó bị thao túng: 132 bài tập được xây dựng từ các kho mã nguồn mở thực tế bởi hơn 20 người duy trì, mỗi bài mất khoảng 40 giờ, và được chấm điểm dựa trên việc một bản vá có thực sự được hợp nhất hay không chứ không phải liệu nó có vượt qua bài kiểm tra hay không. Mỗi lần chạy được lặp lại ba lần, các bài tập là riêng tư, và chỉ một tiêu chí chặn bị trượt là điểm về không. Bảng xếp hạng của chính Cognition đặt Claude Opus 5.5 ở vị trí đầu với 45,5% ở mức nỗ lực tối đa, GPT-6 Astra thứ hai với 42,8%, Claude Sonnet 5.5 thứ ba với 41,0%, và không có mô hình nào vượt quá 50%. Artificial Analysis đã áp dụng bộ đánh giá này với trọng số 15% trong Intelligence Index v5 mới của mình và độc lập báo cáo cùng một mô hình dẫn đầu, Claude Opus 5.5 với 46% khi làm tròn.

Tối hôm đó, lúc 21:10 UTC ngày 27 tháng 10, @tensorson đăng rằng tệp dữ liệu của Cognition chứa một mô hình mà bảng không hiển thị: “Obsidian 3,” ở 46,8%, “cao hơn #1 Opus 5.5 (45,5%).” Bài đăng lưu ý đến harness claude-code và đoán là Fable 5.5. Mười hai giờ sau, một luồng trên linux.do liệt kê năm điểm effort riêng biệt cho hàng đó — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — và đính kèm một bản sao của dữ liệu. Lúc 09:12 UTC ngày 28 tháng 10, @teortaxesTex đăng trích dẫn kèm các con số chi phí: Opus 5.5 ở high đạt 34,5% với $2,42 mỗi rollout, Opus 5.5 ở max đạt 45,5% với $12,82, và Obsidian 3 ở high đạt 46,7% “dường như với $8,62,” mà không đạt thêm gì kể cả ở mức $47 cho max. “FrontierCode đã hỏng rồi sao?” bài đăng hỏi. “Hay Fable 5.5 là một thất bại?” Lúc 16:18 UTC, @CodexResets1 lan truyền cùng những con số đó và hỏi liệu mô hình là Fable 5.5 hay Opus 5.6.

Header Last-Modified của tệp ghi 17:44 UTC ngày 28 tháng 10. Phiên bản chúng tôi tải xuống một ngày sau đó có kích thước 32.055 byte, liệt kê 24 mô hình và không chứa bất kỳ hàng nào có tên Obsidian 3 ở bất cứ đâu trong cấu trúc của nó. Một yêu cầu đã làm mới bộ nhớ đệm trả về cùng một mã băm tệp. Bảng xếp hạng chính thức chưa bao giờ hiển thị hàng đó, bản sao 20 hàng của BenchLM cũng không hiển thị nó, và Anthropic chưa công bố bất cứ điều gì.

Một hàng, năm mức nỗ lực, ba câu chuyện khác nhau

Phần được công bố của phép so sánh này là vững chắc, vì nó đến trực tiếp từ dữ liệu có thể tải xuống của Cognition. Điểm số đã điều chỉnh theo khả năng hợp nhất của Claude Opus 5.5 tăng ở mỗi bước: 14,7% ở mức thấp, 30,1% ở mức trung bình, 34,5% ở mức cao, 43,4% ở xHigh, và 45,5% ở mức tối đa. Chi phí tác vụ trung bình của nó tăng từ $2,42 ở mức cao lên $12,82 ở mức tối đa. Đó là đường cong của một mô hình trở nên tốt hơn khi bạn trả tiền để nó suy nghĩ lâu hơn.

Đường cong Obsidian 3 như được tuyên bố không biểu hiện theo cách đó:

• Nỗ lực thấp — 39,19% được công bố, đã cao hơn mức 34,5% ở chế độ nỗ lực cao của Claude Opus 5.5.

• Nỗ lực trung bình — 39,84% được ghi nhận, tăng 0,65 điểm.

• Nỗ lực cao — 46,77% được tuyên bố, mức cao nhất, với mức được tuyên bố là $8,62 mỗi nhiệm vụ.

• Nỗ lực xHigh — 45,90% được tuyên bố đạt, giảm 0,87 điểm.

• Nỗ lực tối đa — 45,53% theo công bố, giảm thêm 0,37, với chi phí được công bố gần 47 USD.

Năm mức thiết lập nỗ lực, và điểm tốt nhất xuất hiện ở mức thứ ba. Việc chi khoảng 5,5 lần ngân sách nỗ lực cao để đạt mức tối đa đổi lại điểm số thấp hơn 1,24 điểm. Bản thân Cognition cảnh báo điều này có thể xảy ra: thiết lập suy luận cao hơn đôi khi làm giảm điểm vì mô hình viết nhiều mã hơn và chạm vào nhiều tệp hơn, và các ví dụ của chính benchmark bao gồm một lần chạy ở mức nỗ lực tối đa đã xóa một lớp API công khai trong khi đang sửa một race condition. Nhưng mức độ sụt giảm có ý nghĩa. Một mô hình chững lại ở mức cao nhất thường là một checkpoint sớm hoặc một sản phẩm phụ của chưng cất, thường xuyên hơn nhiều so với việc nó là một mô hình flagship đã hoàn thiện.

Giờ đến phần so sánh, vì tiêu đề phụ thuộc hoàn toàn vào việc bạn chọn cái nào:

• Tốt nhất so với tốt nhất — 46,77% ở mức high của Obsidian 3 so với 45,5% ở mức max của Claude Opus 5.5 là +1,32 điểm, với $8,62 so với $12,82, tức rẻ hơn khoảng 33%. Theo cách diễn giải này, hàng ẩn thắng trên cả hai trục.

• High so với high — 46,77% so với 34,5% là +12,24 điểm, ở mức $8,62 so với $2,42, tức gấp 3,56× chi phí. Theo cách diễn giải này, đây là mức tăng chất lượng lớn với mức giá lớn.

• Max so với max — 45,53% so với 45,45% là +0,08 điểm, ở mức khoảng 47 USD so với 12,82 USD, tức 3,67× chi phí. Theo cách diễn giải này, đó là một thế hòa với mức giá tàn khốc.

Cả ba đều đúng về mặt số học. Đó là lý do luồng thảo luận trên X tranh cãi chéo nhau: @tensorson so sánh high với max và gọi đó là thắng lợi 1,3 điểm; @teortaxesTex so sánh high với high và hỏi liệu benchmark có bị lỗi không. Con số "chi phí gấp 3,6× ở cùng mức nỗ lực" là chính xác, và "rẻ hơn lần chạy tốt nhất của Opus 5.5" cũng vậy — chúng mô tả những cặp lần chạy khác nhau.

Có một lưu ý lớn hơn nằm bên dưới tất cả những điều đó. Dữ liệu của Cognition lưu hai con số mỗi lần chạy: tỷ lệ đúng thô và điểm đã điều chỉnh theo khả năng hợp nhất. Con số 45,5% được công bố cho Claude Opus 5.5 là con số đã điều chỉnh; tỷ lệ đúng thô của nó ở mức max là 49,7%, còn ở mức high là 37,9%. Việc điều chỉnh khiến các hàng Claude công khai mất ba đến bốn điểm. Chúng ta không biết các con số Obsidian 3 bị rò rỉ đến từ cột nào. Nếu 46,77% là tỷ lệ đúng thô, điểm đã điều chỉnh của nó sẽ rơi vào khoảng 43% — dưới Claude Opus 5.5 — và toàn bộ tuyên bố "vượt #1" biến mất. Một ẩn số duy nhất đó lớn hơn mức chênh 1,3 điểm mà mọi người tranh luận.

Tại sao nhãn claude-code lại là toàn bộ lý lẽ dành cho Anthropic

Một harness là giàn giáo, không phải dấu vân tay. FrontierCode chạy từng mô hình bên trong một vòng lặp tác nhân, và tệp dữ liệu ánh xạ các mô hình tới vòng lặp mà chúng đã dùng: các hàng của OpenAI chạy trong codex, của Google trong devin-cli, của xAI trong grok-build, Muse Wonder của Meta trong muse, các mô hình SWE của chính Cognition trong devin-cli-swe1, và cả sáu hàng Claude trong claude-code. Một hàng ẩn danh nằm trong harness Claude là gợi ý mạnh rằng mô hình đứng sau nó được xây dựng để làm việc với bộ công cụ của Anthropic. Đó không phải bằng chứng rằng Anthropic đã xây dựng nó. Một nhà vận hành benchmark có thể kiểm thử mô hình trước phát hành của đối tác trong bất kỳ harness phù hợp nào, và một phòng thí nghiệm có thể kiểm thử mô hình của chính mình dưới một cái tên đang bị cấm công bố.

Bản thân cái tên gần như chẳng cho bạn biết điều gì. Danh mục công khai của Anthropic — được đối chiếu với trang tổng quan mô hình của chính hãng vào ngày 29 tháng 10 — gồm Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 và Claude Haiku 5.5. Không có Fable 5.5, không có Opus 5.6 và cũng không có sản phẩm nào tên là Obsidian. "Obsidian 3" là một mật danh kiểu đá quý mà các phòng thí nghiệm thường dùng nội bộ, nhưng không có danh mục công khai nào để đối chiếu, và số "3" ở cuối không tương ứng với bất kỳ chuỗi sản phẩm nào Anthropic đã phát hành.

Điều đó để lại ba cách hiểu, và bằng chứng không phân biệt được giữa chúng:

• Một bản dựng thuộc hạng Fable. Claude Fable 5.1 là mẫu chủ lực $10 / $50 dành cho nhu cầu suy luận khắt khe, ra mắt ngày 1 tháng 9, và dòng Fable rõ ràng là khoảng trống trong danh mục hiện tại. Phỏng đoán của @tensorson, cùng nhiều phản hồi cho bài đăng, đều quy về đây vì cấu hình chi phí trông giống một phân khúc cao cấp hơn là phân khúc giá trị.

• Một bản làm mới Opus giữa chu kỳ. Giả định trước của @teortaxesTex là “Obsidian 3 chính là Opus 5.6”, dựa trên lập luận rằng trước đây Anthropic đã tung ra các mô hình giữa chu kỳ với rất ít cải thiện về năng lực suy luận. Phần đỉnh phẳng của đường cong được công bố khớp với câu chuyện đó, nhưng điểm số ở mức nỗ lực thấp — 39,19% so với 14,7% của Claude Opus 5.5 — trông giống một lần chạy huấn luyện khác, chứ không phải một bản làm mới nhỏ.

• Một sản phẩm của quá trình chưng cất (distillation) hoặc một checkpoint ở giai đoạn đầu. Đây là giả thuyết khác của @teortaxesTex, và cũng là giả thuyết mà hình dạng đường cong ủng hộ nhất: mạnh ở mức nỗ lực thấp và trung bình, đạt đỉnh ở mức cao, rồi thoái lui khi được trao thêm dư địa. Một mô hình tiên phong đã hoàn thiện lẽ ra không nên trở nên tệ hơn mỗi khi bạn tăng ngân sách cho nó.

Thời điểm IPO bổ sung thêm gì — và không bổ sung thêm gì

Tín hiệu khởi nguồn chuỗi thảo luận này là một câu hỏi về thời điểm: vì sao Fable vẫn chưa ra mắt trước IPO? Anthropic đã công khai nộp S-1 vào ngày 26 tháng 10, một ngày trước khi FrontierCode 2.0 ra mắt, cho một đợt huy động vốn ước tính 75 tỷ USD trên Nasdaq với mã cổ phiếu ANT. Theo Renaissance Capital, roadshow dự kiến diễn ra trong tuần ngày 9 tháng 11 và việc chốt giá trong tuần ngày 16 tháng 11. Một mẫu flagship kế tiếp ra mắt trước khi chốt giá sẽ mang lại cho thương vụ niêm yết một câu chuyện sản phẩm; nếu ra mắt sau thì sẽ là một câu chuyện lộ trình.

Nhưng một dòng benchmark ẩn không phải là tín hiệu ra mắt. Các phòng thí nghiệm thường xuyên kiểm thử các mô hình trước khi phát hành với những đơn vị vận hành benchmark, thường là trong thời gian cấm công bố, và nhiệm vụ của đơn vị vận hành là giữ mô hình ẩn danh cho đến khi nhà cung cấp nói khác. Nếu Cognition đã kiểm thử một bản dựng của Anthropic, cách hiểu đúng là Anthropic vẫn đang lặp lại phát triển — chứ không phải là sẽ ra mắt trong vài ngày tới. Điểm dữ liệu chính thức duy nhất vẫn là tài liệu của Anthropic, trong đó liệt kê bốn mô hình hiện tại và không có mô hình nào là Obsidian. IPO giải thích vì sao mọi người đang theo dõi phân hạng Fable rất sát sao. Điều đó không làm cho dòng này trở thành thật.

Một độc giả thực sự có thể làm gì hôm nay

Không có gì về Obsidian 3 là có thể gọi được, có giá hay có tài liệu, nên nó không thay đổi quyết định nào trong tuần này. Nếu bạn cần điểm khả năng hợp nhất tốt nhất hiện có, Claude Opus 5.5 đã công khai: 4 đô-la đầu vào và 20 đô-la đầu ra trên mỗi triệu token, cửa sổ ngữ cảnh 1M token, đầu ra tối đa 128K, ID API claude-opus-5-5, phát hành ngày 22 tháng 9. Nếu chi phí là ràng buộc, GPT-6.1 Sol đạt 39,0% với khoảng 1,03 đô-la mỗi tác vụ trên cùng bảng xếp hạng — một sự đổi chác điểm trên mỗi đô-la tốt hơn nhiều so với cả hai lần chạy Claude, và là con số đáng kiểm tra trước khi bạn cho rằng dòng đầu bảng là dòng hữu ích duy nhất.

Claude Opus 5.5 có thể được định tuyến qua OrcaRouter theo giá niêm yết của Anthropic mà không có phụ phí, cùng với hơn 200 mô hình khác trên một API với tính năng chuyển đổi dự phòng tự động. Điều đó quan trọng đối với phép thử duy nhất mà rò rỉ này thực sự mời gọi: chạy Claude Opus 5.5 ở mức high và max trên khối lượng công việc của bạn và đo chi phí cho mỗi bản vá được chấp nhận. Đường cong của chính FrontierCode nói rằng hai bước nỗ lực cuối cùng tốn thêm 10,40 USD mỗi tác vụ để đổi lấy 11 điểm; kho mã của bạn có thể không định giá điều đó theo cùng cách. Cài đặt nỗ lực và giá mỗi token là của chính Anthropic, được chuyển thẳng, nên phép so sánh là một thay đổi tham số chứ không phải hợp đồng thứ hai — và nếu Anthropic giảm giá niêm yết, mức giảm sẽ có hiệu lực trên tuyến vào cùng ngày.

Điều gì sẽ khiến Obsidian 3 trở thành sự thật?

• Dòng này được trả về trong một tệp dữ liệu có thể tải xuống, kèm khóa mô hình và cả năm mục nỗ lực, để có thể đọc các con số mà không cần ảnh chụp màn hình.

• Cognition cho biết liệu công ty có kiểm thử một mô hình trước khi phát hành hay không, và theo thỏa thuận nào. Một đơn vị vận hành benchmark xác nhận một lần chạy bị cấm công bố sẽ xác lập được nguồn gốc mà không cần nêu tên nhà cung cấp.

• Anthropic công bố một model card, một API ID hoặc một mục trong tài liệu. Đó là sự kiện duy nhất biến một dòng trong bảng benchmark thành một sản phẩm.

• Một mức giá xuất hiện. Một mô hình không có giá là một mục tham chiếu chuẩn, không phải một lựa chọn mà người đọc có thể chọn.

• Một nhà vận hành thứ hai đo lường nó. Artificial Analysis chạy bộ khung FrontierCode 2.0 của riêng mình với các cấu hình bên ngoài khác nhau; một dòng Obsidian ở đó sẽ là sự xác nhận chứ không phải là đăng lại cùng một ảnh chụp màn hình.

Dòng này là một biên lai, không phải một bản phát hành. Thứ mà nó ghi nhận còn thú vị hơn cả tiêu đề: một mô hình mạnh khi nỗ lực thấp, đạt đỉnh khi nỗ lực cao, rồi tiêu tốn gấp năm lần ngân sách để trở nên tệ hơn. Nếu đường cong đó thuộc về mẫu chủ lực tiếp theo của Anthropic, công ty có một bài toán mở rộng suy luận cần giải quyết trước khi ra mắt. Nếu nó thuộc về một checkpoint sớm, con số sẽ thay đổi trước khi cái tên thay đổi. Dù thế nào, 46.8 không phải là con số cần theo dõi. Con số cần theo dõi là liệu đường cong có bao giờ trở nên đơn điệu hay không.

FAQ

Obsidian 3 đã được phát hành chưa?

Không. Không có mô hình nào tên Obsidian 3 xuất hiện trong tài liệu của Anthropic hoặc trong bảng FrontierCode 2.0 đã công bố của Cognition, và chúng tôi không tìm thấy danh mục API nào liệt kê nó. Bằng chứng duy nhất là một hàng ẩn được báo cáo trong các bài đăng trên X vào ngày 27 và 28 tháng 10, cùng một chủ đề diễn đàn đã tái tạo năm điểm nỗ lực. Anthropic chưa bình luận, và tệp dữ liệu công khai mà chúng tôi tải xuống vào ngày 29 tháng 10 không chứa hàng đó.

Obsidian 3 là Claude Fable 5.5 hay Claude Opus 5.6?

Không rõ. Cả hai đều là phỏng đoán từ nhãn harness claude-code, không phải từ bất kỳ định danh nào. Fable 5.5 khớp với ô trống phía trên Claude Fable 5.1 trong danh mục sản phẩm của Anthropic; Opus 5.6 khớp với giả thuyết rằng Anthropic tung ra các bản làm mới giữa chu kỳ với mức nâng cấp thấp. Không tên nào trong hai tên đó xuất hiện trong tài liệu của Anthropic, và hồ sơ chi phí phù hợp với một hạng Fable cao cấp hơn là một hạng Opus thiên về giá trị.

Tại sao giờ Obsidian 3 lại không còn trong FrontierCode 2.0 nữa?

Chúng tôi không thể xác nhận lý do. Tệp được liên kết trong bài đăng gốc được sửa đổi lần cuối lúc 17:44 UTC ngày 28 tháng 10, và bản sao chúng tôi tải xuống vào ngày 29 tháng 10 liệt kê 24 mẫu không có mục Obsidian 3 nào. Có thể tệp đã bị xóa sau khi các bài đăng lan truyền, hoặc bản dựng công khai có thể chưa từng chứa mục đó. Các bài đăng trên X và kho lưu trữ diễn đàn là những ghi chép duy nhất chúng tôi tìm thấy, và cả hai đều không phải nguồn chính thức.

Tuyên bố chi phí gấp 3,6 lần có đứng vững không?

Phép tính này khớp với chi phí Claude Opus 5.5 do Cognition công bố: 8,62 USD gấp 3,56 lần lần chạy high-effort 2,42 USD và khoảng 3,67 lần lần chạy max 12,82 USD khi so với con số max khoảng 47 USD. Điều không thể kiểm chứng là phía Obsidian 3 của sổ cái, vì các con số chi phí của nó chỉ tồn tại trong các bài đăng trên X, không có trong bất kỳ tệp nào có thể tải xuống.