
Clef-Flash: Mô hình Quyết định 9B của Cloudflare, và Ý nghĩa thực sự của Cloudflare trong tên gọi
- OrcaMỚIOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 66 tok/s
- openaiMỚIOpenAI: GPT-6.1 Sol2026-09-2952Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 159 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238Trí tuệ
- OpenAIOpenAI: GPT-6 Sol2026-09-2248Trí tuệ
- AnthropicAnthropic: Claude Opus 5.52026-09-2258Trí tuệ
- xAIGrok 4.72026-09-2146Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 trên 1 triệu token · 42 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 trên 1 triệu token · 478 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040Trí tuệ
- OpenAIOpenAI: GPT-6 Astra2026-09-0453Trí tuệ77Lập trình
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241Trí tuệ76Lập trình
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245Trí tuệ76Lập trình
- AnthropicAnthropic: Claude Fable 5.12026-09-0153Trí tuệ82Lập trình
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 trên 1 triệu token · 57 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 trên 1 triệu token · 198 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642Trí tuệ72Lập trình
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 trên 1 triệu token · 228 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845Trí tuệ75Lập trình
Cloudflare/clef-flash là một mô hình 9 tỷ tham số trả lời câu hỏi bằng xác suất thay vì câu văn. Bạn đưa cho nó một trạng thái — văn bản, JSON, một hình ảnh, một khung hình video — cùng một lược đồ gồm tối đa 64 câu hỏi có tên, và nó trả về một điểm cho mỗi tùy chọn được phép trong một lượt truyền xuôi duy nhất. Không có văn bản được sinh ra để phân tích cú pháp và không có dấu vết suy luận để đọc, vì hoàn toàn không có đường ra văn bản. Nó là nửa nhỏ hơn của một cặp: Cloudflare/clef là người anh em 27 tỷ tham số được phát hành cùng nó, và một thành viên thứ ba trong gia đình, Cloudflare/clef-omni, bổ sung đầu vào âm thanh trên một xương sống hỗn hợp chuyên gia 30B. Cả ba đều đến từ chính Cloudflare, đó là chi tiết đáng được nắm thật chính xác nhất, bởi vì một độc giả đến từ tìm kiếm tên mô hình này thường đến với một trong hai giả định — rằng Cloudflare/clef-flash là một bản sao do Cloudflare lưu trữ của mô hình của người khác, hoặc rằng Cloudflare chỉ đơn thuần là bên lưu trữ — và cả hai đều sai theo cùng một hướng.
Clef-Flash là gì và không phải là gì
Mô tả một dòng của chính nhà cung cấp, được lặp lại trên cả thẻ mô hình Hugging Face lẫn trang mô hình Workers AI, là nó "biến một trạng thái và một lược đồ gồm các câu hỏi có kiểu thành những quyết định." Đó là một khẳng định hẹp hơn vẻ ngoài của nó, và đáng để mổ xẻ trước bất kỳ bài benchmark nào.
Mỗi câu hỏi trong schema của bạn khai báo một trong ba loại:
• noulmột đánh giá có/không trả về xác suất câu trả lời là đúng, kèm theo mô tả tùy chọn về ý nghĩa của "có" và "không" trong ngữ cảnh của câu hỏi này.
• choice — một tập tùy chọn được đặt tên gồm từ 2 đến 255 mục, trả về tùy chọn thắng cuộc, xác suất cho mỗi tùy chọn và một độ tin cậy.
• score — một thang đánh giá có thứ tự từ 2 đến 10 mức, trả về một mức được gia trọng theo xác suất và có thể nằm giữa các mức, một chú giải ánh xạ chỉ số sang phần mô tả, xác suất theo từng mức, và một độ tin cậy.
Một yêu cầu mang từ 1 đến 64 câu hỏi, và câu trả lời quay về trong một answers object được đánh khóa theo id câu hỏi của bạn. Mọi lựa chọn trong mọi câu hỏi đều được chấm điểm trong cùng một lượt, vì vậy chi phí của một lược đồ mười hai câu hỏi không phải là mười hai lệnh gọi — mà chỉ là một. Thứ bạn nhận được ở đầu bên kia là một phân phối, không phải một câu, và mã của bạn áp ngưỡng lên nó.
Có hai điều rút ra mà người đọc đang đối chiếu điều này với một mô hình trò chuyện nên thấm nhuần. Thứ nhất, không có dạng lỗi nào mà ở đó mô hình viết ra một lời giải thích rồi sau đó bạn phải phân tích, bởi vì văn xuôi là thứ không thể tiếp cận được. Thứ hai, và kém thoải mái hơn: nếu câu trả lời đúng không nằm trong tập lựa chọn của bạn, Clef-Flash không có cơ chế nào để nói với bạn. Nó chấm điểm những lựa chọn bạn đã viết. Không có gì trong lược đồ yêu cầu đã công bố có một mục “không có cái nào trong số này” trừ khi chính bạn đặt một mục như vậy vào đó.
Cloudflare trong tên: ba vai trò, một công ty
Mọi người tìm kiếm mô hình này với Cloudflare gắn kèm theo — cloudflare/clef-flash, và cloudflare clef flash bằng những từ ngữ thông thường. Tiền tố này đáng để viết rõ ra, vì nó chỉ đến ba lớp riêng biệt và chỉ một trong số đó đảm nhiệm việc hosting.
• Tổ chức đã huấn luyện nó. Clef-Flash là một mô hình của Cloudflare. Bài đăng thông báo của Cloudflare, "Introducing Clef: our open-source decision models, and new RL fine-tuning platform," công bố ngày 1 tháng 10 năm 2026, với tên tác giả Michelle Chen, Alex Reneau và Kevin Flansburg, mô tả đây là một bản phát hành do Cloudflare huấn luyện và cho biết các mô hình đã được "post-trained" nội bộ từ một mô hình nền open-weight ở thượng nguồn. Đây không phải là một checkpoint của bên thứ ba mà Cloudflare nhặt về.
• Không gian tên Hugging Face. Các trọng số nằm tại huggingface.co/Cloudflare/clef-flash. Đó là lý do chuỗi cloudflare/clef-flash lan truyền: nó là một đường dẫn kho chứa, cùng dạng như bất kỳ repo nào thuộc sở hữu tổ chức khác. Đây là lý do phổ biến nhất khiến hai từ này đi cùng nhau, và nó không phải là một tuyên bố về lưu trữ.
• Máy chủ suy luận, cũng chính là Cloudflare. ID mô hình được phục vụ là @cf/cloudflare/clef-flash, chạy qua Workers AI tại api.cloudflare.com/client/v4/accounts/<account_id>/ai/run/@cf/cloudflare/clef-flash. Vậy cách bố trí lưu trữ cần mô tả không phải là "một mô hình do Cloudflare lưu trữ" theo nghĩa trung lập của một danh sách niêm yết trên marketplace. Đó là nhà cung cấp tự phục vụ trọng số của chính mình trên nền tảng của chính mình.
Hệ quả thực tế là thế này: mô hình, việc cấp phép, điểm cuối API và hóa đơn đều quy về một công ty duy nhất, và một độc giả vốn giả định có một lớp hosting độc lập xen giữa thì không có nhà cung cấp thứ hai nào để dự phòng cho checkpoint này. Trọng số Apache-2.0 là lối thoát duy nhất khỏi tình trạng đó, và chúng là thật — sẽ bàn thêm ở phần dưới. Điều không đúng, theo như bất kỳ trang nhà cung cấp nào chúng tôi tìm được có nêu, là việc Clef-Flash được cung cấp qua bất kỳ nhà cung cấp suy luận nào khác. Tài liệu của chính Cloudflare không nêu tên nền tảng bên thứ ba nào, và chúng tôi cũng không tìm thấy nền tảng nào cung cấp nó.
Kích thước, kiến trúc và giấy phép
Các con số, từ chính kho lưu trữ mô hình và từ tài liệu của Cloudflare, đều cho thấy vào hôm nay:
• Tham số — 9.409.813.744 ở BF16, nên "9B" là làm tròn xuống, không phải phóng đại. Tháp thị giác cũng được tính vào tổng đó.
• Backbone — Qwen3.5-9B, được đóng băng trong quá trình hậu huấn luyện, bao gồm cả bộ mã hóa thị giác của nó, được lưu trữ dưới dạng safetensors phân mảnh tiêu chuẩn. Bốn phân mảnh, tổng cộng khoảng 18,8 GB trọng số.
• Phần đã được huấn luyện — một "joint schema head", một head transformer nhỏ nặng 243.5 MB, đọc các trạng thái ẩn cuối cùng của backbone, định tuyến bằng chứng từ trạng thái đến từng câu hỏi, và chấm điểm mọi lựa chọn của mọi câu hỏi một cách đồng thời. Một logit cho mỗi lựa chọn được phép; softmax theo từng câu hỏi sẽ cho bạn phân phối.
• Phương pháp huấn luyện, như Cloudflare mô tả — đầu định tuyến được tối ưu hóa song song với các adapter hạng thấp rank-256 trên một backbone đóng băng, với entropy chéo làm mượt nhãn cho tính hợp lệ của schema, kết hợp với mất mát Brier nhằm hiệu chỉnh xác suất, cùng một mục tiêu phụ mà Cloudflare gọi là Học tăng cường cho các Quyết định được Hiệu chỉnh.
• Giấy phép — Apache-2.0, "theo mô hình cơ sở", theo đúng lời ghi trên card. Việc sử dụng cho mục đích thương mại không bị giới hạn bởi giấy phép, và các trọng số không bị hạn chế truy cập: kho lưu trữ có thể tải xuống mà không cần yêu cầu quyền truy cập.
Hình dạng của thứ này — mọi thứ được huấn luyện đều nằm trong một head 243 MB gắn chặt vào một backbone đóng băng 18,8 GB — chính là lý do để xem mô tả kiến trúc này một cách nghiêm túc thay vì coi đó là chiêu tiếp thị. Mô hình không thể đã học thêm kiến thức mới về thế giới, vì các trọng số mang kiến thức chưa từng thay đổi. Điều nó học được là cách định tuyến bằng chứng thành một quyết định. Đó là một năng lực có thật và có giới hạn, và nó giải thích kiểu kết quả benchmark ở phần sau của trang này tốt hơn bất kỳ tuyên bố nào về độ chính xác.

Cửa sổ ngữ cảnh và giới hạn đầu ra
Đây là con số đã thay đổi, và nếu hôm nay bạn đang xác định kích thước cho một prompt, bạn nên đọc con số hiện tại thay vì bất kỳ con số nào đang lưu hành từ thời điểm ra mắt.
Trang mô hình Workers AI của Cloudflare dành cho @cf/cloudflare/clef-flash, được đọc vào ngày 12 tháng 10 năm 2026, ghi cửa sổ ngữ cảnh là 24,576 token. Bài đăng thông báo ngày 1 tháng 10 lại nói điều khác — "mô hình của chúng tôi có cửa sổ ngữ cảnh 64k (so với 32k của Jev)" — và trình trợ giúp encode_record trên chính thẻ Hugging Face mặc định là max_length=16,384. Để so sánh, trang Workers AI dành cho clef 27B đưa ra 65,536 token và trang dành cho clef-omni đưa ra 64,000.
Cách hiểu trung thực là: tài liệu hiện tại của nhà cung cấp cho mô hình cụ thể này ghi 24,576, còn bài đăng công bố ra mắt nói 64k. Đó là hai nguồn của chính nhà cung cấp mâu thuẫn với nhau, và chỉ một trong số đó là trang mà nhà phát triển tích hợp dựa vào. Nếu bạn xây dựng một prompt theo ngân sách 64K dựa trên thông báo, thì mức trần được ghi trong tài liệu hiện chỉ còn khoảng một phần ba con số đó. Hãy kiểm tra trước khi bạn gửi.
Đầu vào phương tiện được tính phí và tính vào cùng ngân sách đó, và đây chính là chi tiết gây đau đầu nhất. Hình ảnh được token hóa theo từng ô 32×32 pixel, với ba token đánh dấu, và mỗi hình ảnh bị giới hạn ở 1.024 token; hình ảnh vượt quá khoảng một megapixel sẽ được thu nhỏ, còn hình ảnh dưới khoảng 65.000 pixel sẽ được phóng to. Nếu token phương tiện cộng với token câu hỏi của bạn vượt quá cửa sổ, yêu cầu sẽ thất bại hoàn toàn. Nếu không vượt quá, văn bản state sẽ bị cắt bớt để vừa với phần còn lại — một cách âm thầm, từ phía cuối, mà không hề báo lỗi. Một schema vừa vặn vào ngày thường sẽ âm thầm mất đi một phần state của nó vào một ngày có nhiều tài liệu.
Đầu ra tối đa không được công bố.Trang mô hình của Cloudflare chỉ nêu rằng "các mô hình Clef không tính phí token đầu ra", và lược đồ phản hồi có một trường usage.output_tokens không có giới hạn nào được tài liệu hóa. Đó không phải là một thiếu sót để che lấp bằng phỏng đoán: một bộ chấm điểm phi tự hồi quy không có ngân sách giải mã theo nghĩa mà một mô hình tự hồi quy có, và nhà cung cấp không tài liệu hóa giới hạn nào, nên không có giới hạn nào để dẫn ra. Nếu bạn cần một con số, thứ cần cân nhắc là số lựa chọn và số câu hỏi của bạn, chứ không phải token đầu ra.
Các phương thức đầu vào, và những gì được trả về
Mô tả của nhà cung cấp và lược đồ yêu cầu thống nhất ở phía đầu vào và hơi khác nhau ở một điểm, nên đây là chỗ khác biệt.
• Đầu vào, theo thẻ mô hình — văn bản, JSON hoặc dữ liệu có cấu trúc ở bất kỳ dạng nào, hình ảnh và mảng khung hình video. Các bản ghi chỉ văn bản và đa phương thức có thể được trộn trong một lô, và các tham số phương tiện được truyền đến bộ xử lý thông qua một trường tùy chọn media_kwargs.
• Đầu vào, theo lược đồ yêu cầu của Ware AI — danh sách tham số được tài liệu hóa đưa ra một mảng images và không có tham số video, tối đa 4 hình ảnh, 4 MiB và 16 megapixel mỗi hình ảnh, tổng 8 MiB đã giải mã, và giới hạn 13 MiB cho toàn bộ phần thân yêu cầu. Chỉ chấp nhận byte nhúng: URL từ xa không được chấp nhận.
• Đầu ra — xác suất trên những gì bạn đã định nghĩa, trong answers object, theo một trong ba dạng tùy thuộc vào loại câu hỏi. Không có văn bản tự do, không có markdown, không có lệnh gọi công cụ.
Hãy hiểu sự khác biệt đó như một sự phân biệt về bề mặt hosting chứ không phải là một mâu thuẫn. Checkpoint ghi lại các khung hình video; endpoint Workers AI mà bạn gọi qua HTTP ghi lại hình ảnh. Nếu video là một phần trong kế hoạch của bạn, con đường để kiểm tra là con đường tự host.
Những gì Cloudflare tuyên bố và những gì đã thực sự được đo lường
Mọi con số trong phần này đều đến từ Cloudflare, và Cloudflare đã vận hành toàn bộ chúng. Đó là câu quan trọng nhất trên trang này, vì vậy thật đáng để nói cụ thể về bộ máy.
Bộ benchmark là Decision Index 0.2.1. Thẻ mô hình mô tả các kết quả là “lần chạy nội bộ của chúng tôi”, và bảng xếp hạng công khai mà nó liên kết được lưu trữ tại một địa chỉ do Cloudflare vận hành. Mô hình đối chiếu xuyên suốt là Jev của TypeSafe, còn các số liệu quy trình công việc kinh doanh đầu cuối đến từ Typesafe Evals. Vậy nên đây là cảnh một nhà cung cấp tự đo mô hình của chính mình, trên một chỉ số được đặt tên theo đối thủ mà nó được đo lường đối chiếu, rồi tự công bố kết quả. Không có đánh giá độc lập nào về Clef-Flash. Kiểm tra hôm nay: Artificial Analysis không có trang mô hình nào cho nó, và bảng xếp hạng văn bản của LMArena không liệt kê bất kỳ mô hình nào được gắn nhãn Cloudflare. Khi một nhà cung cấp không công bố điểm số từ bên thứ ba, việc nói rõ điều đó chính là phát hiện.
Với nhãn đó được gắn vào, các kết quả mang dạng quyết định thực sự rất mạnh: BFCL case-exact 98.8, độ chính xác API-Bank 93.1, macro-F1 ContractNLI 84.3, RouterBench 79.9, FinEntity 97.1, và case-exact của trình mô phỏng thiết bị gia dụng là 97.7 — cái cuối cùng trong số đó cao hơn mười bốn điểm so với Clef 27B lớn hơn ở cùng hàng. Các hàng kiến thức tổng quát cũng vững vàng: MMLU 91.8, ARC-Easy 99.5, ARC-Challenge 98.3, WinoGrande 97.5, HellaSwag 98.6, CLadder 97.7, và Brier ForecastBench là 10.6, con số này là tốt nhất trong cột của nó và là loại số hiệu chuẩn mà một mô hình tạo xác suất nên được đánh giá.
Các mức thua kém thuộc cùng một đoạn, và chúng có một hình dạng. Trên CLINC150 với xử lý ngoài phạm vi, Clef-Flash đạt 66,8 macro-F1 so với 97,4 của Clef 27B và 89,3 của Jev. Trên ANLI, nó đạt 59,1 so với 74,8 của Jev. When2Call 65,6 so với 81,0. GPQA Diamond 51,0 so với 78,3. RAGTruth 35,6 so với 76,5. Và trên POP909-CL, một benchmark gán nhãn hợp âm, nó trả về 1,6.
Điểm 66,8 ở phát hiện ý định ngoài phạm vi, nằm cạnh điểm 97,7 ở điều khiển thiết bị gia dụng, không phải là một đường cong năng lực mượt mà. Đó là chân dung của một bộ chấm điểm rất giỏi ở những dạng phân loại mà nó đã được hậu huấn luyện và yếu hơn nhiều ở việc từ chối phân loại khi câu trả lời đúng là "không có cái nào trong số này" — mà, trớ trêu thay, lại chính là phán đoán mà một lớp định tuyến hoặc một pipeline sàng lọc cần nhất. Điểm 1,6 ở gán nhãn hợp âm hoặc là do lệch định dạng hoặc là một thất bại thực sự, và thẻ không phân biệt được.
Kết quả quy trình công việc, từ Typesafe Evals, có sự pha trộn nhiều hơn so với các hàng nổi bật: xử lý hóa đơn với hành động chính xác 57,1 so với 64,7 của Clef và 61,8 của Jev; dịch vụ khách hàng với hành động chính xác 77,0, vượt qua cả hai; sự cố bảo mật 61,7; khả năng quan sát dấu vết agent 69,8. Mô hình anh em 27B thắng bảng quy trình công việc ở ba trong số năm hàng.

Độ trễ là nơi mô hình khẳng định đúng tên gọi của mình, và lưu ý tương tự cũng được áp dụng. Độ trễ yêu cầu trung vị là 38,8 ms và p95 là 122,4 ms, do Cloudflare đo trên hạ tầng Cloudflare, so với 209,3 / 238,6 của Clef 27B. Số mili giây tuyệt đối từ phần cứng của chính nhà cung cấp không phải là giới hạn trên của bất cứ điều gì, cũng chẳng là giới hạn dưới của bất cứ điều gì; thứ tự mới là điều được khẳng định, và thứ tự đó — nhanh hơn khoảng năm lần so với người anh em lớn hơn của chính nó — chính là kiến trúc đang làm đúng như những gì nó nói.
Cách một người đọc thực sự gọi nó
Tồn tại hai lộ trình, và chúng thực sự là những cam kết khác nhau.
Tuyến được lưu trữ. Gọi nó trên Workers AI dưới dạng @cf/cloudflare/clef-flash, từ bên trong một Worker thông qua binding env.AI.run(), hoặc qua REST tại endpoint Cloudflare API với bearer token. Các trường bắt buộc là model, state và questions; bộ chọn model phải khớp với mẫu ^\s*(clef|clef-flash)\s*$, đây là cách phân biệt các biến thể 27B và 9B trên cùng một endpoint. Giá trên trang mô hình Workers AI và trang giá Workers AI là $0.038 mỗi triệu token đầu vào, với media được token hoá thành token đầu vào ở cùng mức giá và không tính phí cho token đầu ra.
Con đường tự triển khai. Các trọng số thuộc Apache-2.0 và không bị hạn chế quyền truy cập, nên bạn có thể tự chạy chúng. Thẻ này ghi lại một lộ trình tham chiếu gồm torch 2.11 và transformers 5.10.2 trên một H200 duy nhất, với pillow cho đầu vào hình ảnh và video, đồng thời trỏ đến một cookbook SGLang để biết các lệnh khởi chạy trên H200, B200 và B300. Khi được phục vụ theo cách đó, mô hình trả lời tại /v1/systemone.
Con đường đó không phải là chuyện ngẫu nhiên, bởi vì đó chính là lý do mô hình này đáng để hiểu chứ không chỉ để dùng. Theo lời ghi trên card, Clef-Flash "hoàn toàn tương thích với Jev và SystemOne": nó nhận một request body của Jev/SystemOne và trả về đúng response body như vậy — model, answers được khóa theo question id, usage. Tính tương thích này được chủ đích đến mức một commit sau đó vào repository bổ sung hẳn systemone làm entry point một cách tường minh. Nếu pipeline của bạn đã hỏi một mô hình ra quyết định theo đúng dạng đó, thì việc thay thế bằng mô hình này chỉ là một chuỗi model và một URL, chứ không phải một cuộc migration. Đó là một sự giảm thiểu thực sự về chi phí chuyển đổi, và đó là sự thật kiến trúc duy nhất ở đây làm thay đổi điều mà người đọc có thể làm.

Một lưu ý về định tuyến, được nêu như một sự thật chứ không phải lời chào hàng: OrcaRouter không cung cấp Cloudflare/clef-flash. Chúng tôi đã kiểm tra danh mục trực tiếp của mình hôm nay và nó không có ở đó, và không có nội dung nào trên trang này nên được hiểu là một tuyên bố rằng nó có. Điều mà danh mục của chúng tôi thực sự có là mô hình mà Clef-Flash được tạo ra để thay thế trực tiếp — Jev 1.13 của TypeSafe có trong danh mục của chúng tôi với giá $0,042 cho mỗi triệu token đầu vào trên bảng giá của nó (huy hiệu thông tin nhanh của trang làm tròn thành $0,04), với ngữ cảnh 65K token và cùng POST /v1/systemone loại endpoint. Bởi vì cả hai dùng chung một định dạng truyền, việc hoán đổi giữa chúng là một thay đổi cấu hình chứ không phải viết lại, và đó chính là lý do nên giữ cả hai có thể truy cập từ một khóa thay vì cam kết kiến trúc cho mô hình nào ra mắt trước. OrcaRouter vận hành theo giá niêm yết của nhà cung cấp được chuyển nguyên không qua đánh dấu giá, vì vậy khi một trong hai nhà cung cấp thay đổi giá thì phía chúng tôi cập nhật ngay trong cùng ngày.
Còn gì vẫn đang mở
Ba điều, theo thứ tự mà chúng sẽ thay đổi cục diện.
Một người bên ngoài Cloudflare cần tái lập đồng thời các ô out-of-scope và home-appliance của CLINC150, vì chúng chỉ về hai hướng trái ngược nhau và lần chạy đã công bố không đưa ra cơ chế nào cho cả hai. Nếu con số 66.8 vẫn giữ vững dưới kiểm thử độc lập, thì đó là sự thật quan trọng nhất về mặt vận hành liên quan đến Clef-Flash, và nó không nằm trong danh sách điểm mạnh của thông báo.
Cửa sổ ngữ cảnh cần một con số duy nhất đã được thống nhất từ phía nhà cung cấp. Hiện tại, trang tài liệu của chính mô hình ghi 24.576 token, bài đăng ra mắt ghi 64k, và trình trợ giúp mã hóa đi kèm mặc định là 16.384. Bất kỳ ai đang tính kích thước cho một prompt sản xuất đều phải chọn tin vào một trong ba tuyên bố của nhà cung cấp.
Và hạng mục này cần được tiếp xúc với các khối lượng công việc thực tế ở quy mô sản xuất. Cách đặt vấn đề của Cloudflare là các mô hình ra quyết định nằm ngay trên đường xử lý nóng — một ví dụ phân loại miền trong bài viết của họ có Clef đưa ra phán quyết trong 2,2 giây so với 4,7 giây của một mô hình đa dụng cho cùng công việc. Đó là một tuyên bố cụ thể và có thể kiểm chứng về một quy trình làm việc cụ thể, và nó sẽ được định đoạt bởi những người chạy nó, chứ không phải bởi một bảng biểu.
