Beam 1.0 กับ Clef Flash: ตัวหนึ่งเขียนโค้ด อีกตัวหนึ่งเขียนประโยคไม่ได้

วาง Beam 1.0 และ Clef Flash ไว้เคียงข้างกัน แล้วการเปรียบเทียบนี้ดูไร้สาระไปเลย จนกระทั่งคุณสังเกตว่าจริง ๆ แล้วมัน是关于อะไรกันแน่ Beam 1.0 เป็นโมเดล mixture-of-experts ขนาด 501.3 พันล้านพารามิเตอร์ของ Reflection เปิดตัวพร้อมน้ำหนักภายใต้ Apache 2.0 เมื่อวันที่ 16 ตุลาคม 2026 และสร้างขึ้นสำหรับงานเขียนโค้ด การให้เหตุผล และงานเอเจนต์ระยะยาว โดยอ่านข้อความและเขียนข้อความ Clef Flash ของ Cloudflare เป็นโมเดลขนาด 9 พันล้านพารามิเตอร์ที่ไม่มีช่องทางส่งออกข้อความเลย — ไม่ใช่แบบที่คุณภาพลดลง แต่ไม่มีเลย มันรับสถานะหนึ่งบวกกับสคีมาของคำถามที่มีการกำกับชนิด และคืนค่าความน่าจะเป็นสำหรับทุกคำตอบที่อนุญาต หน้าเว็บใดก็ตามที่จัดอันดับสองตัวนี้เทียบกันด้วยคะแนน benchmark ย่อมเข้าใจผิดทั้งคู่ คำถามที่มีประโยชน์คือแต่ละตัวอยู่ในตำแหน่งใดในไปป์ไลน์ เพราะในระบบที่สร้างมาอย่างดี ทั้งสองไม่ได้เป็นคู่แข่งกัน แต่เป็นขั้นตอนที่อยู่ติดกัน

การอยู่ติดกันตรงนั้นเป็นสิ่งที่ควรทำความเข้าใจอย่างแม่นยำ เพราะมันอธิบายความล้มเหลวประเภทหนึ่งในการใช้งานจริงที่ไม่มี benchmark ของโมเดลเดี่ยวตัวใดเปิดเผยให้เห็น: parser ที่คุณต่อพ่วงเข้ากับโมเดลแชตเพราะมันเป็นสิ่งเดียวที่คุณมี และคำตอบที่ห้าสิบเอ็ดจากหนึ่งร้อยคำตอบที่ไม่ตรงกับสคีมาของคุณ

สิ่งที่แต่ละโมเดลส่งคืนมาจริง ๆ

เริ่มจากรูปร่างของผลลัพธ์ เพราะทุกสิ่งอื่นล้วนตามมาจากมัน

• Beam 1.0 — ข้อความรูปแบบอิสระ พร้อมการให้เหตุผลแบบบังคับ ระดับ effort ที่รองรับได้แก่ low, medium, high, xhigh และ max โดยค่าเริ่มต้นคือ max ดังนั้นการตั้งค่าเริ่มต้นจากโรงงานจึงใช้เวลาคิดนานที่สุด รองรับทั้งการให้เหตุผล การเรียกใช้เครื่องมือ และเอาต์พุตแบบมีโครงสร้าง และเอาต์พุตแบบมีโครงสร้างพร้อม JSON schema ถือเป็นสิ่งที่ Beam ทำได้ใกล้เคียงที่สุดกับการคืนค่าแบบมีข้อจำกัด

• Clef Flash — การแจกแจงบนชุดคำตอบที่ประกาศไว้ เอกสารของ Cloudflare อธิบายถึง forward pass ที่ให้คะแนนแต่ละตัวเลือกที่อนุญาต จึงไม่มีขั้นตอนการสร้าง และดังนั้นจึงไม่มีขั้นตอนการแยกวิเคราะห์ การวางกรอบของเจ้าของผลิตภัณฑ์เองก็คือว่านี่เป็นโมเดลการตัดสินใจ และผลิตภัณฑ์ชิ้นที่สองในการเปิดตัวครั้งนั้นคือแพลตฟอร์มปรับแต่งละเอียดด้วยการเรียนรู้แบบเสริมกำลังสำหรับสร้างโมเดลแบบนี้เพิ่มเติม

ความแตกต่างในทางปฏิบัติคือสิ่งที่เกิดขึ้นเมื่ออินพุตอยู่นอกขอบเขต โมเดลข้อความที่ถูกถามเรื่องที่อยู่นอกความสามารถของมันจะสร้างข้อความที่ดูมั่นใจ และระบบของคุณต้องสังเกตให้ได้ Clef Flash จะสร้างความน่าจะเป็นที่รวมกันเป็นหนึ่งทั่วตัวเลือกที่คุณให้ไป ซึ่งหมายความว่าอินพุตที่อยู่นอกขอบเขตจะปรากฏเป็นการกระจายแบบแบนราบแทนที่จะเป็นประโยคที่ดูสมเหตุสมผล — โดยมีเงื่อนไขว่าคุณสร้างเกณฑ์สำหรับเรื่องนี้ขึ้นมา ซึ่งผู้ขายไม่ได้จัดหาให้ ตารางที่ Cloudflare เผยแพร่เองแสดงให้เห็นว่าเคสนั้นเป็นเซลล์ที่อ่อนแอที่สุดของโมเดล

การประเมินไม่ทับซ้อนกัน และนั่นคือข้อค้นพบ

คะแนนของ Clef Flash มาจาก Jev Decision Index และชุดทดสอบเฉพาะการตัดสินใจหลายชุด ซึ่งทั้งหมดรันโดย Cloudflare และหลายชุดรันเทียบกับเบนช์มาร์กของคู่แข่งเอง — Jev เผยแพร่โดย TypeSafe ผู้จำหน่ายโมเดลที่ Clef Flash ถูกนำไปวัดเทียบด้วย ในชุดทดสอบเหล่านั้น ตัวเลขออกมาแข็งแกร่ง: BFCL case-exact 98.8, API-Bank 93.1, การจำลองเครื่องใช้ในบ้านที่ 97.7, ContractNLI macro-F1 84.3, RouterBench 79.9 Clef Flash เฉือนชนะ Clef ขนาด 27B ที่ใหญ่กว่าใน BFCL, API-Bank และชุดเครื่องใช้ในบ้าน โดยชุดหลังชนะอยู่สิบสี่พอยต์ ยังไม่มีส่วนใดถูกทำซ้ำโดยอิสระ

ระบบการประเมินของ Beam แตกต่างในเชิงประเภท การ์ดโมเดลของ Reflection รายงานเบนช์มาร์กด้านเอเจนต์และวิศวกรรมซอฟต์แวร์ — SWEBench Verified 81.6, Terminal Bench v2.1 80.1, DeepSWE v1.1 43.3, GPQA Diamond 90.6 บนเช็กพอยต์ BF16 — ทั้งหมดเป็นข้อมูลที่ผู้ขายรายงานเอง ตัวเลขจากภายนอกเพียงตัวเดียวคือ Artificial Analysis ซึ่งจัด Beam 1.0 ไว้ที่ Intelligence Index 30 เป็นอันดับที่ 19 จาก 120 โมเดลบนดัชนีเวอร์ชัน v4.3.2 และไม่บันทึกราคาและความเร็ว เพราะยังคงเห็นว่า "No publicly available API" สำหรับโมเดลนี้ ไม่มีสิ่งใดในคอลัมน์ของ Clef Flash ที่เทียบได้กับ Intelligence Index และไม่มีสิ่งใดในคอลัมน์ของ Beam ที่เทียบได้กับคะแนนเราเตอร์แบบ case-exact ทั้งสองไม่ได้อยู่บนแกนเดียวกัน

สิ่งที่คุณสามารถเปรียบเทียบได้คือโครงสร้างต้นทุน และในจุดนี้ทั้งสองอยู่ที่ขั้วตรงข้ามกัน Cloudflare ให้บริการ Clef Flash บน Workers AI ในราคา $0.038 ต่อล้านโทเค็นอินพุต โดยโทเค็นเอาต์พุตคิดค่าบริการเป็นศูนย์ เพราะไม่มีเลย — ประมาณหนึ่งในหกของ $0.24 ที่ตารางราคาเดียวกันเรียกเก็บสำหรับ Clef 27B ที่ใหญ่กว่า และต่ำกว่า $0.042 ที่เราเรียกเก็บสำหรับโมเดลตัดสินใจที่ตอบสนองรูปแบบคำขอเดียวกัน Beam 1.0 ไม่มีราคาต่อล้านโทเค็นที่เผยแพร่เลย — เอกสารของ Reflection มีหน้าแสดงขีดจำกัดอัตราเต็มรูปแบบและไม่มีตารางราคา การโฮสต์เองเป็นเส้นทางที่มีราคาเพียงเส้นทางเดียว และเริ่มต้นที่ NVIDIA B300 GPU สี่ตัว

ว่าแต่ละอันควรอยู่ตรงไหนในระบบจริง

คำตอบที่ตรงไปตรงมาคือ Clef Flash เข้ามาแทนขั้นตอนที่คุณอาจกำลังทำได้ไม่ดี และ Beam 1.0 เข้ามาแทนขั้นตอนที่คุณอาจกำลังทำด้วยต้นทุนที่แพงเกินไป

เป้าหมายของ Clef Flash คือการจำแนกประเภท การกำหนดเส้นทาง การเกต และการคัดแยกภายในลูปของเอเจนต์ — ทุกที่ที่ผลลัพธ์ที่ถูกต้องเป็นหนึ่งในชุดป้ายกำกับที่รู้จัก และต้นทุนของคำตอบที่ผิดรูปแบบคือข้อยกเว้นปลายทาง โปรไฟล์ความหน่วงที่เผยแพร่ของมัน ซึ่งอยู่ที่ประมาณ 38.8 มิลลิวินาทีที่ค่ามัธยฐาน และ 122.4 มิลลิวินาทีที่ p95 คือส่วนที่สำคัญ ณ จุดนั้น เพราะมันถูกวัดในสภาวะที่ไม่ได้ใช้เวลาถึงโทเคนแรกของโมเดลข้อความ

เป้าหมายของ Beam 1.0 คือตัวงานเอง: การแก้ไข issue บน GitHub, การทำงานใน CLI, การรันเวิร์กโฟลว์เครื่องมือหลายขั้นตอน ข้อโต้แย้งที่ Reflection นำเสนอคือประสิทธิภาพของโทเค็นมากกว่าความสามารถสูงสุด — การ์ดโมเดลอ้างว่าคุณภาพโซลูชันเทียบเท่ากับโมเดลเปิดชั้นนำโดยใช้โทเค็นการให้เหตุผลในเวลาอนุมานน้อยลงประมาณสามเท่า และหลักฐานสนับสนุนที่แข็งแกร่งที่สุดสำหรับเรื่องนี้คือ Artificial Analysis ที่บันทึกโทเค็นเอาต์พุต 79M สำหรับ Beam ทั่วทั้ง Intelligence Index เทียบกับค่ามัธยฐาน 130M ซึ่งเป็นอันดับที่สิบจากสี่สิบหกในการวัดนั้น ในการรันเอเจนต์แบบยาวที่ทุกเทิร์นเล่นซ้ำบทสนทนาก่อนหน้า นั่นคือรายการที่ทบต้น

ทั้งสองไม่ได้อยู่ในแคตตาล็อกของเรา และเราจะไม่สื่อเป็นอย่างอื่น Clef Flash ทำงานบน GPU ที่ edge ของ Cloudflare เอง และ weights ภายใต้ Apache-2.0 นั้นเป็นของคุณสำหรับโฮสต์เอง ส่วน weights ของ Beam 1.0 อยู่บน Hugging Face ภายใต้ Apache 2.0 พร้อม API แบบ first-party ที่ยังไม่มีการประกาศราคา

เหตุผลที่ต้องทำให้ทั้งคู่ยังคงเข้าถึงได้

ไปป์ไลน์ที่ใช้โมเดลตัดสินใจที่ด่าน และมีโมเดลให้เหตุผลอยู่เบื้องหลัง เป็นสถาปัตยกรรมที่ดีกว่าอย่างชัดเจนกว่าไปป์ไลน์ที่ใช้โมเดลแชตตัวเดียวสำหรับทั้งสองส่วน และต้นทุนของการสร้างแบบนั้นคือต้นทุนการดำเนินงานของการพึ่งพาที่สอง — สัญญาที่สอง ชุดคีย์ชุดที่สอง โหมดความล้มเหลวที่สอง นั่นคือส่วนที่เราเตอร์เข้ามาเอาออกไป ไม่ใช่ส่วนของโมเดล

หากขั้นตอนเกตในระบบของคุณเป็นขั้นตอนที่ Clef Flash อธิบายไว้ ตัวเทียบเคียงที่ใกล้เคียงที่สุดซึ่งถูกจัดเส้นทางไว้แล้วคือ Jev 1.13 ของ TypeSafe — โมเดลที่ Cloudflare เลือกให้เป็นคู่เทียบมาตรฐาน รองรับ API ที่เข้ากันได้กับรูปแบบคำขอของ Clef Flash และในแค็ตตาล็อกของเราในราคา $0.042 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น โดยคิดค่าบริการเอาต์พุตเป็นศูนย์ และบริบทขนาด 65,536 โทเค็น.

สำหรับขั้นตอนการให้เหตุผลที่อยู่เบื้องหลังเกต แคตตาล็อกของเรามีโมเดลที่ใช้เทียบสเปกกับ Beam: GLM-5.2 ราคา $1.40 และ $4.40 ต่อล้านโทเคน พร้อมหน้าต่าง 1,000,000 โทเคน ส่วน Kimi K3 ราคา $3.00 และ $15.00 พร้อม 1,048,576 และ Qwen3.8-Max ราคา $2.00 และ $6.00 คีย์ที่เข้ากันได้กับ OpenAI เพียงคีย์เดียวครอบคลุมทั้งหมดนี้ ราคาตามรายการของผู้ให้บริการส่งผ่านตรง ๆ โดยไม่มีค่าใช้จ่ายใด ๆ เพิ่มเติม และการสลับไปใช้ตัวสำรองอัตโนมัติหมายความว่าขั้นตอนเกตจะไม่ดับไปเพียงเพราะผู้ให้บริการรายหนึ่งมีช่วงนาทีที่ขัดข้อง

คุณยังสามารถแยกสองสเตจไปใช้โมเดลคนละตัวได้โดยไม่ต้องผูกมัดกับตัวใดตัวหนึ่ง: กฎการจัดเส้นทางที่ส่งทราฟฟิกการจำแนกสคีมาไปยังเอนด์พอยต์สำหรับการตัดสินใจ และส่งงานข้อความอิสระไปยังโมเดลสำหรับการให้เหตุผล เป็นกรณีปกติของ routing DSL และหมายความว่าความแม่นยำของสเตจการตัดสินใจกับต้นทุนของสเตจการให้เหตุผลสามารถปรับแต่งแยกจากกันได้ แทนที่จะต้องแลกกันภายในจำนวนพารามิเตอร์ของโมเดลเดียว

อันไหนที่คุณกำลังจะซื้อจริง ๆ

ถ้าคุณมาที่นี่เพราะเอเจนต์ของคุณบางครั้งส่ง JSON blob ที่ตัวแยกวิเคราะห์ของคุณปฏิเสธ คุณไม่ได้ต้องการโมเดลขนาด 501 พันล้านพารามิเตอร์ คุณต้องการโมเดลการตัดสินใจ และคำถามที่ควรถามคือชุดคำตอบของคุณสามารถแจกแจงได้จริงหรือไม่ และนโยบายการงดตอบของคุณคืออะไร — เพราะ Clef Flash ให้ความน่าจะเป็นแก่คุณ ไม่ใช่การปฏิเสธ

หากคุณมาที่นี่เพราะบิลของเอเจนต์เขียนโค้ดของคุณถูกครอบงำด้วยโทเคนการให้เหตุผลที่คุณมองไม่เห็น คุณไม่ได้ต้องการตัวจำแนกประเภทขนาด 9 พันล้านพารามิเตอร์ คุณต้องการ Beam 1.0 หรือหนึ่งในโมเดลที่มันถูกนำไปวัดเปรียบเทียบด้วย และคำถามที่ควรถามคือคุณสามารถโฮสต์มันได้หรือไม่ หรือคุณกำลังรอใบอัตราค่าบริการที่ยังไม่ได้เผยแพร่

สิ่งเดียวที่การวางกรอบแบบเผชิญหน้าโดยตรงทำได้ถูกต้อง คือทั้งสองต่างเป็นการเดิมพันบนสมมติฐานเดียวกันจากปลายคนละด้าน: ว่าส่วนที่แพงของเอเจนต์ไม่ใช่คำตอบ แต่คือทุกสิ่งรอบๆ คำตอบนั้น คำตอบของ Cloudflare คือการตัดการสร้างออกจากขั้นตอนที่ไม่เคยจำเป็นต้องใช้มันเลย คำตอบของ Reflection คือการทำให้การสร้างถูกลงต่อโทเคนของการคิด เมื่อนำไปใช้งานร่วมกัน ทั้งสองมีต้นทุนต่ำกว่าเมื่อใช้อย่างใดอย่างหนึ่งเพียงลำพัง ซึ่งเป็นผลลัพธ์ที่ดีกว่าที่ตารางเปรียบเทียบสมรรถนะของทั้งสองเจ้าจะบอกคุณได้

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง