
DaisyRose 27B: 18 วันแห่ง RL โดยไม่มีการปรับแต่งแบบมีผู้สอน
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 187 tok/s
- openaiใหม่OpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- openaiใหม่OpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 152 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 194 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 86 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 705 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 246 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 97 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 138 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 85 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 102 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 70 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 ต่อ 1 ล้านโทเค็น · 35 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 38 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 231 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 101 tok/s
DaisyRose 27B จาก RadixArk เป็น post-train ของ Qwen3.8-27B ที่สร้างด้วย reinforcement learning เท่านั้น — ไม่มีรอบ supervised fine-tuning ไม่มีการ distillation จากครูที่ใหญ่กว่า — และแถวผล benchmark สองแถวที่อธิบายได้ดีที่สุดว่าสิ่งนั้นให้อะไร อยู่ห่างกันสี่บรรทัดบน model card ของโมเดลเอง บน Terminal Bench 4.1 โมเดลเพิ่มจาก 5.6 เป็น 12.0 เมื่อเทียบกับ base มากกว่าสองเท่า บน DeepSWE v1.1 เพิ่มจาก 42.2 เป็น 46.2 ได้เพิ่มสี่จุด แถวหนึ่งบอกว่าสูตรนี้สอนโมเดลในสิ่งที่มันทำไม่ได้เลย อีกแถวบอกว่าส่วนใหญ่ของสิ่งที่มันทำได้อยู่แล้ว มันทำได้พอ ๆ กับก่อนหน้า RadixArk เผยแพร่ weights และสูตรเมื่อวันที่ 18 พฤศจิกายน 2026 ภายใต้ Apache 2.0 และการอ่านอย่างตรงไปตรงมาของการเปิดตัวนี้คือทั้งสองแถวเป็นความจริงพร้อมกัน
นี่คือการเปิดตัว และเป็นการเปิดตัวที่เพิ่งเกิดขึ้นไม่นาน — โพสต์บล็อกและการ์ดบน Hugging Face มีอายุได้สามวัน ณ เวลาที่เขียน ต่อไปนี้คือสิ่งที่ RadixArk อ้าง ส่วนใดของข้ออ้างนั้นที่ตรวจสอบได้ในวันนี้ และตัวเลขเหล่านั้นมาจากไหน
สิ่งที่ได้รับการฝึกฝนจริง ๆ แล้วคืออะไร
โมเดลฐานคือ Qwen3.8-27B โดยสถาปัตยกรรมไม่เปลี่ยนแปลง: โทเค็นไนเซอร์เดิม เทมเพลตแชตเดิม วิสชันทาวเวอร์เดิม และบริบท 262,144 โทเค็นเดิม RadixArk อธิบายว่า DaisyRose 27B เป็นโมเดลทดแทนแบบใช้ได้ทันทีสำหรับฐานดังกล่าว ซึ่งเป็นข้อกล่าวอ้างเกี่ยวกับความเข้ากันได้มากกว่าคุณภาพ โดยพรอมป์ที่มีอยู่ อินพุตรูปภาพ และคอนฟิกการให้บริการสามารถนำมาใช้ต่อได้โดยไม่ต้องแก้ไข
• พารามิเตอร์ทั้งหมด — 27.8B โดย 0.46B เป็นตัวเข้ารหัสภาพ และ 0.42B เป็นหัวคาดการณ์หลายโทเคน
• สัญญาณการฝึก — ใช้เพียงการเรียนรู้แบบเสริมแรงเท่านั้น RadixArk ระบุว่าการรันนี้ไม่ใช้การปรับละเอียดแบบมีผู้สอน (supervised fine-tuning) และไม่ใช้การกลั่นความรู้ (distillation) ซึ่งเป็นเรื่องผิดปกติที่ขนาดนี้ งาน post-train แบบเปิดส่วนใหญ่ที่ขนาด 27B จะเริ่มจากการผ่าน SFT หนึ่งรอบ แล้วใช้ RL เพื่อทำให้คมขึ้น
• สภาพแวดล้อม — งานสำหรับเอเจนต์ระยะยาวที่คัดสรรแล้วประมาณ 1,200 งาน สร้างด้วย Eigent AI ออกแบบมาเพื่อเชื่อมโยงปัญหาหลายข้อเข้าด้วยกันและเพื่อต้านทานการแฮ็กผลตอบแทน เซสชันดำเนินไปได้นานถึงหนึ่งล้านโทเค็น ซึ่งเป็นตัวเลขที่อธิบายส่วนที่เหลือของการตั้งค่านี้: งานที่นานขนาดนั้นต้องมีแซนด์บ็อกซ์ที่คงอยู่เป็นเวลาหลายชั่วโมง
• การประมวลผล — 18 วันบน H200 จำนวน 144 ตัว แบ่งเป็น 128 ตัวสำหรับ inference และ 16 ตัวสำหรับ trainer โดยทำงานแบบ asynchronous อย่างเต็มรูปแบบ รวมประมาณ 63,000 GPU-hour trainer คือเฟรมเวิร์ก Miles
• แซนด์บ็อกซ์ — ประมาณ 944,000 รายการตลอดการรัน โดยมีจำนวนพร้อมกันสูงสุด 1,566 รายการ และมีอัตราความสำเร็จในการสร้างเกิน 99.95% ในช่วงปลายเดือนตุลาคม RadixArk ระบุว่าโครงสร้างพื้นฐานดังกล่าวมีค่าใช้จ่ายต่ำกว่าราคาที่แซนด์บ็อกซ์บนคลาวด์ยอดนิยมเรียกเก็บอยู่ราว 80%
การแบ่ง 128/16 คือส่วนที่ควรหยุดคิดสักหน่อย ในลูป RL แบบอะซิงโครนัส ฝูงอินเฟอเรนซ์จะสร้างโรลเอาต์สำหรับเซสชันเอเจนต์ที่ยาว ขณะที่เทรนเนอร์บริโภคแทร็กทอรีที่เสร็จแล้ว ดังนั้นอัตราส่วนนี้จึงเป็นข้อความเกี่ยวกับระยะเวลาที่แต่ละโรลเอาต์ใช้เมื่อเทียบกับหนึ่งก้าวของเกรเดียนต์ และยังเป็นเหตุผลว่าทำไมการนำเสนอเรื่องประสิทธิภาพของ RadixArk จึงถูกวางกรอบด้วยเวลาจริง (wall-clock) มากกว่า FLOPs: การรันเสร็จสิ้นในสิบแปดวัน และจำนวน GPU ก็ไม่ใช่สิ่งที่น่าตื่นเต้นเมื่อเทียบกับตัวเลขนั้น
ตารางเกณฑ์มาตรฐาน อ่านพร้อมกับเชิงอรรถของตาราง
RadixArk รายงานเบนช์มาร์กเจ็ดรายการเทียบกับ baseline Qwen3.8-27B และระบุสำหรับแต่ละเบนช์มาร์กว่ามีกี่รอบการรัน ใช้ฮาร์เนสใด และใช้การตั้งค่าการสุ่มแบบใด การใส่เชิงอรรถเช่นนี้มากกว่าที่การ์ดเปิดตัวส่วนใหญ่ทำ และเป็นเหตุผลที่ตัวเลขด้านล่างสามารถนำมาเปรียบเทียบกันได้เลย ทั้งหมดยังคงเป็นการรันโดยผู้ขาย และยังไม่มีใครนอก RadixArk ที่ทำซ้ำผลเหล่านี้ได้
• Terminal Bench 4.1 — 12.0 เทียบกับ 5.6 สำหรับ base โดยรันแปดครั้งต่องานบนฮาร์เนส mini-swe-agent ภายในที่เปิดใช้การสรุปข้อมูล โมเดลที่ไม่มีรายการ 4.1 ในการเปรียบเทียบข้ามโมเดลจะใช้คะแนน 4.0 แทน
• Terminal Bench 2.1 — 75.5 เทียบกับ 73.0 รันห้าครั้งต่อหนึ่งงาน ฮาร์เนส Terminus 2 การเพิ่มขึ้นตรงนี้ต่ำกว่าสามจุด ซึ่งให้ความรู้สึกตรงกันข้ามกับแถว 4.1: ชุด 2.1 เป็นชุดที่โมเดลฐานทำได้ดีอยู่แล้ว
• DeepSWE v1.1 — 46.2 เทียบกับ 42.2 แปดรัน, mini-swe-agent
• SWE Bench Pro v2 — 94.7 เทียบกับ 91.3 การรันห้ารอบด้วย mini-swe-agent ครอบคลุมทั้ง 642 งาน โมเดลที่นำมาเปรียบเทียบหลายตัวรายงานเฉพาะชุดย่อย Hard ดังนั้นแถวนี้จึงไม่ใช่การเปรียบเทียบแบบเดียวกันทุกประการระหว่างคอลัมน์
• HLE เฉพาะข้อความ — 34.3 เทียบกับ 33.9 รันห้าครั้งต่อปัญหา ไม่ใช้เครื่องมือ ตรวจให้คะแนนโดย GPT-6 Luna
• IFBench — 82.4 เทียบกับ 79.5 สี่รอบบน 300 พรอมต์ด้วยตัวให้คะแนนอย่างเป็นทางการของ allenai โดยวัดความแม่นยำระดับพรอมต์แบบเข้มงวดและไม่รวมการคิด
• GPQA Diamond — 90.7 เทียบกับ 89.2 การรันแปดครั้งกับคำถาม 198 ข้อ เทมเพลต simple-evals โดยสลับลำดับคำตอบใหม่ในแต่ละครั้ง

คุณสมบัติสองประการของตารางนั้นสำคัญกว่าแถวใดแถวหนึ่งมาก ประการแรกคือคะแนน DaisyRose ทุกคะแนนเป็นค่าที่ดีกว่าระหว่างการรัน BF16 และ FP8 ซึ่ง RadixArk กล่าวว่าต่างกันไม่ถึงหนึ่งจุด — เป็นส่วนต่างที่เล็ก แต่หมายความว่าตัวเลขที่เผยแพร่นั้นเป็นค่าที่ดีที่สุดจากสองค่า ไม่ใช่ค่าเฉลี่ย ประการที่สองคือการสุ่มตัวอย่าง: temperature 1.0, top_p 0.95, top_k 20, reasoning effort xhigh การตั้งค่า effort สูงและ temperature สูงเป็นคอนฟิกที่เลือกเพื่อเพิ่มคะแนน agentic ให้สูงสุด และผู้อ่านที่รันด้วยการตั้งค่าเริ่มต้นควรคาดหวังค่าที่ต่ำกว่าตาราง
ในกรณีที่มันไม่ใช่ผู้นำ
การ์ดโมเดลเปรียบเทียบ DaisyRose 27B กับระบบอื่นอีกเจ็ดระบบ และผลลัพธ์ก็ไม่ได้กวาดชัยชนะทั้งหมด — ซึ่งนั่นคือสิ่งที่มีประโยชน์ที่สุดเกี่ยวกับตารางนี้ เพราะความพ่ายแพ้ให้ข้อมูลที่เป็นประโยชน์
• Terminal Bench 4.1 — MiMo V2.6 Flash ได้คะแนน 16.1, Inkling 2 Small ได้ 13.0, GPT-6 Luna ได้ 15.2 ซึ่งทั้งหมดสูงกว่าคะแนน 12.0 ของ DaisyRose ส่วน Muse Glimmer-30B ได้คะแนน 0.5 และ Qwen3.6-35B-A3B ได้คะแนน 0.0 บนชุดทดสอบเดียวกัน
• Terminal Bench 2.1 — MiMo V2.6 Flash 87.6 และ Inkling 2 Small 81.3 ต่างก็เป็นผู้นำ; Muse Spark Open อยู่ที่ 76.4
• DeepSWE v1.1 — Inkling 2 Small 72.1, MiMo V2.6 Flash 67.9 และ GPT-6 Luna 66.6 เทียบกับ 46.2 ของ DaisyRose นี่คือช่องว่างการแพ้ที่กว้างที่สุดบนการ์ด และมันเกิดขึ้นกับเบนช์มาร์กที่ใกล้เคียงกับการกระจายตัวของการฝึกมากที่สุด
• HLE เฉพาะข้อความ — Inkling 2 Small 44.1 และ Muse Spark Open 43.9 เทียบกับ 34.3
• GPQA Diamond — Inkling 2 Small 93.0, Beam 1.0 90.6, GPT-6 Luna 90.5, DaisyRose 90.7 เกือบเสมอกันที่อันดับต้น
• IFBench — DaisyRose 82.4 เป็นตัวเลขสูงสุดบนการ์ดนี้; ไม่มีแถวของคู่แข่งรายใดที่มีตัวเลข
รูปแบบนั้นบอกว่าโมเดล dense ขนาด 27.8B ชนะด้านการทำตามคำสั่งและยังยืนหยัดได้ในวิทยาศาสตร์ระดับบัณฑิตศึกษา แต่แพ้โมเดล sparse ที่ใหญ่กว่ามากในงานวิศวกรรมซอฟต์แวร์เชิงลึก MiMo V2.6 Flash เปิดใช้งาน 15B จาก 309B และ Inkling 2 Small เปิดใช้งาน 17B จาก 594B ดังนั้นการเปรียบเทียบจึงเป็นโมเดล dense ขนาด 27B กับโมเดลที่มีพารามิเตอร์ที่จัดเก็บมากกว่ายี่สิบเท่าและเป็นแบบ routed การแพ้สิ่งเหล่านั้นไม่ใช่ความล้มเหลวของสูตร แต่เป็นข้อบ่งชี้ว่าโมเดลขนาด 27B อุดช่องว่างได้มากเพียงใด

คำกล่าวอ้าง MFU 37% และสิ่งที่กำลังวัด
บล็อกของ RadixArk เปิดด้วยประสิทธิภาพการเทรนมากกว่าตัวโมเดล ซึ่งเป็นการตีความสิ่งที่บริษัทขายได้อย่างสมเหตุสมผล — บริษัทนี้เป็นองค์กรด้านโครงสร้างพื้นฐานที่ให้บริการการดีพลอย SGLang ให้แล็บอื่น — แต่มันทำให้ตัวเลขประสิทธิภาพนั้นประเมินมูลค่าได้ยากกว่าตัวเลขแถวหนึ่งใน benchmark
ข้อกล่าวอ้างคือการใช้ FLOPs ของโมเดลที่ 37% สำหรับแบ็กเอนด์ภายในของตน เทียบกับ 16% สำหรับเทรนเนอร์โอเพนซอร์สที่อิง Megatron ซึ่งถูกอธิบายว่าเป็นต้นทุนการเทรนที่ต่ำลง 57% และความเร็วแบบปลายทางถึงปลายทางเพิ่มขึ้น 2 เท่า ไม่มีการเผยแพร่คอนฟิกูเรชันสำหรับ baseline ของ Megatron: ไม่มีแผนการทำขนาน ไม่มีความยาวซีเควนซ์ ไม่มีขนาดแบตช์ ตัวเลข MFU 16% เป็นไปได้สำหรับลูปการเทรนแบบ dense แบบ naive และเป็นไปได้ยากสำหรับลูปที่ปรับแต่งมาอย่างดี ดังนั้นสถานะตามจริงของ "ต้นทุนต่ำลง 57%" คือเป็นการเปรียบเทียบกับคอนฟิกูเรชันที่ไม่ได้ระบุชื่อของเทรนเนอร์ที่ไม่ระบุชนิด ซึ่งวัดโดยฝ่ายที่สร้างทางเลือกนั้น
ในทางตรงกันข้าม 63,000 GPU-ชั่วโมงเป็นตัวเลขที่เป็นรูปธรรม และสามารถตรวจสอบความสมเหตุสมผลเทียบกับเวลาตามนาฬิกาได้: GPU 144 ตัวเป็นเวลา 18 วันคิดเป็น 62,208 GPU-ชั่วโมง ซึ่งสอดคล้องกัน ดังนั้นการรันนี้มีต้นทุนด้านเวลาเครื่องตามที่ RadixArk ระบุไว้ สิ่งที่ข้อกล่าวอ้างเรื่องประสิทธิภาพเพิ่มเติมเข้ามาคือคำกล่าวเกี่ยวกับว่าเวลาเครื่องนั้นจะสร้างต้นทุนเท่าใดให้กับผู้อื่น และส่วนนั้นยังไม่ได้รับการยืนยัน
สิ่งที่คุณดาวน์โหลดได้ และสิ่งที่ต้องใช้เพื่อให้บริการ
RadixArk เผยแพร่เวตส์สามระดับความละเอียด ซึ่งทั้งหมดใช้สัญญาอนุญาต Apache 2.0 และอยู่บน Hugging Face ทั้งหมด พร้อมด้วยดราฟเตอร์สำหรับ speculative decoding
• BF16 — ประมาณ 52 GB ความแม่นยำเต็มรูปแบบ และเป็นข้อมูลอ้างอิงสำหรับการสร้างตัวเลขของการ์ดขึ้นใหม่
• FP8 — ประมาณ 29 GB บิลด์ที่ตัวอย่างการเสิร์ฟของ RadixArk เองรัน ด้วย KV cache แบบ FP8
• NVFP4 — ประมาณ 23 GB และใช้ได้เฉพาะกับ Blackwell เท่านั้น บน RTX 5090 หรือ DGX Spark นี่คือบิลด์ที่ทำให้โมเดลมัลติโหมดขนาด 27B พอดีได้อย่างสบาย ๆ พร้อมเหลือที่ให้คอนเท็กซ์ยาว
• Drafter — RadixArk/Qwen3.8-27B-DSpark โมเดลฉบับร่างสำหรับ speculative decoding ของ SGLang ซึ่งเป็นเส้นทางการให้บริการที่การ์ดแนะนำ การกำหนดค่าอ้างอิงรันรีพลิกาแบบ data-parallel สี่ชุดบนโหนดสี่ GPU ที่ tensor parallelism 1 บริบท 262,144 โทเคน และแคช KV แบบ FP8
ในด้านฮาร์ดแวร์ RadixArk ระบุการติดตั้งใช้งานแบบ GPU เดี่ยวบน H200, B200 และ GB300 พร้อมด้วย RTX PRO 6000, RTX 5090 และ DGX Spark ไม่มีการเผยแพร่ตัวเลข throughput หรือ tokens-per-second ไว้ที่ใดเลยบนการ์ด {{1}}ซึ่งถือเป็นช่องว่างที่แท้จริงสำหรับผู้ที่กำลังประเมินขนาดการติดตั้งใช้งาน{{/1}}: ตัวเลขเพียงตัวเดียวที่จะบอกคุณว่า DSpark คุ้มค่ากับ GPU เพิ่มหรือไม่นั้นหายไป
ความพร้อมใช้งาน และคำถามเรื่องราคา
ไม่มีราคา API ที่ RadixArk โฮสต์ให้ซึ่งจะใช้อ้างอิงได้ เว็บไซต์ของบริษัทอธิบายถึงการให้บริการและการฝึกโมเดลให้แล็บอื่น และไม่ได้เผยแพร่ endpoint ของ DaisyRose ส่วน model card ชี้ไปที่การโฮสต์เองผ่าน SGLang, vLLM และ Docker เท่านั้น รายการจากบุคคลที่สามมีอยู่จริง โดยรายการหนึ่งที่เราเห็น ณ เวลาเผยแพร่ระบุราคา $0.15 ต่อล้านโทเค็นอินพุต และ $1.88 ต่อล้านโทเค็นเอาต์พุต ซึ่งเป็นตัวเลขของผู้ให้บริการโฮสต์บุคคลที่สาม ไม่ใช่ราคาตามรายการของผู้ขาย และควรถือเป็นจุดตั้งต้นของผู้ให้บริการรายหนึ่ง ไม่ใช่อัตราตลาด

ตัว DaisyRose 27B เองไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter ณ เวลาที่เขียน และเราจะไม่สื่อเป็นนัยเป็นอย่างอื่น โมเดลฐานของมันคือ: Qwen3.8-27B ให้บริการภายใต้ qwen/qwen3.8-27b ซึ่งเป็นบิลด์โอเพนเวตของ Alibaba เอง ในราคา $0.33 ต่อ 1 ล้านโทเค็นอินพุต และ $2.40 ต่อ 1 ล้านโทเค็นเอาต์พุต โดยมีบริบท 262,144 โทเค็นและวิสชันทาวเวอร์ตัวเดียวกับที่ post-train เก็บไว้ สิ่งนี้สำคัญสำหรับใครก็ตามที่ประเมินรีลีสนี้ เพราะวิธีที่ถูกที่สุดในการทดสอบว่าการเพิ่มขึ้น 12 จุดบน Terminal Bench คุ้มค่ากับการติดตั้ง H200 หรือไม่ คือการรันโมเดลฐานผ่าน API ก่อน ด้วยพรอมป์เดียวกัน แล้วเปรียบเทียบกัน มันยังมีเส้นทางสำรองด้วย: หากดีพลอยเมนต์ DaisyRose ที่โฮสต์เองล้มกลางงาน โมเดลฐานจะอยู่เบื้องหลังคีย์เดียวกัน และกฎ failover อัตโนมัติสามารถส่งต่อคำขอไปยังโมเดลนั้นได้แทนที่จะทำให้การเรียกนั้นล้มเหลว
อะไรจะทำให้เรื่องนี้ยุติลง
ไม่ว่าส่วนใดของการเปิดตัวนี้ก็ไม่เคยถูกรันอย่างเป็นอิสระเลย ไม่มีรายการ Artificial Analysis สำหรับ DaisyRose 27B ไม่มี harness จากบุคคลที่สามบนกระดานจัดอันดับ Terminal Bench และแถวเปรียบเทียบข้ามโมเดลในการเปรียบเทียบของ RadixArk เองก็อ้างอิงจากตัวเลขที่ฝ่ายอื่นเผยแพร่ไว้ มากกว่าจะมาจากการรันที่ทำเคียงข้างกันจริง การ์ดรุ่นนี้เปิดเผยเรื่องทั้งหมดนี้อย่างชัดเจนผิดปกติ ซึ่งนับเป็นข้อดี แต่การระบุที่มาที่ชัดเจนไม่ได้ทำให้ตัวเลขกลายเป็นอิสระแต่อย่างใด
มีสองสิ่งที่ควรจับตา สิ่งแรกคือการทำซ้ำผลของ Terminal Bench 4.1 บนฮาร์เนสสาธารณะ: 5.6 เป็น 12.0 คือข้อกล่าวอ้างที่ทั้งการเปิดตัวนี้ตั้งอยู่บนนั้น และเป็นการกระโดดแบบที่ความแตกต่างของฮาร์เนสก็สามารถก่อให้เกิดขึ้นได้เช่นกัน สิ่งที่สองคือ DeepSWE ซึ่งโมเดลตามหลัง Inkling 2 Small อยู่ 26 คะแนน แม้ว่าข้อมูลฝึกจะเป็นวิศวกรรมซอฟต์แวร์แบบเอเจนต์ก็ตาม หากการเพิ่มขึ้นจาก 4.1 ทำซ้ำได้และช่องว่างของ DeepSWE ไม่แคบลง เรื่องเล่าก็คือ การทำ post-training ด้วย RL เท่านั้นสอนให้โมเดลใช้เทอร์มินัล โดยไม่สอนให้มันให้เหตุผลเกี่ยวกับฐานโค้ด และนั่นเป็นข้อค้นพบที่เฉพาะเจาะจงและมีประโยชน์มากกว่าคะแนนพาดหัวใด ๆ เพียงตัวเดียว
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
