
Gemini 4 Neon ครองอันดับหนึ่งใน Coding Agent Index ด้วยคะแนน 58.6 — ช่องว่างถึง Claude Fable 5.2 อยู่ที่ 0.17 คะแนน และช่องว่างส่วนใหญ่เมื่อเทียบกับ GPT-6.2 Astra มาจากเบนช์มาร์กเพียงรายการเดียว
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 185 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 214 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 97 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 112 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 210 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
Gemini 4 Neon now holds first place on the Artificial Analysis Coding Agent Index at 58.64, with Claude Fable 5.2 at 58.47 and GPT-6.2 Astra — released on 17 November, two days before this reading — at 53.47. That is the claim going around, and every number in it checks out against the published leaderboard. It is also, read carefully, an argument about harnesses as much as about models: Neon's 58.64 was measured inside Google's own Antigravity CLI, Fable 5.2's 58.47 inside Claude Code, Astra's 53.47 inside Codex. Three labs, three terminal agents, one composite built from 396 FrontierCode 2.0 attempts, 372 SWE-Atlas-QnA attempts and 198 Terminal-Bench 4.1 attempts per row. The ranking is real. What it means for your repository is narrower — and considerably more useful — than a leaderboard screenshot suggests.
Everything below is read off the public coding-agents leaderboard at Artificial Analysis on 19 November 2026, on index version v2.1. None of it is Google's own benchmark table: the composite, the three component scores, the cost per task and the token counts are measured in the lab, each run through the vendor's own terminal agent. Google's launch-day figures for Gemini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 at 65.2%, FrontierCode 2.0 at 46.2% — are a separate set, vendor-reported and not the source of any measured figure below, and they are labelled as such wherever they appear next to these.
สิ่งที่ดัชนีนับจริง ๆ
Coding Agent Index ไม่ได้ทดสอบโมเดลแบบแยกเดี่ยว แต่ละแถวคือคู่ของ harness และโมเดล และตัวเลขพาดหัวคือค่าเฉลี่ยถ่วงน้ำหนักเท่ากันของคะแนนองค์ประกอบสามส่วน ได้แก่ FrontierCode 2.0 ซึ่งเป็นงานวิศวกรรมซอฟต์แวร์ 132 งานที่เขียนโดย Cognition และดำเนินการโดย Artificial Analysis; SWE-Atlas-QnA งานถาม-ตอบทางเทคนิค 124 งานจาก Scale AI โดยมีการปรับการให้คะแนนโดย AA; และ Terminal-Bench 4.1 งานเทอร์มินัลแบบเอเจนต์ 66 งานจาก Laude Institute แต่ละองค์ประกอบคือคะแนนเฉลี่ยจากการลองสามครั้งต่อหนึ่งงาน หน้านี้ไม่ได้เผยแพร่ช่วงความเชื่อมั่นใด ๆ เกี่ยวกับเรื่องนี้เลย ซึ่งเป็นสิ่งแรกที่ควรรู้ก่อนจะถือว่า 0.1 คะแนนเป็นข้อเท็จจริงเกี่ยวกับความสามารถ

ข้อแม้นั้นสำคัญกว่าปกติในกรณีนี้ เพราะหัวตารางอันดับนั้นแน่นเป็นพิเศษ เมื่อจัดอันดับตามคะแนนคอมโพสิต (ทศนิยมสองตำแหน่ง):
• Gemini 4 Neon (xhigh), Antigravity CLI — 58.64
• Claude Fable 5.2 (xhigh), Claude Code — 58.47
• Devin Fusion CLI, Claude Opus 5.5 สูงสุด + GPT-6 Luna สูง — 58.40
• Claude Fable 5.2 (สูง), Claude Code — 58.24
• Claude Opus 5.5 (max), Claude Code — 58.16
ห้าการกำหนดค่าที่อยู่ในระยะครึ่งคะแนน ครอบคลุมผู้จำหน่ายสามรายและเอเจนต์ที่แตกต่างกันสามตัว สิ่งที่แยกพวกมันออกจากกันนั้นมองไม่เห็นที่ความละเอียดระดับนี้ และบทความที่อธิบายส่วนบนของตารางนี้ว่าเป็นผลลัพธ์ที่ชี้ขาด ก็กำลังอธิบายการปัดเศษว่าเป็นสัญญาณ
ช่องว่างห้าจุดส่วนใหญ่มาจากเกณฑ์มาตรฐานเดียว
การเปรียบเทียบ GPT-6.2 Astra คือจุดที่พาดหัวเริ่มน่าสนใจ เพราะช่องว่างคะแนนรวมห้าคะแนนฟังดูเป็นเชิงโครงสร้าง แต่กลับพบว่ากระจุกตัวอยู่ในองค์ประกอบเดียว และจำเป็นต้องแก้ไขหนึ่งจุดตั้งแต่ต้น: ตัวเลข "นำอยู่หกคะแนน" ที่แพร่หลายตั้งแต่เปิดตัวนั้นคือค่าที่ได้จากการเปรียบเทียบ 58.64 ของ Neon กับ Astra ในhigh ซึ่งได้ 52.28 — ตามหลังอยู่ 6.36 คะแนน เมื่อเทียบกับคอนฟิกูเรชันที่ดีที่สุดของ Astra คือ max ที่ 53.47 ช่องว่างคือ 5.17 ตัวเลขทั้งสองอยู่บนกระดาน; พวกมันอธิบายการตั้งค่าที่แตกต่างกันของโมเดลเดียวกัน แยกคู่ max ออกจากกัน:
FrontierCode 2.0 — Neon (xhigh) 43.0 เมื่อเทียบกับ Astra (max) 41.7 โดยมีช่องว่าง 1.3 คะแนนจากงานวิศวกรรมซอฟต์แวร์ 132 งาน
• Terminal-Bench 4.1 — Neon 65.2 เทียบกับ Astra 63.6 เป็นช่องว่าง 1.6 คะแนนจากงานเทอร์มินัล 66 งาน
• SWE-Atlas-QnA — Neon 67.7 เทียบกับ Astra 55.1 ห่างกัน 12.6 คะแนนในงานถามตอบเชิงเทคนิค 124 งาน
ความแตกต่างของคะแนนรวมประมาณสี่ในห้ามาจากองค์ประกอบ Q&A และนั่นคือองค์ประกอบที่คล้ายกับสิ่งที่เอเจนต์ทำเมื่อแก้ไขรีโพซิทอรีน้อยที่สุด SWE-Atlas-QnA ขอให้ฮาร์เนสตอบคำถามเกี่ยวกับโค้ดเบส FrontierCode และ Terminal-Bench ขอให้มันเปลี่ยนโค้ดเบสหนึ่งชุด หรือขับเคลื่อนเทอร์มินัลจนกว่างานจะเสร็จสมบูรณ์ ในชุดงานสองชุดที่คล้ายกับงานของเอเจนต์จริง Gemini 4 Neon และ GPT-6.2 Astra ต่างกันไม่เกินสองพอยต์ ซึ่งอยู่ในลำดับขนาดเดียวกับช่วงการกระจายตัวระหว่างการกำหนดค่าห้าชุดที่อยู่อันดับต้น ในชุดงานที่คล้ายกับการค้นคืนและการให้เหตุผล Neon ดีกว่าอยู่สิบสอง
การตีความทั้งสองแบบเป็นจริง และการที่แบบไหนจะทำนายประสบการณ์ของคุณได้นั้นเป็นคุณสมบัติของลักษณะงานของคุณ ไม่ใช่ของลีดเดอร์บอร์ด หากเอเจนต์ของคุณใช้เวลาทั้งวันตอบคำถามเกี่ยวกับเบสโค้ดส่วนตัวขนาดใหญ่ SWE-Atlas-QnA ก็เป็นตัวแทนที่ใกล้เคียงที่สุดบนบอร์ด และช่องว่าง 12 คะแนนก็คุ้มค่าที่จะลงมือจัดการ หากเอเจนต์ใช้เวลาทั้งวันเปิด pull request FrontierCode และ Terminal-Bench ก็เป็นตัวแทนที่ใกล้เคียงกว่า และคะแนนคอมโพสิตกล่าวเกินจริงถึงความแตกต่างเป็นสามหรือสี่เท่า

ต้นทุนต่อภารกิจเป็นไปในทางตรงกันข้าม
Artificial Analysis รายงานต้นทุนควบคู่กับคะแนน และในด้านต้นทุน ลำดับกลับตรงกันข้าม ต้นทุนเฉลี่ยต่องานทั่วทั้งดัชนี:
• Gemini 4 Neon (xhigh) — $6.86, โทเค็นอินพุต 13.72M และโทเค็นเอาต์พุต 125.6k, 177 ขั้นตอน, เวลาใช้งานจริง 30.5 นาที
• Claude Fable 5.2 (xhigh) — $15.47, โทเค็นอินพุต 9.55M และโทเค็นเอาต์พุต 207.4k, 95 ขั้นตอน, 53.3 นาที
• Claude Fable 5.2 (high) — $7.51, โทเค็นอินพุต 5.02M และโทเค็นเอาต์พุต 94.1k, 55 ขั้นตอน, 31.3 นาที
• GPT-6.2 Astra (max) — $5.12, โทเค็นอินพุต 4.62M และโทเค็นเอาต์พุต 43.0k, 51 ขั้นตอน, 25.1 นาที
• Gemini 4 Carbon (สูง) — $9.75, โทเค็นอินพุต 15.31M และโทเค็นเอาต์พุต 120.5k, 186 สเต็ป, 33.6 นาที
มีสามประเด็นที่ตามมาจากข้อมูลนี้ หนึ่ง Neon ถูกกว่าต่องาน 2.3 เท่าเมื่อเทียบกับ Fable 5.2 ภายใต้การตั้งค่าที่ใช้ให้คะแนนแถว Fable และเสร็จใน 30.5 นาที เทียบกับ 53.3 นาที สอง Neon ไม่ได้ถูกในแง่สัมบูรณ์: ที่ $6.86 มีต้นทุนต่องานสูงกว่าคอนฟิกูเรชัน GPT-6.2 Astra ที่มันเอาชนะอยู่ 34% และต่ำกว่าคู่พี่น้องอย่าง Gemini 4 Carbon ของตัวเอง 30% ซึ่ง Neon เอาชนะได้ 3.2 คะแนนคอมโพสิต — ดังนั้นเมื่อเทียบกับ Carbon กรณีนี้ชัดเจนในทั้งสองแกน และเมื่อเทียบกับ Astra ก็เป็นการแลกเงินกับคะแนนแบบตรงไปตรงมา สาม โปรไฟล์โทเคนอธิบายราคาได้ Neon ใช้โทเคนอินพุต 13.72M และ 177 ขั้นตอนต่องาน เทียบกับ 9.55M และ 95 ของ Fable 5.2: อินพุตมากกว่าราว 44% และการเรียกเครื่องมือมากกว่าราว 86% เพื่อผลลัพธ์ที่นำอยู่ 0.17 คะแนน อัตราแคชฮิตอยู่ระหว่าง 94% ถึง 96% ในทุกแถวข้างต้น ดังนั้นนี่ไม่ใช่ผลพลอยได้จากการแคช — แต่เป็นเพราะโมเดลใช้ขั้นตอนที่เล็กกว่าและมากกว่า
Google's launch material claims Gemini 4 Neon at its default high setting costs 32% less per task than Gemini 4 Carbon. That is vendor-reported and this board does not reproduce it. The only Neon row published here is xhigh, at $6.86 against Carbon's $9.75 — a 30% saving, close to the vendor figure, but measured at the deepest of Neon's four thinking settings rather than at the default the claim describes. Read the direction as supported and the precise number as unconfirmed until a high row exists.
การตั้งค่าส่งผลต่อคะแนนมากกว่าตัวโมเดลเอง
สิ่งที่มีประโยชน์ที่สุดบนบอร์ดนี้ไม่ใช่การจัดอันดับ แต่คือข้อเท็จจริงที่ว่า Claude Fable 5.2 ปรากฏห้าครั้ง ในฮาร์เนสเดียวกัน ที่ระดับการคิดห้าระดับ และคะแนนของมันอยู่ที่ 47.96 ที่ low, 53.04 ที่ medium, 58.24 ที่ high, 58.47 ที่ xhigh และ 55.74 ที่ max — ช่วงต่าง 10.5 คะแนนจากพารามิเตอร์ตัวเดียว GPT-6.2 Astra ปรากฏห้าครั้งใน Codex และให้คะแนน 35.58 ที่ low ไปจนถึง 53.47 ที่ max ซึ่งเป็นช่วงต่าง 17.9 คะแนนจากตัวปรับประเภทเดียวกัน
นำช่วงเหล่านั้นมาเทียบกับช่องว่างที่พาดหัวข่าวกล่าวถึง ส่วนต่างระหว่าง Astra ที่ ต่ำ กับ Astra ที่ สูงสุด คิดเป็น 3.5 เท่าของช่องว่างระหว่าง Neon กับ Astra ที่การตั้งค่าดีที่สุดของทั้งคู่ และ 5.6 เท่าของช่องว่างระหว่าง Neon กับ Carbon ส่วนต่าง 10.5 จุดภายใน Fable 5.2 เพียงอย่างเดียวก็มากกว่าสองเท่าของระยะห่างทั้งหมดจากอันดับหนึ่งของ Neon ถึงอันดับสิบของ Astra การเลือกโมเดลจากตัวเลขเพียงตัวเดียวต่อโมเดลคือการเลือกจากตัวแปรที่เล็กที่สุดในหน้า; ระดับความพยายามที่คุณส่งเข้าไปและเอเจนต์ที่คุณห่อรอบๆ โมเดลนั้นทำให้ผลลัพธ์เปลี่ยนไปได้มากกว่าโลโก้บนกล่อง
It also makes the "surpassed Fable 5.2" framing need a qualifier. Neon's 58.64 is measured at xhigh inside Antigravity CLI, and it is the only Neon configuration on the board — there is no high row, so nobody outside Google can yet say what Neon's default costs in score or in dollars. Fable 5.2's 0.17-point deficit holds at its own xhigh and, more narrowly, at high where it scores 58.24 on $7.51 per task. Both of those numbers are inside the range a different harness could plausibly reverse, which is not a criticism of Neon — it is what a half-point spread at the top of a 41-row board means.
มีอะไรใหม่จริง ๆ ที่นี่
Gemini 4 Neon เปิดให้ใช้งานทั่วไปเมื่อวันที่ 18 พฤศจิกายน 2026 หนึ่งวันก่อนที่บอร์ดนี้จะถูกอ่าน โดยมีราคา 3.00 ดอลลาร์ต่อโทเคนอินพุตหนึ่งล้านโทเคน และ 15.00 ดอลลาร์ต่อโทเคนเอาต์พุตหนึ่งล้านโทเคน สำหรับหน้าต่างบริบทขนาด 1M โทเคน ผลิตภัณฑ์นี้เป็น proprietary และคิดราคาแบบคงที่: ไม่มีช่วงราคาแนะนำ ไม่มีระดับฟรี ต่างจาก Gemini 4 Hydrogen ตารางราคาและคะแนนความสามารถเชิงปัญญาจากการประเมินอิสระได้ถูกกล่าวถึงที่อื่นในบล็อกนี้แล้ว สิ่งใหม่คือผลลัพธ์แบบเอเจนต์ที่วัดได้เป็นครั้งแรก และผลลัพธ์นั้นบอกหลายสิ่งซึ่งโพสต์เปิดตัวไม่ได้บอกไว้
โพสต์เปิดตัวระบุว่าได้อันดับหนึ่งบน Artificial Analysis Coding Agent Index ด้วยคะแนน 58.6 และตัวเลขนั้นตรงกับที่บอร์ดเผยแพร่ภายใต้การกำหนดค่าที่อธิบายไว้ สิ่งที่โพสต์ไม่ได้ระบุคือ ช่องว่างเหนือการกำหนดค่าถัดไปคือ 0.17 คะแนน ความได้เปรียบส่วนใหญ่เหนือ GPT-6.2 Astra มาจากหนึ่งในสามองค์ประกอบ หรือการรันใช้โทเค็นอินพุต 13.72M ต่องาน สิ่งเหล่านี้คือส่วนที่ผู้อ่านซึ่งกำลังตัดสินใจว่าจะติดตั้งใช้งานอะไรจำเป็นต้องรู้ และมีอยู่เฉพาะบนบอร์ดเท่านั้น
อีกตัวเลขหนึ่งที่ควรวางเทียบกับคะแนน: การปฏิเสธเป็นศูนย์ จากการพยายามทั้งหมด 966 ครั้งในแถว Neon — FrontierCode 396, SWE-Atlas-QnA 372, Terminal-Bench 198 — Artificial Analysis บันทึกว่าไม่มีการปฏิเสธด้านความปลอดภัยและไม่มีการสลับไปยังผู้ให้บริการรายอื่น Fable 5.2 ที่ xhighบันทึกการปฏิเสธ 1 ครั้งบน FrontierCode, 38 ครั้งบน SWE-Atlas-QnA และ 16 ครั้งบน Terminal-Bench; GPT-6.2 Astra ที่ maxบันทึกการปฏิเสธ 8 ครั้งบน SWE-Atlas-QnA ซึ่งทั้งหมดเป็นการหยุดแบบเด็ดขาด การปฏิเสธไม่ใช่ความล้มเหลวของความสามารถ แต่เป็นงานที่เอเจนต์ไม่ได้ทำจนเสร็จ และภายในลูปแบบเอเจนต์ิก สิ่งนี้ปรากฏเป็นการหยุดชะงักมากกว่าคำตอบที่ผิด สำหรับเอเจนต์ที่มุ่งเป้าไปยังรีโพซิทอรีโปรดักชัน โมเดลที่ทำทุกความพยายามจนเสร็จคือความแตกต่างเชิงปฏิบัติการที่ไม่มีคอนฟิกูเรชันอื่นใดในบอร์ดนี้เทียบได้
ต้นทุนการเปลี่ยนคืออะไร และเราเหมาะสมตรงไหน
หากตัวเลขของ Neon ชี้ว่าควรทดลอง คำถามในทางปฏิบัติคือการทดลองนั้นมีต้นทุนด้านวิศวกรรมเท่าใด Neon ไม่ได้อยู่ในแคตตาล็อกของเรา: รายการโมเดลของ OrcaRouter มี google/gemini-4-carbon และ google/gemini-4-argon และไม่มีรายการ Neon ณ วันที่ 19 พฤศจิกายน ดังนั้นวันนี้เราไม่สามารถจัดเส้นทางให้คุณได้ และจะไม่สื่อเป็นนัยเป็นอย่างอื่น GPT-6.2 Astra ก็ไม่อยู่ในแคตตาล็อกเช่นกัน สิ่งที่เรามีให้บริการคือ anthropic/claude-fable-5.2 ในราคาตามรายการของ Anthropic ที่ 8.00 ดอลลาร์สำหรับอินพุต และ 40.00 ดอลลาร์สำหรับเอาต์พุตต่อหนึ่งล้าน บวกกับรายการก่อนหน้าคือ openai/gpt-6-astra — GPT-6 Astra ซึ่งเป็นโมเดลจากเดือนกันยายนและเป็นอีกรายการหนึ่งบนบอร์ดนี้ — ที่ 10.00 และ 50.00 ดอลลาร์ ทั้งสองรายการอยู่บนคีย์เดียวกันในราคาตามรายการของผู้ให้บริการโดยมีมาร์กอัป 0% ซึ่งหมายความว่าการคำนวณข้างต้นสามารถนำไปใช้ซ้ำกับทราฟฟิกของคุณเองได้โดยไม่ต้องมีสัญญาฉบับที่สอง

สิ่งที่สำคัญที่สุดเกี่ยวกับตารางอันดับที่แน่นขนาดนี้คือการสับเปลี่ยน สามในห้าการกำหนดค่าชั้นนำใช้โมเดลที่เปิดตัวภายในสิบวันที่ผ่านมา และลำดับก็เปลี่ยนทุกครั้งที่มีหนึ่งในนั้นเข้ามา เส้นทางการผลิตที่ผูกติดกับแถวไหนก็ตามที่อยู่อันดับหนึ่งในวันนี้จะถูกสร้างใหม่เมื่อโมเดลถัดไปเปิดตัว ซึ่งเป็นเหตุผลว่าการตัดสินใจเรื่อง routing ควรอยู่นอกโค้ด ด้วย endpoint เดียวและกฎการ routing โมเดลที่เป็นตัวเลือกจึงเป็นการเปลี่ยน config ไม่ใช่การ migrate และ automatic failover ช่วยให้โมเดลที่ยังไม่ผ่านการพิสูจน์วางอยู่หลังโมเดลที่พิสูจน์แล้วและรับทราฟฟิกส่วนหนึ่งไปโดยไม่ทำให้เส้นทางหลักเสี่ยง
สำหรับสองโมเดลที่เราให้บริการ การส่งผ่านราคาเป็นแบบตรงตัว: เมื่อ Anthropic หรือ OpenAI ปรับอัตราค่าใช้จ่าย ตัวเลขในใบแจ้งหนี้ของเราก็จะเปลี่ยนในวันเดียวกัน โดยไม่มีอะไรถูกบวกเพิ่มเข้าไป นั่นคือพื้นฐานที่ซื่อตรงสำหรับการเปรียบเทียบต้นทุนข้างต้น — ให้กำหนดราคาทั้งสองฝ่ายใหม่ตามยอดที่คุณจะถูกเรียกเก็บจริง ไม่ใช่ตามตัวเลขจากโพสต์เปิดตัว
ใครควรดำเนินการกับเรื่องนี้ และอย่างไร
บอร์ดรองรับการตัดสินใจที่แตกต่างกันสามแบบ ขึ้นอยู่กับว่าคุณรันอะไร และสิ่งเหล่านั้นไม่ใช่การตัดสินใจเดียวกัน
หากคุณใช้งานเอเจนต์ที่ตอบคำถามบนฐานโค้ดส่วนตัวขนาดใหญ่ — ผู้ช่วยด้านการเริ่มงาน เครื่องมือ "สิ่งนี้ถูกนำไปใช้ที่ไหน" และตัววางแผนการย้ายระบบ — ส่วนต่างของ SWE-Atlas-QnA คือตัวเลขที่สำคัญ และ 67.7 เทียบกับ 55.1 นั้นกว้างพอที่จะทำให้การทดลองแบบวัดผลได้เป็นเรื่องสมเหตุสมผล จัดงบสำหรับ xhigh ซึ่งเป็นการตั้งค่า เนื่องจากเป็นเพียงการกำหนดค่าเดียวที่ถูกให้คะแนน และอย่าสมมติว่าค่าเริ่มต้นจะให้ผลเหมือนกัน
หากคุณใช้งานเอเจนต์ที่เปิด pull request และควบคุมเทอร์มินัล สรุปตามจริงคือ Neon, Fable 5.2, Opus 5.5 และคู่ Devin Fusion อยู่ในช่วงห่างกันไม่ถึงครึ่งคะแนนคอมโพสิต และห่างกันไม่เกินสามคะแนนบน Terminal-Bench แม้ว่าคะแนน FrontierCode ของพวกเขาจะกระจายกว้างกว่า โดยอยู่ที่ 43.0 ถึง 49.2 ไม่มีเหตุผลด้านความสามารถใด ๆ ที่นี่ที่จะต้องสลับเปลี่ยนอะไร มีเหตุผลด้านต้นทุน — Neon ที่ $6.86 เทียบกับ Fable 5.2 ที่ $15.47 สำหรับคะแนนเดียวกัน — และเหตุผลด้านการปฏิบัติการในแถว zero-refusal ทั้งสองอย่างไม่ใช่เหตุผลที่จะย้ายไปใช้ไปป์ไลน์ที่ทำงานอยู่แล้วในสัปดาห์นี้
หากคุณยังกำลังเลือกฮาร์เนสอยู่ นั่นคือจุดที่หลักฐานแข็งแกร่งและชัดเจนที่สุด ช่วงห่างระหว่างระดับการคิดภายในโมเดลเดียวนั้นมากกว่าช่วงห่างระหว่างโมเดลชั้นนำที่การตั้งค่าดีที่สุดของพวกมันอย่างเทียบกันไม่ติด การใช้เวลาสองบ่ายรันเอเจนต์ของคุณเองที่ระดับความพยายามสองหรือสามระดับจะบอกคุณเกี่ยวกับค่าใช้จ่ายและอัตราการผ่านของคุณได้มากกว่าการใช้เวลาเท่าใดก็ตามไปกับการอ่านลีดเดอร์บอร์ดนี้ รวมถึงบทความนี้ด้วย
What to watch: a Neon row at its default high setting. Until one is published, the model that tops the board has been measured at exactly one configuration — and the 32%-cheaper-per-task claim Google makes is about the setting nobody has scored yet.
การเปรียบเทียบในบทความนี้3
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
