Solar Open 2 250B: คะแนนระดับ Frontier Agent แต่ไม่มีที่ให้รัน
Engineering & Research

Solar Open 2 250B: คะแนนระดับ Frontier Agent แต่ไม่มีที่ให้รัน

ผู้เขียน

Rowan Sterling

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

การ์ด Hugging Face ของ Solar Open 2 250B 250B มอบคำสั่งให้คุณ แต่คำสั่งนั้นใช้งานไม่ได้ โดยมันขอให้ vLLM จัดหาตัวแยกการให้เหตุผลชื่อ solar_open2 ตัวแยกการเรียกใช้เครื่องมือชื่อ solar_open2 และตัวประมวลผลลอจิกชื่อ SolarOpen2TemplateLogitsProcessor — สามอย่างนี้ไม่มีอยู่ใน vLLM เวอร์ชันที่เผยแพร่ใดๆ เลย การรองรับสถาปัตยกรรมนี้ปรากฏบน mainline เป็น pull request ที่ยังไม่ถูกผสานเมื่อวันที่ 5 สิงหาคม สองสัปดาห์หลังจากที่ Upstage เผยแพร่น้ำหนักโมเดลในวันที่ 22 กรกฎาคม ช่องว่างนี้ยังคงเป็นข้อเท็จจริงที่น่าสนใจที่สุดเกี่ยวกับ Solar Open 2 ในตอนนี้ และเป็นส่วนที่บทความเปิดตัวทุกชิ้นข้ามไปเพื่อเอาตาราง benchmark มาแทน ดังนั้น นี่คือเวอร์ชันอื่น: สิ่งที่ Upstage ส่งมอบจริง ตัวเลขของบริษัทเองพิสูจน์และไม่พิสูจน์อะไร คะแนนภายนอกเพียงหนึ่งเดียวที่บันทึกไว้ตอนนี้เปลี่ยนอะไรไปบ้าง และต้องทำอย่างไรจึงจะได้ token ออกมาแม้แต่ตัวเดียว — วัดเทียบกับ DeepSeek V4 Flash ซึ่งเป็นโมเดลที่ Upstage เลือกใช้เป็นเกณฑ์ชี้วัดหลัก

สิ่งที่ Upstage ส่งมอบจริง

ทุกสิ่งที่อยู่ด้านล่างนี้มาจาก config.json ของตัว repository เองและรายงานเทคนิค Solar Open 2 (arXiv 2607.20062) ซึ่งเป็นแหล่งข้อมูลปฐมภูมิ แต่เป็นแหล่งข้อมูลปฐมภูมิของตัวผู้จำหน่ายเอง ไม่มีห้องปฏิบัติการอิสระใดเผยแพร่ค่าการวัดของโมเดลนี้ด้วยตัวเอง ขณะนี้มีตัวเลขจากภายนอกปรากฏขึ้นหนึ่งตัว นั่นคือคะแนน Artificial Analysis Intelligence Index ที่สื่อรายงานว่าเท่ากับ 37 จากการประเมินรอบที่สองของภาครัฐ และคะแนนนี้มีย่อหน้าเฉพาะของตัวเองในส่วนเกณฑ์มาตรฐานด้านล่าง เนื่องจากเป็นตัวเลขที่ถูกรายงานมา มิได้ถูกตรวจวัดซ้ำ

ขนาด — พารามิเตอร์ทั้งหมด 250,287,794,944 ตัว โดยประมาณ 15B ทำงานต่อโทเค็น

Sparsity — มี routed experts 320 ตัว บวกกับ shared expert 1 ตัว, เลือกใช้ top-8 routed ต่อโทเค็น, และตั้งค่า first_k_dense_replace เป็น 0 หมายความว่า mixture เริ่มต้นที่เลเยอร์ศูนย์โดยไม่มีเลเยอร์ dense warm-up ที่การออกแบบ MoE ที่เทียบเคียงกันมักจะคงไว้

• รูปร่าง — 48 เลเยอร์, hidden size 4096, head dim 128, 64 หัวคิวรีต่อ 8 หัวคีย์/ค่า

• แอตเทนชัน — เลเยอร์ softmax (GQA) 12 ชั้น ที่ดัชนี 0, 4, 8 และต่อไปจนถึง 44; อีก 36 เลเยอร์เป็นแอตเทนชันเชิงเส้น (linear attention) สามในสี่ของสแตกไม่มี softmax อยู่เลย

• ตำแหน่ง — use_rope เป็น false ไม่มีการเข้ารหัสตำแหน่งใดๆ เลย

• บริบท — max_position_embeddings เท่ากับ 1,048,576

• คำศัพท์ — 196,608 โทเค็น ครอบคลุมภาษาอังกฤษ เกาหลี และญี่ปุ่น

• น้ำหนัก — bfloat16 ซึ่งคิดเป็น 500.6 GB นั่นคือพารามิเตอร์ 250.29 พันล้านตัวคูณด้วยสองไบต์ และตรงกับขนาดพื้นที่ที่ Nota AI รายงานสำหรับโมเดลที่ไม่ผ่านการ quantization

• การฝึกอบรม — ตามรายงานระบุประมาณ 11.9T โทเคน: 10T สำหรับการพรีเทรนทั่วไป, 1T สำหรับชุดย่อยคุณภาพสูงที่คัดสรรมา, 0.9T สำหรับการขยายความยาว โดยระบุอัตราส่วนข้อมูลจริงต่อข้อมูลสังเคราะห์ที่ 4:6 โดยภาษาอังกฤษมีสัดส่วนมากกว่า 80% และคณิตศาสตร์กับโค้ดอย่างละอย่างน้อย 15%

• ใบอนุญาต — ใบอนุญาต Upstage Solar ซึ่งมีเงื่อนไข (ด้านล่าง)

รุ่นก่อนหน้า Solar Open 1 เป็นโมเดลขนาด 100B ที่เปิดตัวในเดือนมกราคม Solar Open 2 ไม่ใช่การรีเฟรชของมัน แต่เป็นอะไรที่แตกต่างออกไป

สถาปัตยกรรมคือเรื่องราวที่แท้จริง

รูปแบบของเลเยอร์คือเลเยอร์ซอฟต์แมกซ์หนึ่งชั้น ตามด้วยเลเยอร์ linear-attention สามชั้น ทำซ้ำทั้งหมดสิบสองครั้ง เท่านั้นที่เคยมีการรายงานไว้ สิ่งที่ยังไม่มีการรายงานคือ เลเยอร์ linear-attention แบบใด และเหตุใดจึงสำคัญ

เลเยอร์เชิงเส้นคือ KDA — Kimi Delta Attention ซึ่งเป็นกลไกที่ Moonshot AI เปิดตัวสำหรับ Kimi Linear Upstage ไม่ได้คิดค้น linear attention ใหม่ แต่ได้นำของคนอื่นมาปรับเปลี่ยนอย่างหนึ่ง การเปลี่ยนแปลงที่เห็นได้ในคอนฟิกคือค่า kda_allow_neg_eigval ตั้งเป็น true และรายงานก็อธิบายว่าสิ่งนี้ให้ประโยชน์อะไร: KDA มาตรฐานจำกัดค่า eigenvalues ของการเปลี่ยนสถานะให้อยู่ในช่วง [0,1] ดังนั้นแต่ละขั้นตอนทำได้เพียงเพิ่มเข้าไปในสถานะ recurrent หรือลดทอนมันลง การตั้งค่านั้นขยายความแข็งแรงของการเขียนเป็น beta = 2·sigmoid(·) ซึ่งเป็นช่วง (0,2) ซึ่งดันค่า eigenvalues ออกไปเป็น [-1,1] ขั้นตอนหนึ่งสามารถพลิกเครื่องหมายของสิ่งที่เก็บไว้แล้วได้ พูดง่ายๆ คือ สถานะสามารถแก้ไขตัวเองได้ แทนที่จะสะสมอย่างเดียว ซึ่งเป็นกลไกที่ Upstage ระบุไว้สำหรับการยึด trajectory ของ agent ที่ยาวให้อยู่ด้วยกันตลอดการเรียกใช้เครื่องมือจำนวนมาก

ชั้น softmax ทั้งสิบสองชั้นเป็น GQA ที่มีเกตเอาต์พุต sigmoid แบบ elementwise — use_gqa_gate เป็น true ในคอนฟิก — ซึ่งรายงานระบุว่าช่วยเพิ่มความไม่เป็นเชิงเส้นและยับยั้ง attention sinks

และเหตุผลที่ไม่มี RoPE ตามมาจากเลเยอร์เชิงเส้น เนื่องจากสถานะแบบ recurrent เข้ารหัสลำดับโทเคนโดยเนื้อแท้ รายงานจึงโต้แย้งว่าคุณสามารถลบการเข้ารหัสตำแหน่งทิ้งทั้งหมด และไม่ต้องผูกติดกับการกระจายความยาวที่คุณฝึกไว้อีกต่อไป RoPE ในกรอบแนวคิดนี้คือสิ่งที่จำกัดการ extrapolation; เมื่อเอาออกไป เพดานก็ไม่เป็นฟังก์ชันของข้อมูลฝึกของคุณอีกต่อไป

ตัวเลข 1M เป็นค่าที่อ้างตามการออกแบบ ไม่ใช่ค่าที่วัดได้จริง

ข้อโต้แย้งนั้นฟังดูสง่างาม และมันก็เป็นพื้นฐานทั้งหมดของพาดหัวข่าว 1M-token เช่นกัน รายงานทางเทคนิคไม่ได้เผยแพร่ RULER ไม่มีการทดสอบเข็มในกองฟาง (needle-in-a-haystack) ไม่มีชุดทดสอบบริบทยาวแบบใดเลย ขนาดหน้าต่างถูกโต้แย้งจากสถาปัตยกรรม ไม่ได้สาธิตบนเกณฑ์มาตรฐาน ในขณะเดียวกัน เอกสารการใช้งานจริงเพียงฉบับเดียวที่เราหาได้ — Backend.AI ซึ่งให้บริการโมเดลแบบ quantized บนระบบ DGX Spark สองระบบ — ตั้งค่า max-model-len ไว้ที่ 200,000 ไม่ใช่ 1,048,576 เพดานทางสถาปัตยกรรมอาจเป็นเรื่องจริงก็ได้ คุณภาพที่คงอยู่ที่ 500K หรือ 1M โทเคนนั้นไม่ได้อยู่ในรายงานนี้เลย

การกล่าวอ้างเรื่องประสิทธิภาพมีข้อแม้เดียวกัน: รายงานระบุว่าสแตกแบบไฮบริดใช้หน่วยความจำและพลังประมวลผลประมาณหนึ่งในสี่ของสแตกแบบ all-softmax ที่บริบท 1M และในส่วนที่แยกจากกัน ระบุว่าการออกแบบแบบไฮบริดไปถึงค่า loss เป้าหมายด้วยจำนวนโทเค็นสำหรับฝึกน้อยกว่าสแตกแบบ all-softmax บน MMLU ประมาณ 3.2 เท่า ทั้งสองเป็นตัวเลขของ Upstage เอง ไม่มีการเผยแพร่ตัวเลข throughput หรือ latency เลย

การ์ด benchmark เมื่ออ่านอย่างตรงไปตรงมา

ในชุดการทดสอบภาษาอังกฤษ เทียบกับ DeepSeek V4 Flash แล้ว Solar Open 2 250B ทำคะแนน 86.2 บน MMLU-Pro เทียบกับ 85.9 และ 92.4 บน LiveCodeBench v6 เทียบกับ 92.3 — ความแตกต่างเล็กน้อยจนถือเป็นความคลาดเคลื่อนของคะแนน จากนั้นมันทำได้ 16.6 บน APEX-Agents เทียบกับ 13.2 ซึ่งเป็นช่องว่างที่แท้จริงเพียงหนึ่งเดียว และไม่น่าแปลกใจเลยที่ตัวเลขดังกล่าวคือสิ่งที่ Upstage นำอยู่

ความพ่ายแพ้เหล่านั้นอยู่ในรายงานเดียวกันและถูกพูดถึงน้อยกว่า SWE-Bench Verified: 70.4 เทียบกับ 73.8 GDPval-AA v2 บน ELO: 1128 เทียบกับ 1187 Terminal Bench Hard: 28.3 เทียบกับ 41.7 ของ MiMo-V2.5 ArtifactsBench: 55.9 ตามหลังเกณฑ์มาตรฐานระดับแนวหน้าทั้งสอง ต้องให้เครดิต Upstage ว่ารายงานระบุช่องว่างเหล่านี้และชี้ว่ามันบ่งชี้ถึงสิ่งใด — วิศวกรรมซอฟต์แวร์ระดับ repository และเทอร์มินัล และความแม่นยำเชิงตัวเลขในงานส่งมอบสำนักงาน — แทนที่จะซ่อนมันไว้

การเปรียบเทียบที่สร้างความประทับใจจริงๆ คือการเปรียบเทียบภายใน กับ Solar Open 1: LiveCodeBench v6 เพิ่มขึ้นจาก 56.5 เป็น 92.4, SWE-Bench Verified จาก 15.4 เป็น 70.4, APEX-Agents จาก 2.4 เป็น 16.6 คุณจะมองการแข่งขันแบบตัวต่อตัวอย่างไรก็ตาม นี่คือการก้าวกระโดดข้ามรุ่นอย่างแท้จริงในหกเดือน

ในภาษาเกาหลี ค่าเฉลี่ยของทั้งชุดคือ 85.4 เทียบกับ 84.9 ของ DeepSeek V4 Flash — แต่ค่าเฉลี่ยนั้นไม่ได้บอกเรื่องราวทั้งหมด Solar Open 2 250B แพ้ใน KMMLU-Pro (78.4 ต่อ 78.9) และ Ko-AIME'25 (97.7 ต่อ 98.0) แต่ชนะใน Ko-GDPval (86.8 ต่อ 85.0) ความได้เปรียบมาจากเกณฑ์ชี้วัดที่เกี่ยวกับการส่งมอบผลงาน ไม่ใช่จากความรู้หรือคณิตศาสตร์

ซึ่งนำเรามาถึงข้อกล่าวอ้างที่ไปไกลที่สุด: ที่ Solar Open 2 250B เทียบเท่ากับโมเดลที่มีขนาดใหญ่กว่าเกินหกเท่า พื้นฐานคือ Ko-GDPval ซึ่งได้คะแนน 86.8 เทียบกับ 86.9 ของ DeepSeek-V4-Pro นั่นเป็นเกณฑ์ชี้วัดภาษาเกาหลีเพียงหนึ่งเดียว และถือเป็นการเสมอมากกว่าชนะ — ขณะที่ในชุดภาษาอังกฤษ รุ่นเล็กกว่าของ V4-Pro เอาชนะ Solar Open 2 250B ใน SWE-Bench Verified ไปแล้ว เกณฑ์ชี้วัดเพียงหนึ่งเดียวไม่อาจสรุปเป็นกฎทั่วไปเรื่องประสิทธิภาพต่อขนาดได้ ข้อควรระวังที่เกี่ยวข้อง: ตัวเลขพื้นฐานของ APEX-Agents แตกต่างกันเล็กน้อยระหว่างเอกสารต้นฉบับกับรายงานข่าวรอง (13.2 เทียบกับ 13.4 สำหรับโมเดลเดียวกัน) ดังนั้นให้ถือว่าการเรียงลำดับนี้เป็นเพียงการบอกทิศทาง ไม่ใช่ค่าที่แม่นยำ

ในด้านความพึงพอใจ การทดสอบแบบปกปิดแบบเทียบเป็นคู่จากบทสนทนาภาษาเกาหลี 835 รายการ ทำให้ Solar Open 2 250B นำอยู่ที่ 44.1% ต่อ 26.6% โดยรายงานอ้างว่าชัยชนะด้านการวางแนวและความซื่อสัตย์นี้มาจากการยึดโยงทางวัฒนธรรมมากกว่าการฝึกความปลอดภัยเพิ่มเติม สิ่งที่ควรสังเกตคือสิ่งที่ไม่มี: รายงานไม่มีการประเมินเชิงปริมาณเกี่ยวกับอันตราย การปฏิเสธ หรือการเจลเบรกในรูปแบบใดเลย

การ์ดของ Hugging Face ได้เพิ่มตัวเลขอีกสองสามตัวในส่วนผลการประเมิน — GPQA Diamond 86.3, HLE 28.8 และ MathArena AIME 2026 95.7 — แต่ตัวเลขเหล่านี้ถูกดึงมาจากการ์ดโมเดลเอง ไม่ใช่จากการรันอิสระ ดังนั้นจึงมีป้ายกำกับเดียวกันกับที่กล่าวมาทั้งหมด: ตัวเลขของ Upstage ที่ไม่มีการพิสูจน์ซ้ำ

ขณะนี้มีตัวเลขภายนอกตัวหนึ่งปรากฏขึ้น ซึ่งไม่ได้มาจากแล็บของ Upstage เมื่อวันที่ 13 สิงหาคม สื่อการเงินเกาหลี — Edaily, Seoul Economic Daily, ITDaily และ iNews24 ซึ่งทั้งหมดตีพิมพ์ตัวเลขเดียวกัน — รายงานคะแนนการประเมินรอบสองของโครงการ AI อธิปไตยของรัฐบาล ซึ่งวัดจาก Intelligence Index ของ Artificial Analysis (AAII v4.1.1): Motif 3 ได้ 47, Solar Open 2 250B ได้ 37, A.X-K2 ของ SK Telecom ได้ 35 และ K-EXAONE 2.0 0803 ของ LG AI Research ได้ 31 คะแนน 37 ทำให้ Solar Open 2 250B อยู่อันดับสองในสี่ผู้เข้ารอบสุดท้ายชาวเกาหลี โดยตามหลัง Motif 3 อยู่สิบคะแนน ระบุให้ชัดเจน: นี่คือข้อมูลที่สื่อรายงานมา — คะแนนดังกล่าวยังไม่ปรากฏบนลีดเดอร์บอร์ดของ Artificial Analysis เอง ซึ่งยังคงไม่แสดงอะไรสำหรับโมเดลนี้ — และรายงานเดียวกันนี้ยังระบุอีกว่า AAII ไม่มี benchmark ภาษาเกาหลีเลย ซึ่งเป็นจุดบอดจริงๆ สำหรับโมเดลที่ผลลัพธ์ภายในประเทศเป็นหัวใจของจุดขาย แต่นี่คือตัวเลขแรกของ Solar Open 2 250B ที่ไม่ได้มาจาก Upstage และมันก็สอดคล้องกับส่วนที่เหลือของบทความนี้: คะแนนด้าน agent และ deliverable ที่แข็งแกร่ง ขณะที่อีกหลายส่วนยังไม่มีใครภายนอกบริษัทผู้พัฒนามายืนยัน

ทำไมไม่มีใครสามารถให้บริการมันบนซอฟต์แวร์มาตรฐานได้

การ์ดโมเดลบอกเล่าเรื่องราวได้ดีกว่าคำวิจารณ์ใดๆ ยอดดาวน์โหลดเมื่อเดือนที่แล้วทะลุ 26,000 ครั้ง พร้อมด้วย 743 ไลก์ การควอนไทซ์จากชุมชน 16 รายการ และฟินจูน 3 รายการ — และในกล่อง Inference Providers ข้อความ "โมเดลนี้ไม่ได้ถูกปรับใช้โดยผู้ให้บริการอินเฟอเรนซ์รายใด" ยังคงเป็นจริง โดยมีคนสิบกว่าคนถูกระบุว่าขอให้มีการรองรับจากผู้ให้บริการบนการ์ดนี้ สนใจกันจริง แต่ไม่มีเอ็นด์พอยต์ที่โฮสต์ไว้เลยสักรายการ

เมื่อติดตามการใช้งานจริงที่ทำงานได้ทั้งหมด จะพบว่ามันนำไปสู่ฟอร์กเดียวกัน บิลด์ NVFP4 ของ Nota AI กำหนดการติดตั้งให้ชี้ไปที่ git+https://github.com/UpstageAI/vllm.git ที่แท็ก v0.22.0-solar-open2 — ซึ่งเป็น vLLM ของ Upstage เอง ส่วนบทความ DGX Spark ของ Backend.AI จำเป็นต้องใช้ฟอร์กนั้นร่วมกับ FlashInfer ที่ถูกแพตช์ เนื่องจาก FlashInfer ต้นทางไม่รองรับ expert-parallel และไม่ยอมรับรูปแบบ compressed-tensors

การรองรับเมนไลน์คือ pull request 51129 ที่ยื่นต่อ vllm-project/vllm เปิดเมื่อวันที่ 5 สิงหาคมโดยผู้มีส่วนร่วมที่ใช้ชื่อว่า oesni โดยยังคงเปิดอยู่ในตอนนี้: ในวันที่ 10 สิงหาคม mergify ได้แจ้งเตือนเรื่อง merge conflicts ดังนั้น PR ตอนนี้จึงติดป้าย needs-rebase และยังคงรอการตรวจสอบอยู่ สิ่งที่ PR นั้นต้องสร้างคือคำอธิบายที่ตรงไปตรงมาที่สุดเกี่ยวกับความยากของโมเดลนี้ที่มีอยู่ในสาธารณะ:

• ในไฟล์ใหม่ solar_open2.py มีเลเยอร์ KimiGatedDeltaAttention เฉพาะ Solar ซึ่งประกอบด้วย beta 2·sigmoid(b) จากการเปลี่ยนแปลงค่าลักษณะเฉพาะที่เป็นลบ

• การดำเนินการ vllm::solar_open2_kda_attention ลงทะเบียนเป็น op สำหรับแยก CUDA-graph

• การอุ่นเครื่อง KDA prefill ในช่วงโปรไฟล์ จำกัดที่ 2048 โทเคน ซึ่งเพิ่มเข้ามาโดยเฉพาะเพราะการ prefill จริงทำงานช้าลงประมาณ 23% เมื่อไม่มีมัน

• ตัวแยกวิเคราะห์เอาต์พุตการให้เหตุผลและการเรียกใช้เครื่องมือสำหรับทั้งโหมดสตรีมมิ่งและไม่ใช่สตรีมมิ่ง

• การตรวจสอบการให้บริการบน 8×B200 รายงาน 107.02 GiB ต่อ rank ของ KV cache พร้อมกับ unit tests ที่ผ่าน 463 รายการ

ตัวเลขเหล่านั้นเป็นของเจ้าของ PR ซึ่งยังไม่มีใครยืนยันผลได้ และโค้ดก็ยังอาจเปลี่ยนแปลงได้ก่อนที่จะถูกผสาน แต่ถ้าอ่านรายการนั้นประกอบกับส่วนสถาปัตยกรรม ปัญหาก็ชัดเจน: สองตัวเลือกที่ทำให้ Solar Open 2 250B ใช้งานในบริบทยาวได้อย่างคุ้มค่า — KDA ในสามในสี่ของเลเยอร์ และการไม่มี RoPE — คือตัวเลือกที่ชุดซอฟต์แวร์ inference ทั่วไปยังไม่มี code path รองรับอยู่เลย ความเปิดเผยของน้ำหนัก (weights) และความเปิดเผยของเส้นทางที่ใช้รันมันเป็นคนละเรื่องกัน และมีเพียงหนึ่งเดียวเท่านั้นที่เปิดตัวเมื่อวันที่ 22 กรกฎาคม

ค่าใช้จ่ายในการยืนหยัด

เริ่มจากเกณฑ์ขั้นต่ำของหน่วยความจำ น้ำหนัก bfloat16 ขนาด 500.6 GB เทียบกับหน่วยความจำ 141 GB ของ H200 หมายความว่า GPU สี่ตัวให้ความจุ 564 GB — เหลือประมาณ 63 GB ทั่วทั้งโหนดสำหรับ KV cache และ activations ก่อนที่คำขอหนึ่งจะเข้ามาถึง นั่นคือเหตุผลที่หน้ารายละเอียดระบุ H200 สี่ตัวเป็นขั้นต่ำและแนะนำแปดตัว และเหตุผลที่ FlexAI เสนอบริการนี้เป็น dedicated endpoint 8×H100 โดยคิดราคาตามคำขอ ไม่ใช่ผ่าน API แบบ shared per-token

การควอนไทเซชันทำให้เกณฑ์ขั้นต่ำลดลงไปไกลมาก บิลด์ NVFP4 ของ Nota AI (น้ำหนักและแอ็กติเวชัน 4 บิต ขนาดกลุ่ม 16 ในรูปแบบ compressed-tensors) ลดขนาดโมเดลจาก 500.6 GB เหลือ 153.3 GB และการประเมินของพวกเขาระบุว่าต้นทุนความแม่นยำอยู่ที่ 0.22 จุดโดยเฉลี่ยจากสี่เบนช์มาร์ก — 81.57 เป็น 81.35 โดย Tau2-Bench 75.20 เป็น 75.08, GPQA-Diamond 86.26 เป็น 85.45, MMLU-Pro 86.19 เป็น 86.15 และ LiveCodeBench เคลื่อนไปในทิศทางตรงข้าม 87.03 เป็น 88.55 ซึ่งเป็นสัญญาณรบกวนจากการควอนไทซ์มากกว่าการปรับปรุง ข้อจำกัดคือฮาร์ดแวร์: NVFP4 ต้องการ FP4 เทนเซอร์คอร์ที่เปิดตัวพร้อมกับ Blackwell ดังนั้นมีเฉพาะ B200 หรือ GB200 เท่านั้น ไม่มีบน Hopper หากคุณใช้ H100s เวอร์ชันที่คุณต้องการคือบิลด์ INT4 แบบ globally-pruned — 117.8 GB หลังการตัดแต่ง มีขนาดพอดีกับสองตัว

ทีนี้คือเลขคณิตที่ชี้ขาด DeepSeek V4 Flash — อีกครั้ง ที่โมเดลซึ่ง Upstage เลือกให้เป็นตัวเปรียบเทียบ — คิดค่าใช้จ่าย $0.15 ต่อล้านโทเคนขาเข้า และ $0.29 ต่อล้านโทเคนขาออก บน OrcaRouter ซึ่งเป็นราคาลิสต์ของ DeepSeek ที่ส่งต่อตรงๆ โดยไม่บวกกำไร (0% markup) ที่สัดส่วน input ต่อ output 3:1 ซึ่งเมื่อผสมกันแล้วจะอยู่ที่ประมาณ $0.185 ต่อล้านโทเคน ลองคิดราคา GPU ชั่วโมงละ $2 แบบสมมติบนโหนดที่มี GPU แปดตัว คุณจะได้ตัวเลขประมาณ $11,700 ต่อเดือน ก่อนที่จะมีใครส่งคำขอเข้ามา — ซึ่งเทียบเท่ากับปริมาณการเรียก API ประมาณ 63 พันล้านโทเคนแบบผสม หรือ 2.1 พันล้านโทเคนต่อวัน ทุกวัน แค่เพื่อให้ถึงจุดคุ้มทุน ถ้าลดขนาดลงเหลือโหนดแบบสอง GPU จุดคุ้มทุนจะลดลงเหลือประมาณ 16 พันล้านโทเคนต่อเดือน ลองเปลี่ยนอัตรา GPU เป็นตัวเลขของคุณเอง ภาพรวมก็ไม่เปลี่ยน การโฮสต์โมเดล 250B ด้วยตัวเองคือการตัดสินใจเรื่องการใช้ทรัพยากรให้คุ้มค่าและการควบคุม ไม่ใช่เรื่องส่วนลด

เพื่อให้ชัดเจนว่าอะไรมีและไม่มีให้ใช้: Solar Open 2 250B ไม่ได้อยู่บน OrcaRouter และตามการ์ดโมเดลของมันเองก็ไม่ได้อยู่บนผู้ให้บริการอินเฟอเรนซ์รายใดเลย สิ่งที่อยู่บน OrcaRouter คือกลุ่มโมเดลที่มันถูกนำไปวัดเทียบ — DeepSeek V4 Flash, Qwen3.8-Max และอีกสองสามร้อยตัวภายใต้คีย์เดียวในราคารายการของผู้ให้บริการ พร้อมเฟลโอเวอร์ข้ามผู้ให้บริการหากตัวใดตัวหนึ่งล่ม ซึ่งมีความสำคัญตรงนี้ด้วยเหตุผลเชิงปฏิบัติที่แคบ: หากคำถามที่คุณอยากได้คำตอบจริงๆ คือ "โมเดลที่ปรับแต่งสำหรับเอเจนต์เอาชนะสิ่งที่เราเรียกใช้ในการผลิตอยู่แล้วหรือไม่" คุณสามารถรันการเปรียบเทียบครึ่งนั้นได้โดยการเปลี่ยนสตริงโมเดลในบ่ายวันนี้ ขณะที่ใบเสนอราคา GPU สำหรับอีกครึ่งหนึ่งยังอยู่ในขั้นตอนการจัดซื้อ

สองสตริงบนใบอนุญาต

ใบอนุญาต Upstage Solar อนุญาตให้ใช้เชิงพาณิชย์ การปรับแต่งละเอียด (fine-tuning) และการกลั่น (distillation) โดย Upstage อธิบายว่าเป็นใบอนุญาตที่อ้างอิงจาก Apache-2.0 และเพิ่มข้อกำหนดเกี่ยวกับแบรนด์ ข้อผูกพันเพิ่มเติมสองข้อที่ต้องอ่านอย่างละเอียดคือ: โมเดลที่ดัดแปลงต้องมีคำนำหน้า "Solar" ในชื่อ และคุณต้องแสดงการระบุที่มา "Built with Solar"

สำหรับการใช้งานภายในองค์กร นี่ไม่ใช่เรื่องสำคัญ หากคุณวางแผนที่จะกลั่นกรองสิ่งนี้เป็นสิ่งที่คุณจัดส่งภายใต้แบรนด์ผลิตภัณฑ์ของคุณเอง ข้อกำหนดด้านการตั้งชื่อคือการตัดสินใจด้านแบรนด์ที่ถูกทำให้เป็นเงื่อนไขใบอนุญาต และมันคุ้มค่าที่จะใช้เวลายี่สิบนาทีของทนายความก่อนเริ่มการเทรน อ่านข้อกำหนดในที่เก็บโค้ด (repo) แทนที่จะเชื่อรายงานที่ครอบคลุมถึงมัน การรายงานเกี่ยวกับใบอนุญาตนี้มีความคลาดเคลื่อน รวมถึงบทความอย่างน้อยหนึ่งชิ้นที่ระบุอย่างตรงไปตรงมาว่าเป็น Apache 2.0

ใครควรย้ายตอนนี้ และใครควรรอ

ย้าย ถ้าคุณภาพของผลงานที่ส่งมอบเป็นภาษาเกาหลีหรือญี่ปุ่นคือผลิตภัณฑ์ของคุณ และคุณสามารถวางน้ำหนักบนฮาร์ดแวร์ที่คุณมีอยู่แล้ว — การรวมกันนั้นคือสิ่งที่ "open weights, no endpoint" เหมาะกับพอดี และการวางกรอบของ Upstage เองก็ชัดเจนว่าอธิปไตยหมายถึงการสามารถปรับใช้และตรวจสอบโมเดลได้ด้วยตัวเอง ไม่ใช่แค่ถูกฝึกภายในประเทศเท่านั้น ย้าย ถ้าคุณมี GPU ที่ไม่ได้ใช้งานและเวิร์กโหลดของแอเจนต์ที่มีปริมาณมากพอจะเติมเต็ม เพราะเมื่อใช้งานจริง การคำนวณต่อโทเคนจะกลับด้าน ย้าย ถ้าข้อกำหนดด้านการตรวจสอบหรือการจัดเก็บข้อมูล (data residency) หมายความว่า API ไม่เคยเป็นตัวเลือกมาก่อน

เดี๋ยวก่อน ถ้าคุณต้องการ endpoint แบบ per-token Upstage กล่าวว่าตั้งใจจะลง Solar Open 2 250B บนแพลตฟอร์มของบุคคลที่สาม ณ เวลาที่เขียนนี้ยังไม่เกิดขึ้น — การทดลองใช้ Playground จำกัดอยู่ถึงวันที่ 31 กรกฎาคมเท่านั้น และการ์ดโมเดลก็ยังไม่แสดงผู้ให้บริการ และเดี๋ยวก่อน ถ้าคุณใช้ Hopper และหวังพึ่งบิลด์ 4-bit เนื่องจากเวอร์ชัน NVFP4 ต้องใช้ Blackwell และเดี๋ยวก่อน ก่อนที่จะออกแบบอะไรก็ตามโดยอิงจากตัวเลขคอนเท็กซ์ 1M ซึ่งตอนนี้เป็นคุณสมบัติของสถาปัตยกรรมมากกว่าผลการวัดจริง

สิ่งที่ต้องจับตาคือ pull request 51129 ซึ่งในวันที่ 10 สิงหาคมได้รับป้าย needs-rebase หลังจาก mergify ตรวจพบความขัดแย้งของการรวมโค้ด วันที่ Solar Open 2 250B ปรากฏใน vLLM release ที่มีแท็ก คือวันที่มันจะไม่เป็นเพียงโปรเจกต์โครงสร้างพื้นฐานอีกต่อไป แต่กลายเป็นโมเดลที่ใครก็สามารถลองใช้ได้ง่ายๆ ค่า AAII ที่สื่อรายงานว่าอยู่ที่ 37 เป็นเพียงจุดเริ่มต้น — เป็นการอ่านค่าจากภายนอกครั้งแรก แม้จะยังเป็นข้อมูลเบื้องต้น และยังไม่ปรากฏบนลีดเดอร์บอร์ดของ Artificial Analysis เอง การทดสอบที่แท้จริงคือการทดสอบที่รันบนซอฟต์แวร์มาตรฐาน และยังไม่มีกำหนดวันที่

การเปรียบเทียบในบทความนี้2

ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube