HiRO-ACEv2 vs Gemma 4 12B: การเปรียบเทียบจะสมเหตุสมผลก็ต่อเมื่อคุณเลิกนับจำนวนพารามิเตอร์

HiRO-ACEv2 และ Gemma 4 12B ต่างก็เป็นดาวน์โหลดภายใต้ Apache 2.0 ที่มีตัวเลขอยู่ในชื่อและมีรายงานทางเทคนิคอยู่เบื้องหลัง และนั่นก็ใกล้เคียงกับจุดที่ความคล้ายคลึงกันสิ้นสุดลง Gemma 4 12B คือโมเดลภาษาหลายรูปแบบขนาด 11.95 พันล้านพารามิเตอร์ของ Google — รับข้อความ รูปภาพ และเสียงเข้า ออกเป็นข้อความ มีหน้าต่างบริบท 256K โทเคน เปิดตัวในเดือนมิถุนายน 2026 และถูกดาวน์โหลดไปมากกว่าหนึ่งล้านครั้ง HiRO-ACEv2 คือตัวจำลองสภาพภูมิอากาศรุ่นที่สองของ Ai2 อัปโหลดขึ้นคลัง Hugging Face เมื่อวันที่ 12 ตุลาคม 2026 พร้อมเช็กพอยต์และข้อมูล forcing ราว 10.9 GB ไม่มีการประกาศ และมีเปเปอร์ที่ปรากฏในวันถัดมา ตัวหนึ่งเป็นโมเดลอเนกประสงค์ที่คุณเรียกใช้ ส่วนอีกตัวเป็นเฟรมเวิร์กฟิสิกส์ที่คุณติดตั้งและรันบนเครื่องของคุณเอง

ถ้ามองเป็นการดวลกันเรื่องคุณภาพ การจับคู่นี้ก็ไม่มีความหมาย และการแสร้งว่าเป็นอย่างอื่นก็จะเป็นจุดล้มเหลวง่าย ๆ ของหน้าแบบนี้ แต่ถ้ามองเป็นคำถามว่า open weights ให้ประโยชน์อะไรกับคุณได้จริงในปี 2026 มันก็ให้ความรู้จริง ๆ เพราะรีลีสทั้งสองอยู่คนละสุดของสเปกตรัมความเปิด แม้ว่าทั้งคู่จะติดแท็กสัญญาอนุญาตเดียวกัน และความแตกต่างจะปรากฏให้เห็นภายในชั่วโมงแรกของการลองใช้ตัวใดตัวหนึ่ง

แต่ละอันมีไว้ทำอะไร อธิบายอย่างละหนึ่งประโยค

Gemma 4 12B รับพรอมป์ต์ — ข้อความ รูปภาพ คลิปเสียง หรือส่วนผสมของสิ่งเหล่านี้ — แล้วสร้างข้อความออกมา มันมีสถาปัตยกรรมแบบไม่มี vision tower และไม่มี encoder ซึ่งฉายแพตช์ภาพและรูปคลื่นเสียงเข้าไปในพื้นที่ embedding ของโมเดลภาษาโดยตรงผ่านเลเยอร์เชิงเส้น มี 48 เลเยอร์ คำศัพท์ 262K หน้าต่างเลื่อนขนาด 1024 โทเคนผสมกับ global attention และพารามิเตอร์ประมาณ 11.95 พันล้านตัวใน bf16 มันเป็นโมเดลแบบ dense อย่างชัดเจน และการเปิดตัวนี้มาพร้อมตาราง benchmark จากผู้ขายฉบับเต็ม

HiRO-ACEv2 รับสภาพภูมิอากาศความละเอียด 100 กม. และสร้างฟิลด์ขนาด 3 กม. — ปริมาณน้ำฝน ลมทิศตะวันออกและทิศเหนือที่ระดับ 10 เมตร และความกดอากาศที่ระดับน้ำทะเลปานกลาง ที่ความถี่ทุก 6 ชั่วโมง เป็นระบบสองขั้นตอน: ตัวจำลองการถดถอยอัตโนมัติของ X-SHIELD ที่ทำให้หยาบลงเป็น 100 กม. ตามด้วยโมเดลการแพร่กระจายที่ลดขนาดผลลัพธ์ลงเป็น 3 กม. มันส่งออกฟิลด์แบบกริดสไตล์ NetCDF ไม่ใช่ข้อความ และไม่มีตารางเกณฑ์มาตรฐานเลย

นั่นคือการเปรียบเทียบทั้งหมดในเชิงโครงสร้าง อันหนึ่งจับคู่ภาษากับภาษา อีกอันจับคู่บรรยากาศแบบหยาบไปยังแบบละเอียด

มิติเดียวที่ทั้งสองเปรียบเทียบกันได้อย่างแท้จริง

พารามิเตอร์เป็นแกนที่ผิด และความยาวบริบทก็ไม่มีความหมายสำหรับหนึ่งในนั้น มิติที่ถ่ายทอดได้จริงคือความคืบหน้าของรีลีสว่าสำเร็จไปแล้วแค่ไหน

• เฟรมเวิร์กที่สามารถโหลดมันได้ — Gemma 4 12B รันบน Transformers, vLLM, SGLang, llama.cpp, MLX และบิลด์ชุมชนแบบควอนไทซ์อีกมากมาย; HiRO-ACEv2 รันผ่านแพ็กเกจ Python ของ Ai2 เองชื่อfme โดยมีคอนฟิกที่มุ่งเป้าไปที่รีโพซิทอรี ai2cm/ace และไม่มีอย่างอื่น

• ราคาของหนึ่งคำตอบ — Gemma 4 12B ให้บริการในราคาประมาณ $0.10 ต่อหนึ่งล้านโทเค็นอินพุต และ $0.30 ต่อหนึ่งล้านโทเค็นเอาต์พุต โดยผู้ให้บริการที่รองรับมัน; HiRO-ACEv2 ไม่มีตารางราคา เพราะไม่มีอะไรที่เป็นแบบต่อคำขอสำหรับมัน ต้นทุนของมันคือชั่วโมง GPU บนฮาร์ดแวร์ของคุณเอง และข้ออ้างในเปเปอร์คือชั่วโมงเหล่านั้นรวมแล้วน้อยลงมากกว่า 300 เท่า เมื่อเทียบกับโมเดลเชิงตัวเลขแบบดั้งเดิมที่จำลองพายุระดับโลก

• ใครที่ทำซ้ำแล้ว — ตัวเลขของ Gemma 4 12B เป็นการรายงานจากผู้ขาย แต่การนำไปใช้งานไม่ใช่: มีการดาวน์โหลดหลายแสนครั้งและผลงานของผู้ปฏิบัติอิสระจำนวนมากรองรับทุกข้อกล่าวอ้างเกี่ยวกับการทำงานของมัน; ตัวเลขของ HiRO-ACEv2 เป็นของผู้เขียนเอง มีอายุสองวัน และที่เก็บโค้ดมียอดดาวน์โหลดเป็นศูนย์ ณ เวลาที่เขียนนี้

• แท็กสัญญาอนุญาตผูกกับสิ่งใด — ทั้งคู่เป็น Apache 2.0 การอนุญาตของ Gemma 4 12B เป็นสัญญาอนุญาตแบบปกติ ส่วนของ HiRO-ACEv2 มาพร้อมแนวปฏิบัติการใช้งานอย่างมีความรับผิดชอบของ Ai2 ซึ่งระบุเจตนาเพื่อการวิจัยและการศึกษา และมีข้อกำหนดการใช้งานที่เกี่ยวข้องของตนเองซ้อนทับอยู่ด้านบน

• ผลลัพธ์ที่สามารถตรวจสอบได้เชิงกลไก — คำตอบของ Gemma 4 12B นั้นตรวจสอบได้ด้วยการอ่าน หรือด้วยชุดการทดสอบที่คุณเขียนขึ้น ส่วนฟิลด์ของ HiRO-ACEv2 นั้นตรวจสอบเทียบกับการแจกแจง ซึ่งเป็นเหตุผลว่าทำไมงานวิจัยนี้จึงว่าด้วยเปอร์เซ็นไทล์ที่ 99.9999 แทนที่จะเป็นคะแนนเฉลี่ย

ตาราง benchmark คือความแตกต่างที่ชัดเจนที่สุด

Google ได้เผยแพร่ตารางแบบเต็มสำหรับ Gemma 4 12B Unified โดย MMLU Pro อยู่ที่ 77.2% AIME 2026 แบบไม่ใช้เครื่องมืออยู่ที่ 77.5% LiveCodeBench v6 อยู่ที่ 72.0% ค่า ELO บน Codeforces อยู่ที่ 1659 GPQA Diamond อยู่ที่ 78.8% MMMLU อยู่ที่ 83.4% MMMU Pro อยู่ที่ 69.1% MATH-Vision อยู่ที่ 79.7% และค่าตัวเลข eight-needle ของ MRCR v2 อยู่ที่ 43.4% ที่ 128k ตัวเลขเหล่านี้เป็นตัวเลขของผู้ขายเอง ซึ่งคู่แข่งของ Google ยังไม่สามารถทำซ้ำได้ และข้อควรระวังมาตรฐานยังใช้ได้: benchmark บนการ์ดโมเดลเป็นคำกล่าวอ้างเกี่ยวกับการกำหนดค่าหนึ่ง ไม่ใช่การวัดโมเดลที่คุณจะรันจริง แต่ทุกแถวในตารางเหล่านั้นล้วนเป็นตัวเลขที่บุคคลที่สามสามารถพยายามหักล้างได้ภายในบ่ายวันเดียว และหลายรายการวัดความสามารถที่ปรากฏในการใช้งานทั่วไป

การ์ดของ HiRO-ACEv2 ไม่มีตารางดังกล่าว มันระบุข้อความเชิงปริมาณหนึ่งข้อ — ว่าดาวน์สเกลเลอร์จำลองอัตราการตกตะกอนที่ผิว ลม 10 เมตร และการกระจายความกดอากาศระดับน้ำทะเล ได้ถึงเปอร์เซ็นไทล์ที่ 99.9999 — จากนั้นจึงระบุข้อจำกัดซึ่งให้ข้อมูลมากกว่าตารางเกณฑ์มาตรฐานส่วนใหญ่ ข้อมูลฝึกอบรมเก้าปี 2014 ถึง 2022 เอาต์พุตที่จำลอง X-SHIELD แทนที่จะเป็นการสังเกต ไม่สามารถใช้ได้นอกช่วง 66°S ถึง 70°N และไม่สามารถรันเกิน 88°S หรือ 88°N ความไม่ต่อเนื่องบริเวณขอบแพตช์ในพื้นที่ที่ใหญ่กว่าแพตช์ฝึกอบรมขนาด 16×16 หนึ่งองศา หมายเหตุว่าเช็กพอยต์ ACE2S-X-SHIELD ที่รวมมานี้ได้รับการทดสอบอย่างเข้มงวดน้อยกว่าสาย ACE2-ERA5 ก่อนหน้า

ไม่มีท่าทีไหนที่ไม่ซื่อสัตย์ Google กำลังขายโมเดล จึงโฆษณาคะแนนที่โมเดลทำได้ Ai2 กำลังเผยแพร่ชิ้นงานวิจัย จึงโฆษณาสิ่งที่ชิ้นงานนั้นทำไม่ได้ ผู้อ่านที่มองว่าการไม่มีตาราง benchmark เป็นหลักฐานว่าโมเดลอ่อนแอ กำลังคิดย้อนทาง — การตีความที่ถูกต้องคือ การประเมินที่เฟรมเวิร์กนี้ต้องการเป็นแบบเชิงการกระจาย และไม่มีลีดเดอร์บอร์ดสาธารณะใดรันการประเมินนั้น

จุดที่ทั้งสองมาบรรจบกันในไปป์ไลน์จริง

มีอยู่ที่หนึ่งที่สองสิ่งนี้ควรอยู่ในระบบเดียวกันอย่างแท้จริง และมันไม่ใช่การเป็นคู่แข่งกัน เวิร์กโฟลว์การจำลองสภาพภูมิอากาศผลิตข้อความและโค้ดจำนวนมากรอบ ๆ โมเดล ทั้งสคริปต์ที่ขับเคลื่อนเอนเซมเบิลข้ามหลายทศวรรษของเวลาจำลอง เครื่องมือที่ตรวจสอบรูปร่างของ NetCDF ก่อนที่การรันจะเผาผลาญ GPU-hours การรวมสถิติการแจกแจงจากหลายร้อยโรลเอาต์ และงานธรรมดา ๆ อย่างการเปลี่ยนเปเปอร์ให้เป็นเช็กลิสต์ ไม่มีสิ่งใดในนั้นเป็นการดาวน์สเกล และทั้งหมดล้วนเป็นงานของโมเดลภาษา — แบบที่การเรียกโมเดลต่อหนึ่งคำขอ แทนที่จะโฮสต์โมเดลเอง เป็นค่าเริ่มต้นที่สมเหตุสมผล

นั่นคือเลเยอร์ที่ OrcaRouter ครอบคลุมอยู่ HiRO-ACEv2 ไม่ได้อยู่ในแค็ตตาล็อกของเรา และเป็นไปไม่ได้ที่จะมีอยู่ — เพราะไม่มีเอนด์พอยต์ที่คิดค่าบริการตามโทเคนสำหรับ diffusion downscaler ดังนั้นไม่มีสิ่งใดในข้อความนี้ที่ควรถูกตีความว่าเป็นการอ้างว่ามีให้บริการสำหรับมัน Gemma 4 12B ก็เช่นกัน ไม่ใช่หนึ่งในโมเดล Gemma ที่เราให้บริการอยู่ในปัจจุบัน แค็ตตาล็อกของเรามีเช็กพอยต์ Gemma 4 26B-A4B และ 31B ส่วนเส้นทางการอนุมานของ 12B จะมาจากที่ใดก็ตามที่คุณโฮสต์มันไว้ สิ่งที่เรานำเสนอคือเลเยอร์โดยรอบ: คีย์ API เดียวใช้ได้กับโมเดลกว่า 200 โมเดลราคาตามรายการของผู้ให้บริการถูกส่งผ่านโดยไม่มีการบวกเพิ่ม และมีการสลับผู้ให้บริการอัตโนมัติเมื่อเกิดข้อขัดข้อง เพื่อให้ไปป์ไลน์ที่ดำเนินยาวนานหลายทศวรรษซึ่งเรียกใช้โมเดลภาษาด้วยนั้นไม่หยุดชะงักเพียงเพราะผู้ให้บริการรายหนึ่งมีชั่วโมงที่แย่

วิธีตัดสินใจในเวลาไม่ถึงหนึ่งนาที

ถามว่าคำตอบของคุณจะอยู่ในรูปแบบใด หากผลลัพธ์เป็นข้อความ การสกัดข้อมูลแบบมีโครงสร้าง การแก้ไขโค้ด หรือคำบรรยายภาพ คุณต้องการ Gemma 4 12B — หรือรุ่นอื่นที่ใหญ่กว่าในตระกูลเดียวกัน — และโดยเฉพาะรุ่น 12B คือตัวเลือกที่เหมาะสมเมื่อคุณต้องการอินพุตแบบมัลติโมดัลในขนาดที่พอดีกับตัวเร่งความเร็วเพียงตัวเดียวโดยยังมีที่สำหรับบริบทแบบยาว หากผลลัพธ์เป็นฟิลด์แบบกริดขนาด 3 กม. ที่อธิบายหยาดน้ำฟ้า ลม และความกดอากาศตลอดหลายทศวรรษของสภาพภูมิอากาศจำลอง ไม่มีโมเดลภาษาใดจะสร้างมันขึ้นมาได้ และ Gemma 4 ไม่เกี่ยวข้องกับปัญหาของคุณ คุณต้องการ HiRO-ACEv2 ซึ่งมีขนาดดาวน์โหลด 10.9 GB สภาพแวดล้อม Python และ GPU

กับดักในการเปรียบเทียบครั้งนี้คือจำนวนพารามิเตอร์ Gemma 4 12B มีจำนวนพารามิเตอร์ ส่วน HiRO-ACEv2 ไม่ได้เผยแพร่จำนวนนั้น และพื้นที่จัดเก็บของรีโพซิทอรี 10.9 GB ส่วนใหญ่เป็นข้อมูล forcing และเงื่อนไขตั้งต้น มากกว่าที่จะเป็นน้ำหนัก — เช็กพอยต์ทั้งสองรวมกันมีขนาดประมาณ 4.3 GiB การตัดสินสองโมเดลนี้แบบเคียงข้างกันจากขนาด หรือจากตัวเลขใดเพียงตัวเลขเดียว ให้คำตอบที่มั่นใจต่อคำถามที่ไม่มีใครถาม

การเปรียบเทียบแบบนี้ก็เป็นจุดที่โหมดความล้มเหลวปรากฏให้เห็นเช่นกัน: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในระดับนี้ได้รับการรวบรวมไว้ในthe OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้งเป็นของตนเอง