Kolibri vs MathForm-8B: หนึ่งในข้ออ้างด้านความแม่นยำเหล่านี้สามารถตรวจสอบได้ด้วยคอมไพเลอร์

Kolibri และ MathForm-8Bใช้สัญญาอนุญาตเดียวกัน และแทบไม่มีอย่างอื่นที่เหมือนกันเลย ทั้งคู่เป็น Apache 2.0 ทั้งคู่เป็นโอเพนเวต และทั้งคู่เปิดตัวในช่วงสามเดือนที่ผ่านมา — Kolibri ของ Aleph Alpha เมื่อวันที่ 3 ตุลาคม 2026, MathForm-8B ของ OpenBMB เมื่อวันที่ 14 สิงหาคม 2026 — และทั้งคู่ใช้พื้นที่จำนวนมากใน model card ของตนไปกับคณิตศาสตร์ ความเหมือนกันก็จบเพียงเท่านั้น Kolibri เป็นโมเดล mixture-of-experts ขนาด 78.1 พันล้านพารามิเตอร์สำหรับภาษาเยอรมันและอังกฤษ ซึ่งเปิดใช้งาน 3.46 พันล้านพารามิเตอร์ต่อโทเคน และถูกออกแบบมาให้อยู่ในเวิร์กโฟลว์เอกสารที่ต้องอยู่ภายใต้กฎระเบียบ MathForm-8B เป็นโมเดล dense ขนาด 8 พันล้านพารามิเตอร์ที่ fine-tuned มาจาก Qwen3-8B โดยมีงานเดียว: รับโจทย์คณิตศาสตร์ที่เขียนด้วยภาษาอังกฤษธรรมดา แล้วสร้างข้อความ Lean 4 ที่ถูกต้องตามรูปแบบสำหรับโจทย์นั้น ความแตกต่างที่สำคัญสำหรับผู้ที่กำลังประเมินตัวใดตัวหนึ่งจากสองตัวนี้ ไม่ใช่จำนวนพารามิเตอร์ แต่อยู่ที่ว่าข้ออ้างเรื่องความแม่นยำของ MathForm-8B นั้นสามารถรันได้จริง คุณสามารถตรวจสอบเอาต์พุตของมันได้ด้วยคอมไพเลอร์ ส่วนของ Kolibri ไม่สามารถตรวจสอบได้ด้วยสิ่งอื่นใดนอกจากการรัน benchmark อีกครั้ง

ความไม่สมมาตรนั้นคือเนื้อหาทั้งหมดของบทความนี้ และมันยังใช้ได้ทั่วไปไกลเกินกว่าโมเดลสองตัวนี้มาก ตาราง benchmark ของผู้ขายเป็นเพียงคำกล่าวอ้าง การที่ระบบช่วยพิสูจน์ยอมรับฟอร์มาลไลเซชันได้นั้นคือผลลัพธ์ เมื่อพื้นที่เอาต์พุตทั้งหมดของโมเดลเป็นสิ่งที่เครื่องจักรตรวจสอบได้ ชั้นการตลาดก็หายไป — Lean compiler จะยอมรับข้อความนั้นหรือไม่ยอมรับเท่านั้น และไม่ว่าการวางกรอบในโพสต์เปิดตัวจะมีมากเพียงใดก็เปลี่ยนข้อเท็จจริงนั้นไม่ได้

สิ่งที่ MathForm-8B ผลิตออกมาจริงๆ

Autoformalisation เป็นงานที่จำกัดวงแคบ ไม่หรูหรา และยากอย่างแท้จริง และ model card นี้ก็ระบุรายละเอียดเกี่ยวกับการตั้งค่าไว้อย่างเฉพาะเจาะจงจนน่าสดชื่น

• อินพุตและเอาต์พุต — ใส่ข้อความทางคณิตศาสตร์ในภาษาธรรมชาติเข้าไป ได้ผลลัพธ์เป็นการทำให้เป็นทางการใน Lean 4 ออกมา พร้อมด้วยส่วนหัวของทฤษฎีบท

• โมเดลฐาน — Qwen/Qwen3-8B ที่ผ่านการไฟน์จูน; Apache 2.0 เช่นเดียวกับส่วนที่เหลือของการเผยแพร่ของ OpenBMB

• การฝึก — การปรับละเอียดแบบมีผู้สอน ตามด้วยการเรียนรู้แบบเสริมกำลังบนชุดข้อมูล FormalVerse โดยมีผลป้อนกลับด้านความสอดคล้องเชิงอรรถศาสตร์จากการคอมไพล์ด้วย Lean เป็นตัวขับเคลื่อนสัญญาณการเรียนรู้แบบเสริมกำลัง

• ไปป์ไลน์ข้อมูล — การดึงความรู้ของ Mathlib การคอมไพล์และการตรวจสอบเชิงความหมาย การปรับปรุงแบบวนซ้ำ จากนั้นจึงเป็นการสร้างวิถีขึ้นใหม่ แผนภาพไปป์ไลน์บนการ์ดโมเดลเป็นสิ่งที่ให้ข้อมูลมากที่สุดในการเปิดตัวครั้งนี้

• การประเมิน — อัตราการผ่าน Pass@8 ภายใต้การตรวจสอบสองรายการที่แยกจากกัน ได้แก่ Syntax Check และ Consistency Check ครอบคลุมหกเบนช์มาร์ก โดยรายงานเป็นค่าเฉลี่ยมาโครที่ถ่วงน้ำหนักเท่ากันในรูปบนการ์ด แทนที่จะเป็นตารางที่เราสามารถยกมาอ้างอิงทีละแถวได้

• ชุดเครื่องมือ — Kimina Lean Server ที่ทำงานอยู่สำหรับการตรวจสอบการคอมไพล์, Lean 4.21.0 สำหรับการทดลอง และลำดับสูงสุด 16,384 โทเค็น โดยมี temperature 0.6 และ top-p 0.95

• การให้บริการ — vLLM หรือ SGLang ที่คอนเท็กซ์ขนาด 16,384 โทเคน เปิดให้ใช้งานผ่านอินเทอร์เฟซแชตที่เข้ากันได้กับ OpenAI รายละเอียดสุดท้ายนี้สำคัญกว่าที่เห็น เพราะมันหมายความว่าโมเดลสามารถเสียบเข้าสู่ไปป์ไลน์ที่มีอยู่ได้ในฐานะเอนด์พอยต์ธรรมดา

ขอให้สังเกตว่ามีการตรวจสอบสองอย่างแยกกัน Syntax Check คือการดูว่าประโยค Lean นั้นแยกวิเคราะห์และตรวจสอบชนิดได้หรือไม่เลย ส่วน Consistency Check คือการดูว่าข้อความเชิงรูปแบบนั้นมีความหมายเดียวกับปัญหาที่เป็นภาษาธรรมชาติหรือไม่ — ซึ่งเป็นคุณสมบัติที่ยากกว่ามาก เพราะประโยค Lean ที่ถูกต้องตามไวยากรณ์แต่ทำให้ทฤษฎีบทผิดกลายเป็นรูปแบบนัยนั้นแย่กว่าข้อผิดพลาดตอนคอมไพล์เสียอีก OpenBMB รายงานทั้งสองอย่าง ซึ่งเป็นวิธีที่ถูกต้องพอดี และเป็นเหตุผลว่างานนี้จึงมีเรื่องราวการตรวจสอบยืนยันที่การให้เหตุผลแบบทั่วไปไม่มี

สิ่งที่ Kolibri ทำกับคณิตศาสตร์ และเหตุใดมันจึงเป็นจำนวนที่แตกต่างออกไป

Kolibri เก่งคณิตศาสตร์ในแง่ของเบนช์มาร์ก บนชุดทดสอบหลังการฝึกของ Aleph Alpha เอง ที่ระดับความพยายามในการให้เหตุผลสูง มันได้คะแนน 96.9 ใน AIME 2025 ฉบับภาษาอังกฤษ และ 87.5 ในฉบับภาษาเยอรมัน, 96.0 และ 90.0 ใน AIME 2026, และค่าเฉลี่ยภาษาอังกฤษ 96.5 ทั่วชุดคณิตศาสตร์ของมัน เทียบกับ 88.8 ในภาษาเยอรมัน สำหรับบริบทในตารางเดียวกัน คะแนน 96.9 ของ Kolibri ใน AIME 2025 ภาษาอังกฤษสูงกว่า Nemotron 3 Super 120B-A12B ที่ 91.7 และ Qwen3.6 35B-A3B ที่ 84.6 และต่ำกว่า Qwen3.8 27B ที่ 97.9 เพียงเล็กน้อย

ตัวเลขเหล่านั้นทุกตัวเป็นตัวเลขที่ผู้ขายรายงานเอง บนฮาร์นเนสของผู้ขาย โดยไม่มีการทำซ้ำอย่างอิสระ และไม่มีหน้า Artificial Analysis ของ Kolibri ให้ใช้เทียบตรวจสอบได้ นั่นไม่ใช่การวิจารณ์ตัวเลขเหล่านั้น แต่เป็นคำกล่าวเกี่ยวกับว่ามันเป็นสิ่งประเภทใด คะแนน AIME คือเปอร์เซ็นต์ของคำตอบสุดท้ายที่ถูกต้องในข้อสอบแบบปรนัย มันบอกว่าโมเดลสามารถไปถึงจำนวนเต็มได้ แต่ไม่ได้บอกอะไรเลยว่ากระบวนการให้เหตุผลที่ทำให้ได้คำตอบนั้นสมเหตุสมผลหรือไม่ และไม่มีชิ้นงานใดหลงเหลืออยู่ให้บุคคลที่สามตรวจสอบได้

เมื่อวางไว้ข้างผลลัพธ์ของ MathForm-8B ความแตกต่างนั้นชัดเจนมาก คำตอบของ Kolibri ต่อโจทย์ AIME คือตัวเลข ผลลัพธ์ของ MathForm-8B คือข้อความทฤษฎีบท Lean 4 ที่คอมไพล์กับ Mathlib ได้หรือไม่ได้ หากคุณกำลังสร้างระบบที่ข้ออ้างทางคณิตศาสตร์ต้องสามารถป้องกันได้ — ไปป์ไลน์การพิสูจน์เชิงรูปแบบ เวิร์กโฟลว์ของผู้ช่วยพิสูจน์ ร่องรอยการตรวจสอบ — สิ่งประดิษฐ์ชิ้นที่สองมีค่ามากกว่าชิ้นแรกอย่างมาก และไม่มีแถว benchmark ใดที่แสดงออกถึงเรื่องนั้น

ในจุดที่ทั้งสองจะได้พบกันจริง ๆ

หากมองเป็นการต่อสู้ การจับคู่นี้ก็ไม่น่าสนใจ: ผู้เชี่ยวชาญขนาด 8B เอาชนะผู้ใช้งานทั่วไปขนาด 78B ในการทำให้คณิตศาสตร์เป็นทางการ และแพ้ในทุกสิ่งอื่น รวมถึงร้อยแก้วทางราชการเยอรมัน การใช้เหตุผลกับเอกสารที่มีบริบทระยะยาว และการเรียกใช้เครื่องมือตลอดเส้นทางการทำงานของเอเจนต์หลายร้อยขั้นตอน แต่ทั้งสองไม่ใช่สิ่งทดแทนกัน และคำถามที่มีประโยชน์คือไปป์ไลน์ที่สร้างจากทั้งสองจะเป็นอย่างไร

องค์ประกอบตามธรรมชาติของเรื่องนี้คือการจัดเส้นทาง (routing) นัก generalist ที่มีเหตุผลและการเรียกใช้เครื่องมือที่แข็งแกร่งจะจัดการการนำเข้าข้อมูล การแก้ความกำกวม และการค้นคืนข้อมูล ส่วนผู้เชี่ยวชาญเฉพาะทางจะถูกเรียกใช้สำหรับสองเปอร์เซ็นต์ของกรณีที่ต้องใช้สิ่งประดิษฐ์เชิงรูปแบบ (formal artifact) การทำเช่นนี้ด้วยมือหมายถึงผู้ให้บริการสองราย สัญญาสองฉบับ SDK สองชุด ข้อมูลรับรองสองชุด และเลเยอร์การส่งต่องานที่ต้องมีใครสักคนดูแล นี่คือกรณีที่ endpoint เดียวคุ้มค่าที่จะใช้: คีย์เดียวที่เข้ากันได้กับ OpenAI กฎการจัดเส้นทางที่ส่งคำขอที่มีลักษณะทางคณิตศาสตร์ไปยัง endpoint ของตัวจัดรูปแบบ (formaliser) และส่งอย่างอื่นไปยัง generalist พร้อมการ failover เมื่อตัวใดตัวหนึ่งทำงานช้า นั่นคือหน้าที่ของ routing DSL — การประกอบโมเดลหลายตัวเข้าเป็นการเรียกครั้งเดียว แทนที่จะกำหนดตัวเลือกแบบตายตัวตั้งแต่ตอนพัฒนา — และในกรณีที่การให้โมเดลหลายตัวช่วยกันตอบนั้นมีประโยชน์ model fusion ก็รองรับไว้แล้ว ทั้ง Kolibri และ MathForm-8B ต่างก็ไม่มีอยู่บน OrcaRouter ในวันนี้ เราได้ตรวจค้นแคตตาล็อกหาทั้งสองรายการภายใต้ชื่อผู้ให้บริการและการสะกดชื่อโมเดลทุกรูปแบบที่มี และไม่มีทั้งสองรายการอยู่ ข้อโต้แย้งเรื่องการประกอบนี้เป็นเรื่องเกี่ยวกับรูปร่างของปัญหา ไม่ใช่เกี่ยวกับ endpoint สองตัวนี้โดยเฉพาะ

สิ่งที่อยู่ในแค็ตตาล็อกคือครึ่งที่เป็น generalist ของรูปแบบนั้น ในราคาที่คุณวัดได้ Qwen3.8-27B ถูกระบุราคาไว้ที่ $0.33 ต่ออินพุตหนึ่งล้านโทเค็น และ $2.40 สำหรับเอาต์พุต โดยมีหน้าต่าง 262,144 โทเค็น ส่วน Qwen3.8-Max อยู่ที่ $2.00 และ $6.00 พร้อมหน้าต่าง 1M โทเค็น สำหรับทีมที่กำลังสำรวจว่าควรเพิ่มขั้นตอน formalisation เข้าไปในไปป์ไลน์เอกสารเลยหรือไม่ การทดลองที่ต้นทุนต่ำคือการส่งงานทั่วไปไปที่นั่น วัดปริมาณคำขอที่จำเป็นต้องใช้ Lean artifact จริง ๆ แล้วจึงค่อยตัดสินใจว่าจะจัดเตรียมปลายทางผู้เชี่ยวชาญขนาด 16,384 โทเค็นหรือไม่ ราคาตามรายการของผู้ให้บริการถูกส่งผ่านโดยไม่มีการบวกเพิ่มต่อโทเค็น ดังนั้นตัวเลขจะเปลี่ยนในวันที่ผู้ขายเปลี่ยนราคา

ใบอนุญาตคือบรรทัดเดียวที่ทั้งคู่เหมือนกัน

ทั้งสองเป็น Apache 2.0 และในหมวดหมู่ที่ใบอนุญาตวิจัยเฉพาะทางและข้อกำหนดเพิ่มเติมเกี่ยวกับการใช้งานที่ยอมรับได้เป็นเรื่องปกติ นั่นถือเป็นจุดที่เท่าเทียมกันจริง ๆ ซึ่งควรค่าแก่การกล่าวถึง — มันหมายความว่าไม่มีโมเดลใดต้องผ่านการตรวจสอบทางกฎหมายก่อนที่จะนำไปใช้ในเชิงพาณิชย์ ดัดแปลง หรือเผยแพร่ต่อ

ข้อผูกพันแตกต่างออกไปในส่วนอื่น Kolibri มาพร้อมพื้นที่น้ำหนักโมเดลประมาณ 78 GB และพื้นฮาร์ดแวร์ขั้นต่ำคือการ์ด A100 80 GB สองใบ หรือ H100 SXM5 สองใบ หรือ H200 หนึ่งใบ หรือ B200 หนึ่งใบ หรือ B300 หนึ่งใบ พร้อมแพ็กเกจ aleph-alpha-inference ของผู้จำหน่ายและปลั๊กอิน vLLM ส่วน MathForm-8B ในรูปแบบ bfloat16 มีน้ำหนักประมาณ 16 GB และให้บริการบนตัวเร่งความเร็วสมัยใหม่เพียงตัวเดียวที่บริบท 16,384 โทเค็น โดยสิ่งที่ต้องพึ่งพาคือ Lean toolchain และสำหรับไปป์ไลน์การประเมิน ต้องมี Kimina Lean Server ที่ทำงานอยู่ หนึ่งในการติดตั้งใช้งานเหล่านั้นติดตั้งบนเวิร์กสเตชันได้ ส่วนอีกอันทำไม่ได้

ตัวเลขบริบทกลับให้ผลตรงกันข้าม และห่างกันมาก หน้าต่างเนทีฟของ Kolibri อยู่ที่ 262,144 โทเคน และได้รับการรับรองถึง 1,048,576 โทเคน ซึ่งเป็นสิ่งที่ทำให้มันเป็นโมเดลสำหรับเอกสาร: เอกสารยื่นต่อหน่วยงานกำกับดูแลของเยอรมนีฉบับเต็มหรือคู่มือบำรุงรักษาด้านการบินและอวกาศใส่ได้ในการเรียกครั้งเดียว MathForm-8B ถูกจำกัดไว้ที่ 16,384 โทเคนโดยการออกแบบ เพราะคำขอแปลงให้เป็นรูปแบบทางการเป็นโจทย์ปัญหาเพียงข้อเดียว และไม่มีเหตุผลที่จะให้ยาวกว่านี้ ไม่มีตัวเลขใดเป็นข้อบกพร่อง พวกมันเพียงอธิบายงานที่แตกต่างกัน

การเลือก และคำถามยืนยันที่อยู่ด้านล่าง

• เลือก MathForm-8B หากผลลัพธ์ของคุณต้องสามารถตรวจสอบได้ หากระบบปลายทางใช้ Lean 4 หรือหากจุดประสงค์ทั้งหมดคือการที่ผู้ช่วยพิสูจน์รับรองผลลัพธ์ ไม่มีโมเดลทั่วไปใดทดแทนได้ และตัวเลข Pass@8 ภายใต้ Syntax Check และ Consistency Check คือสิ่งที่ต้องตรวจสอบ แทนที่จะเป็นแถว AIME ใดๆ

• เลือก Kolibri หากคุณต้องการโมเดลเดียวที่อ่านเอกสารภาษาเยอรมันและอังกฤษในบริบทขนาดยาว ให้เหตุผลเชื่อมโยงข้ามเอกสารเหล่านั้น เรียกใช้เครื่องมือ งดตอบเมื่อบริบทไม่สนับสนุนคำตอบ และสามารถติดตั้งใช้งานภายในขอบเขตของคุณเองได้ภายใต้ใบอนุญาตที่คุณระบุได้ในหนึ่งบรรทัด คณิตศาสตร์เป็นความสามารถที่มันมี ไม่ใช่ผลิตภัณฑ์ที่มันเป็น

• พิจารณาทั้งสองวิธีหากคุณกำลังสร้างไปป์ไลน์การทำให้เป็นรูปแบบ ไม่ใช่มองเป็นทางเลือกแทนกัน แต่ให้มองเป็นปลายทางสองปลายทางที่อยู่หลังกฎการจัดเส้นทางเดียวกัน โดยเรียกผู้เชี่ยวชาญสำหรับคำขอส่วนแคบ ๆ ที่จำเป็นต้องใช้เท่านั้น

และหากคุณกำลังประเมินทางเลือกใดทางเลือกหนึ่งโดยอาศัยความน่าเชื่อถือของตัวเลข benchmark ก่อนอื่นให้ใช้การทดสอบหนึ่งอย่าง: ถามว่าตัวเลขนั้นทิ้งอาร์ติแฟกต์อะไรไว้เบื้องหลัง สำหรับ MathForm-8B นั้นมีไฟล์ Lean และคอมไพเลอร์ที่ยอมรับหรือไม่ยอมรับมัน และคุณสามารถรันทั้งสองอย่างได้ด้วยตนเองในบ่ายนี้ สำหรับ Kolibri มีเปอร์เซ็นต์ในตารางเปิดตัว ซึ่งเป็นข้อมูลที่ผู้ขายรายงาน ยังไม่มีผู้ทำซ้ำ และไม่มีหน้า index อิสระให้ตรวจสอบเทียบ — และวิธีเดียวที่จะพิสูจน์ว่ามันเป็นเท็จคือดาวน์โหลดเวตขนาด 78 GB เช่าฮาร์ดแวร์ และรัน harness ซ้ำ ความไม่สมมาตรนั้นมีค่ามากกว่าตัวคะแนนเสียอีกเมื่อคุณกำลังตัดสินใจว่าจะนำอะไรมาใช้จริงในโปรดักชัน