GLM-Legal กับ Astra for Law: สองวิธีในการสร้างโมเดลกฎหมาย และมีเพียงวิธีเดียวเท่านั้นที่ขาย API ให้คุณ

โมเดลกฎหมายที่น่าสนใจที่สุดสองตัวที่เปิดตัวในเดือนที่ผ่านมาแก้ปัญหาเดียวกันด้วยวิธีที่ตรงกันข้ามกัน GLM-Legal เป็นการปรับแต่งในระดับเวต — Z.ai นำ GLM-5.3-Flash มาผ่านการฝึกกลางทางด้านกฎหมายและการเรียนรู้แบบเสริมกำลัง จนกระทั่งมันมีพฤติกรรมเหมือนนักกฎหมายมืออาชีพ Astra for Law เป็นการตั้งค่า — ผู้ขายปล่อย GPT-6 Astra ไว้อย่างเดิมทุกประการ แล้วติดดัชนีคำพิพากษาศาลสหรัฐฯ จำนวน 230 ล้าน URL กับชุดคำสั่งด้านกฎหมายเข้าไปที่ด้านหน้าของมัน ตัวหนึ่งคือทนายที่ฉลาดกว่าแต่มีคลังข้อมูลผิด อีกตัวคือทนายธรรมดา ๆ ที่มีคลังข้อมูล extraordinary ว่าตัวไหนที่คุณต้องการนั้นแทบจะขึ้นอยู่ทั้งหมดกับว่าปัญหาของคุณคือการให้เหตุผลหรือการดึงข้อมูล และการเปิดตัวทั้งสองครั้งนี้ถูกให้คะแนนบนเกณฑ์มาตรฐานที่ไม่สามารถนำมาเทียบเคียงกันได้

ประเด็นสุดท้ายนั้นคือเหตุผลที่ทำให้การเปรียบเทียบนี้ยากกว่าที่พาดหัวข่าวทำให้ดูเป็นเช่นนั้น ดังนั้นจึงควรจัดการกับมันก่อน

ทำไมไม่มีตัวเลขใดในชิ้นนี้ที่เปรียบเทียบพวกเขาแบบตัวต่อตัว

ตัวเลขพาดหัวของ GLM-Legal คือ 19.2% ที่ผ่านทั้งหมดบน Harvey LAB ส่วนของ Astra for Law คือ 54.0% ความถูกต้องโดยรวมบนชุดตรวจสอบความถูกต้องงานวิจัยกฎหมายสหรัฐฯ ที่ไม่เปิดเผย ใครก็หาร 54 ด้วย 19.2 แล้วสรุปว่าเวอร์ชันที่กำหนดค่าไว้นั้นดีกว่าเกือบสามเท่า การคำนวณนั้นไม่มีความหมาย และนี่คือเหตุผลว่าทำไม:

• สิ่งที่กำลังถูกประเมิน — GLM-Legal กับงานเวิร์กโฟลว์แบบครบวงจรของสำนักงานกฎหมายใน 24 สาขาการปฏิบัติ เทียบกับ Astra for Law กับคำถามการค้นคว้าทางกฎหมายของสหรัฐฯ เป็นงานคนละตระกูลกัน ไม่ใช่ระดับความยากที่ต่างกันของงานเดียวกัน

• ความเข้มงวดในการให้คะแนน — Harvey LAB ใช้เกณฑ์ผ่านทั้งหมด: งานจะนับก็ต่อเมื่อทุกขั้นตอนสำเร็จเท่านั้น ตัวเลขของ Astra คือความถูกต้องโดยรวม ซึ่งเป็นคะแนนรวมแบบให้เครดิตบางส่วน การให้คะแนนแบบผ่านทั้งหมดย่อมให้ตัวเลขที่ต่ำกว่าบนโมเดลเดียวกันโดยกลไก และอัตราผ่านทั้งหมด 19.2% ไม่สามารถนำไปเปรียบเทียบกับเปอร์เซ็นต์ใด ๆ ที่ให้เครดิตบางส่วนได้

• ค่าพื้นฐาน — Z.ai วัดผล GLM-Legal เทียบกับ GLM-5.3-Flash และรายงานว่าดีขึ้น 12.5 จุด ผู้พัฒนา GPT วัดผล Astra for Law เทียบกับ GPT-6 Astra ด้วยการค้นหาเว็บแบบธรรมดา — จาก 38.7% เป็น 54.0% — และการดึงข้อมูลเป็นตัวทำงานเกือบทั้งหมดนั้น ทั้งสองเป็นการอ้างอิงส่วนต่างเมื่อเทียบกับฐานของเจ้าของผู้ให้บริการเอง ไม่ใช่เทียบกันเอง

• เขตอำนาจศาล — ประสิทธิผลทางกฎหมายผูกอยู่กับเขตอำนาจศาล และไม่มีชุดทดสอบใดครอบคลุมพื้นที่ของอีกฝ่ายได้ Harvey LAB และชุดตรวจสอบ Astra เน้นสหรัฐฯ ส่วน PLawBench ซึ่งเป็นเกณฑ์มาตรฐานชุดที่สองของ GLM-Legal นั้นเป็นภาษาจีน โมเดลหนึ่งอาจยอดเยี่ยมในด้านหนึ่งและไร้ประโยชน์ในอีกด้านหนึ่ง แต่ก็ยังได้คะแนนดีในตัวเลขผลการเปิดตัวของทั้งสองชุด

• ความเป็นอิสระ — ไม่มีเลยทั้งสองฝ่าย ไม่มีบุคคลที่สามรายใดรัน Harvey LAB กับ GLM-Legal ซ้ำ และไม่มีใครนอกเหนือจากผู้ขายที่ควบคุมการแบ่งชุดข้อมูลที่ใช้ในการวัดค่า 54.0%

บอร์ดสาธารณะเพียงแห่งเดียวที่ได้แตะประเด็นนี้คือ Legal Research Bench ของ Vals AI ซึ่ง Astra for Law ได้คะแนนความถูกต้อง 9.4% เทียบกับ 22.5% ของโมเดลระดับแนวหน้าที่ไม่ระบุชื่อ — เป็นเครื่องเตือนใจว่าเมื่อเกณฑ์การให้คะแนนที่เข้มงวดเข้ามาแทนที่การแบ่งชุดข้อมูลที่ผู้ขายเลือกเอง ตัวเลขพาดหัวในหมวดนี้มักจะปรับลดลง ไม่ใช่ปรับขึ้น นั่นไม่ใช่คำตัดสินเกี่ยวกับ Astra for Law แต่เป็นเหตุผลที่ควรถือตัวเลขทุกตัวในการเปรียบเทียบนี้อย่างไม่ยึดติด

สิ่งที่แต่ละอันถูกสร้างขึ้นมาเพื่อทำจริง ๆ

ความแตกต่างด้านสถาปัตยกรรมไม่ใช่เรื่องทางทฤษฎีเพียงอย่างเดียว — มันเป็นตัวกำหนดว่าแต่ละโมเดลทำอะไรได้ดี

• GLM-Legal — โมเดลเปลี่ยนไปแล้ว คลังข้อมูลทางกฎหมายในระหว่างการฝึกช่วงกลาง จากนั้นใช้ RL กับสิ่งที่ Z.ai อธิบายว่าเป็นสภาพแวดล้อมทางกฎหมายที่สมจริงหลายหมื่นแห่ง โดยมีฮาร์เนสของเอเจนต์ที่วิวัฒน์ร่วมไปพร้อมกับน้ำหนักของโมเดล สิ่งที่มันส่งมอบคือความสามารถในการให้เหตุผล ไม่ใช่ไลบรารี

• Astra for Law — ตัวโมเดลไม่ได้ทำน้ำหนัก GPT-6 Astra ชุดเดิม บวกชั้นดึงข้อมูลที่ครอบคลุมแนวคำพิพากษา กฎหมาย และกฎระเบียบของสหรัฐฯ บวกคำสั่งเฉพาะทางกฎหมาย มันมาพร้อมคลัง ไม่ใช่นักกฎหมายที่เก่งกว่า

• หลักฐานของ GLM-Legal — การเปรียบเทียบเคียงกับฐานรุ่นของตัวเอง บนพรอมป์ต์เดียวกัน GLM-5.3-Flash ให้คำแนะนำทั่วไปที่ใช้ได้ แต่ GLM-Legal ชี้ชัดตัวเลข — ลดการแจ้งบอกเลิกสัญญาแบบไม่มีเหตุจาก 60 วันเหลือ 30 วัน ตัดระยะเวลาเยียวยาแก้ไขสำหรับการละเมิดด้านทรัพย์สินทางปัญญาและความลับ กำหนดให้ต้องคืนผลงานไม่ว่าจะได้รับชำระเงินแล้วหรือไม่ และเพิ่มความช่วยเหลือช่วงเปลี่ยนผ่านได้สูงสุด 90 วันในอัตราค่าบริการของผู้ให้บริการ

• หลักฐานของ Astra for Law — เดลต้าด้านการดึงข้อมูล ความถูกต้องโดยรวม 54.0% เทียบกับ 38.7%, พบกรณีอ้างอิงมากขึ้น 24%, ดึงเนื้อหาที่เกี่ยวข้องจากความเห็นที่ถูกต้องได้มากขึ้นถึง 54%, และความยาวคำตอบประมาณสองเท่า ตัวเลขของผู้ขายเอง บนสปลิตที่ไม่มีใครอื่นสามารถรันได้

• บทสรุปที่ตรงไปตรงมาของเดโม — โมเดลพื้นฐานค้นพบข้อเท็จจริง โมเดลเฉพาะทางสร้างข้อโต้แย้ง ในตัวอย่างการวิเคราะห์หลักฐานของ Z.ai นั้น GLM-5.3-Flash พบความขัดแย้งระหว่างรายงานลูกค้าที่สมบูรณ์ 60% กับสแนปช็อตภายใน 41% และกล่าวว่าเอกสารเหล่านั้น "อาจสนับสนุน" จุดยืนของลูกค้า GLM-Legal เชื่อมโยงคำเตือนภายในก่อนหน้านี้ สแนปช็อต และคำสั่งให้ปกปิดความเสี่ยงเข้าเป็นทฤษฎีการปกปิดเดียว และระบุองค์ประกอบข้อกล่าวหาที่ยังต้องทดสอบ

เมื่อนำมาอ่านร่วมกัน ฐานหลักฐานสองชุดนั้นบ่งชี้ถึงเส้นแบ่งที่ชัดเจน GLM-Legal ใช้จุดขายด้านวิจารณญาณ ส่วน Astra for Law ใช้จุดขายด้านการไม่พลาดคดี

จุดที่แต่ละอย่างมีแนวโน้มจะทำให้คุณผิดหวัง

ทั้งสองรีลีสบันทึกจุดอ่อนของตนเองไว้ ซึ่งมากกว่าที่การเปิดตัวส่วนใหญ่จะทำได้ และรูปแบบความล้มเหลวก็เป็นภาพสะท้อนของกันและกัน

ผลลัพธ์ที่ให้บทเรียนมากที่สุดของ Astra for Law มาจากการทดสอบโดยบุคคลที่สาม ไม่ใช่จากการเปิดตัวเสียเอง ในเขตอำนาจศาลต่างๆ นอกสหรัฐฯ โมเดลสามตัวที่ทดสอบโดย HAQQ บริษัทด้าน AI ทางกฎหมาย ต่างอ้างบทบัญญัติได้ถูกต้อง แต่ระบุเนื้อความของบทบัญญัตินั้นผิดไป โดย Astra ถูกต้องตามหลักกฎหมายใน 66.7% ของรายการเหล่านั้น เทียบกับ 100% สำหรับ Claude Opus 5 ตัวตรวจสอบการอ้างอิงปล่อยคำตอบเหล่านั้นผ่าน เพราะการอ้างอิงมีอยู่จริงและถูกต้อง แต่ลูกค้าไม่ผ่าน นี่คือความล้มเหลวที่ Legal Search Index มีจุดอ่อนเชิงโครงสร้างมากที่สุดในการแก้ไข: ดัชนีนี้ครอบคลุมเฉพาะสหรัฐฯ และข้อผิดพลาดอยู่ที่การอ่าน ไม่ใช่การค้นคืน

จุดอ่อนของ GLM-Legal อยู่ในทิศทางตรงกันข้าม มันถูกปรับให้เน้นงานกฎหมายลายลักษณ์อักษรของจีนและหลายเขตอำนาจ — เดโมด้านการปฏิบัติตามกฎระเบียบสามารถจัดการข้อผูกพันด้านความเป็นส่วนตัวของสิงคโปร์ มาเลเซีย และอินโดนีเซีย พร้อมการอ้างอิงถึงระดับมาตรา — และไม่มีสิ่งที่เทียบเท่ากับดัชนีคำพิพากษาของสหรัฐฯ ในการค้นคว้ากฎหมายอเมริกัน สถาปัตยกรรมที่ค้นพบ URL ของคำพิพากษาบรรทัดฐานจำนวน 230 ล้านรายการกำลังทำสิ่งที่ GLM-Legal ไม่ได้ทำเลย จุดแข็งที่เผยแพร่ของมันคือการร่าง การเชื่อมโยงพยานหลักฐาน และงานเอกสารที่ให้คะแนนตามเกณฑ์ ส่วนหลักฐานที่เผยแพร่ของมันไม่ได้รวมข้ออ้างด้านการสืบค้นไว้เลยแม้แต่น้อย

ผู้ให้บริการทั้งสองรายยังไม่ได้เผยแพร่เอกสารด้านธรรมาภิบาลที่ที่ปรึกษากฎหมายทั่วไปของสำนักงานกฎหมายจะถามหาเป็นอย่างแรก Astra for Law มาพร้อมกับ Zero Data Retention บน API และการใช้ ChatGPT Enterprise ที่ถูกยกเว้นจากการตรวจสอบโดยมนุษย์โดยค่าเริ่มต้น แต่ความคุ้มครองนั้นให้เป็นรายองค์กร และโครงการนี้เข้าร่วมได้โดยคำเชิญเท่านั้น ข้อกำหนดเบต้าของ GLM-Legal ไม่ได้เผยแพร่เลย ซึ่งไม่เหมือนกับว่าไม่อาจยอมรับได้ — มันเป็นเพียงไม่มีเอกสารกำกับ และสิ่งที่ไม่มีเอกสารกำกับคือสิ่งที่คุณนำไปเสนอคณะกรรมการความเสี่ยงไม่ได้

การได้ลองอันใดอันหนึ่ง และค่าใช้จ่ายที่ต้องจ่าย

การกำหนดค่าที่ชอบด้วยกฎหมายทั้งสองแบบไม่ได้อยู่ในตารางราคาสาธารณะ

• Astra for Law — การเข้าถึงที่เชื่อถือได้ ใช้ระบบเชิญและมุ่งเป้าไปที่บริษัทขนาดใหญ่ ไม่มีราคาที่เผยแพร่สำหรับการกำหนดค่าทางกฎหมาย; รหัสโมเดล API ถูกระบุว่าจะเปิดตัวเร็ว ๆ นี้

• GLM-Legal — แอปพลิเคชันเวอร์ชันเบต้าที่มุ่งเป้าไปที่สำนักงานกฎหมาย บริษัทเทคโนโลยีด้านกฎหมาย ทีมกฎหมายภายในองค์กร และผู้ปฏิบัติงานอิสระ; ไม่มีราคาที่ประกาศ; ไม่มีเอนด์พอยต์สาธารณะ

• อย่างไรก็ตาม โมเดลพื้นฐานทั้งสองก็เปิดใช้งานจริงอยู่แล้ว GPT-6 Astra อยู่ที่ 10 ดอลลาร์ต่ออินพุตหนึ่งล้านโทเคน และ 50 ดอลลาร์ต่อเอาต์พุตหนึ่งล้านโทเคน บนบริบทขนาด 1.05 ล้านโทเคน โดยมีการปรับราคาสำหรับบริบทยาวเมื่อเกิน 272,000 โทเคนอินพุต ซึ่งชุดเอกสารทางกฎหมายจะข้ามเกณฑ์นี้เป็นประจำ GLM 5.3 Flash อยู่ที่ 0.15 และ 0.50 ดอลลาร์ บนบริบทขนาด 1 ล้านโทเคน นั่นคือความแตกต่าง 66 เท่าของราคาอินพุตสำหรับสองโมเดลที่ทั้งคู่รับชุดสัญญาได้ในรอบเดียว

ทั้งสองโมเดลอยู่ในแคตตาล็อกของ OrcaRouter ในราคาที่ระบุไว้ โดยไม่มีการบวกเพิ่มใด ๆ ซึ่งเรื่องนี้สำคัญกว่าปกติในหมวดหมู่นี้ เพราะหากผู้จำหน่ายเปลี่ยนแปลงราคาของโมเดลใดโมเดลหนึ่ง การเปลี่ยนแปลงจะมีผลที่นี่ภายในวันเดียวกัน ไม่ต้องรอจนสิ้นสุดรอบสัญญา คีย์เดียวใช้ได้กับทั้งสองโมเดล ดังนั้นทีมวิศวกรรมกฎหมายที่ต้องการ Astra สำหรับงานที่เน้นการค้นคืนข้อมูล และ GLM 5.3 Flash สำหรับการตรวจสอบรอบแรกในปริมาณมาก จึงไม่จำเป็นต้องมีสัญญาทางการค้าสองฉบับ, SDK สองชุด หรือข้อมูลรับรองสองชุด DSL สำหรับกำหนดเส้นทางจะแยกทราฟฟิกตามคลาสของงาน ดังนั้นเส้นทางการร่างเอกสารและเส้นทางการสรุปจึงสามารถชี้ไปที่โมเดลที่แตกต่างกันได้ และยังคงออกใบแจ้งหนี้เป็นใบเดียว

และมีข้อจำกัดโดยเจตนาที่ควรพูดถึงให้ชัดมากกว่าจะปกปิดไว้ สิ่งที่ทำให้ Astra for Law แตกต่างจาก GPT-6 Astra จริง ๆ คือ Legal Search Index และเลเยอร์นั้นไม่ได้มีไว้ขาย — คุณไม่สามารถส่งคำขอไปยังมันได้ และคนอื่นก็ทำไม่ได้เช่นกัน สิ่งที่เราส่งคำขอไปยังคือโมเดลพื้นฐาน ทีมที่สร้างต้นแบบเวิร์กโฟลว์ด้านกฎหมายบน GPT-6 Astra วันนี้กำลังทดสอบทุกสิ่ง ยกเว้นส่วนที่ทำให้การกำหนดค่าด้านกฎหมายดีขึ้น

เลือกอันไหนดี

หากงานคือการวิจัยกฎหมายจากคำพิพากษาของสหรัฐฯ การวิเคราะห์ที่เน้นคำพิพากษาเดิมเป็นหลัก หรือสิ่งใดก็ตามที่ความเสี่ยงหลักคือการพลาดแหล่งอ้างอิงทางกฎหมาย Astra for Law มุ่งเป้าไปที่สิ่งนั้นโดยตรง และ GLM-Legal ไม่ได้แข่งขันในด้านนั้น หากงานคือการร่างตามข้อกำหนด การปฏิบัติตามกฎหมายในระบอบที่ระบุชื่อต่างๆ หรือการใช้เหตุผลกับชุดเอกสารที่คุณได้ให้มาแล้ว หลักฐานของ GLM-Legal ตรงประเด็นโดยตรงมากกว่า — และเดโมของมันแสดงพฤติกรรมเฉพาะที่คุณต้องการ ซึ่งเป็นโมเดลที่ให้ตัวเลขและถ้อยคำในข้อสัญญา แทนที่จะเป็นรายการตรวจสอบของสิ่งต่างๆ ที่ต้องพิจารณา

สำหรับทีมกฎหมายส่วนใหญ่ คำตอบที่ใช้ได้จริงในไตรมาสนี้คือ ทั้งสองอย่างยังไม่ใช่การตัดสินใจที่คุณต้องทำในตอนนี้ ทั้งคู่ต้องผ่านการสมัครจึงเข้าถึงได้ ทั้งคู่ยังไม่มีราคา และทั้งคู่มีผลการรัน benchmark เพียงหนึ่งครั้งที่ผู้ขายเป็นผู้ควบคุมอยู่เบื้องหลังตัวเลขพาดหัวของพวกเขา ทีมที่จะพร้อมเมื่อประตูเปิดคือทีมที่ใช้ช่วงเวลานี้สร้างไปป์ไลน์บนโมเดลพื้นฐานที่เรียกใช้งานได้จริง — เพื่อให้การนำเวอร์ชันเฉพาะทางมาใช้ในภายหลังเป็นการเปลี่ยน model-id ไม่ใช่การย้ายแพลตฟอร์มใหม่

DSL สำหรับกำหนดเส้นทางแยกทราฟฟิกตามคลาสของงาน ดังนั้นเส้นทางสำหรับการร่างและเส้นทางสำหรับการสรุปจึงสามารถชี้ไปยังโมเดลที่แตกต่างกันได้ และยังคงออกบิลในใบแจ้งหนี้ใบเดียว