Granite Switch 4.1 8B: เช็กพอยต์ 8B ตัวเดียวที่แชท ตัดสินใจ และถอดเสียง

พารามิเตอร์แปดพันสามร้อยแปดสิบล้านตัวเข้าไป แปดพันเจ็ดร้อยเจ็ดสิบหกล้านตัวออกมา 4.72% นั้นคือความแตกต่างทั้งหมดระหว่างโมเดลฐานของ IBM กับ Granite Switch 4.1 8B และมันเป็นตัวเลขที่น่าสนใจที่สุดในการเปิดตัว เพราะสิ่งที่อัดแน่นอยู่ในเศษเสี้ยวเล็ก ๆ นั้นคือตัวจำแนกความปลอดภัย เอนจินตัดสินใจ และตัวรู้จำเสียงพูด — ทั้งหมดตอบกลับจากปลายทางเดียว ทั้งหมดอ่านและเขียนแคช KV เดียวกันที่โมเดลฐานจะสร้างขึ้นอยู่แล้ว

เวทถูกปล่อยบน Hugging Face เมื่อวันที่ 14 ตุลาคม 2026 บล็อกเปิดตัวของ IBM เอง Granite Switch 4.1: แชท การตัดสินใจ และเสียงจากเอนด์พอยต์เดียว ตามมาในวันที่ 15 ตุลาคม ซึ่งควรกล่าวอย่างตรงไปตรงมาตั้งแต่ต้น: นี่ไม่ใช่การปล่อยเงียบ ๆ ที่มีคนไปพบในมิเรอร์ มันเป็นการเปิดตัวที่ประกาศแล้วซึ่งมีอายุประมาณสองวัน ณ เวลาที่เขียน และเวอร์ชันของเรื่องราวที่สำคัญไม่ใช่ "IBM อ้างอะไร" แต่เป็น "คุณตรวจสอบอะไรได้จริงจากเช็กพอยต์ที่อยู่บน Hub ตอนนี้" สองสิ่งนั้นไม่เหมือนกัน และบทความนี้แยกมันออกจากกัน

สิ่งที่เช็กพอยต์มีอยู่จริง

Granite Switch ไม่ใช่สถาปัตยกรรมใหม่ แต่เป็นการประกอบขึ้นจากส่วนต่าง ๆ: โมเดลฐานที่ถูกแช่แข็ง ชุดอะแดปเตอร์แบบแรงก์ต่ำที่เปิดและปิดได้ต่อโทเคน และ — ในบิลด์เฉพาะนี้ — เอนโคเดอร์ที่ต่อพ่วงเข้ามาสำหรับเสียง ตัวคอมโพสเซอร์อยู่ในgranite-switchรีโพซิทอรี และ build manifest สำหรับเช็กพอยต์นี้ถูกเช็กอินไว้ข้าง ๆ เวต ซึ่งหมายความว่าข้อกล่าวอ้างเชิงโครงสร้างทั้งหมดด้านล่างนี้สามารถอ่านได้ตรงจาก Hub แทนที่จะมาจากข่าวประชาสัมพันธ์

ฐานคือ Granite 4.1 8B — แบบ dense decoder-only, attention แบบ grouped-query ที่มี 32 หัว query เทียบกับ 8 หัว key/value, SwiGLU, RMSNorm, หน้าต่าง 131,072 โทเคน และคำศัพท์ 100,352 โทเคน เช็กพอยต์ที่ประกอบขึ้นจะสืบทอดทั้งหมดนั้น และเพิ่มอะแดปเตอร์ LoRA ที่เปิดใช้งานสองตัว:

• guardian-core — แรงก์ 16, อัลฟา 64, เชื่อมต่อเฉพาะกับ attention projections (k_proj, o_proj, q_proj, v_proj), นำมาจากรีลีสของ Guardian Library และถูกอธิบายว่าตรวจจับอันตราย, การ jailbreak, คำหยาบ, ความรุนแรง, เนื้อหาทางเพศ, อคติทางสังคม และพฤติกรรมที่ผิดจริยธรรม

• การตัดสินใจ — แรงก์ 64, อัลฟา 128, แนบไว้กับโปรเจกชันทั้งเจ็ดรวมถึง MLP (down_proj, gate_proj, up_proj) และถูกฝึกให้ทำสิ่งที่แคบกว่าและแปลกยิ่งกว่า: เมื่อได้รับสถานะและคำถามที่มีตัวเลือกซึ่งมีป้ายกำกับ ให้คืนการแจกแจงความน่าจะเป็นที่ปรับเทียบแล้วบนป้ายกำกับตัวเลือกเหล่านั้นใน forward pass เพียงครั้งเดียว

ทั้งคู่ถูกเปิดใช้งานโดยโทเค็นควบคุม — <|guardian-core|> และ <|decision|> — ซึ่งเทมเพลตแชตจะแทรกให้คุณเมื่อคุณส่งอาร์กิวเมนต์ adapter_name คุณไม่ได้เขียนโทเค็นเหล่านั้นด้วยตัวเอง และรายละเอียดนี้สำคัญกว่าที่ดู: มันหมายความว่าการเลือกอะแดปเตอร์เป็นพารามิเตอร์ของคำขอ ไม่ใช่โมเดลที่สองที่ต้องนำไปดีพลอย

ทำไมเดลตาของพารามิเตอร์ถึงเล็กจัง

เลขคณิตคือเรื่องราว โมเดลฐานมี 8,380,551,168 พารามิเตอร์ โมเดลที่ประกอบขึ้นมามี 8,776,400,896 พารามิเตอร์ นั่นคือ +395.8 ล้าน หรือ +4.72% สำหรับอะแดปเตอร์สองตัว เหตุผลที่ตัวเลขยังต่ำขนาดนั้นคือการตัดสินใจเชิงออกแบบที่เรียกว่าการนอร์มัลไลเซชัน KV-cache: อะแดปเตอร์ทุกตัวมองเห็นแคชคีย์/แวลูของโมเดลฐานแทนที่จะดูแลแคชของตัวเอง ในรูปแบบหลายอะแดปเตอร์แบบดั้งเดิม อะแดปเตอร์ที่เพิ่มเข้ามาแต่ละตัวคือชุดสถานะแอตเทนชันอีกชุด และค่าใช้จ่ายหน่วยความจำจะโตตามจำนวนอะแดปเตอร์ที่คุณสลับไปมาระหว่างนั้น แต่ที่นี่ไม่เป็นเช่นนั้น ข้ออ้างของ IBM ในโพสต์เปิดตัวคือโมเดลที่ประกอบขึ้นมาใช้ "VRAM บน GPU ในปริมาณใกล้เคียงกับที่โมเดลฐานใช้โดยลำพัง" และแม้ว่ายังไม่มีใครนอก IBM วัดสิ่งนั้นได้ แต่ส่วนต่างน้ำหนัก 4.72% ก็สอดคล้องกับข้ออ้างนั้น — และต่างจากข้ออ้างเรื่อง VRAM ตรงที่ส่วนต่างน้ำหนักเป็นเพียงตัวเลขใน manifest ที่คุณอ่านได้

อะแดปเตอร์การตัดสินใจคือครึ่งที่น่าสนใจ

การดึงการแจกแจงความน่าจะเป็นออกจากโมเดลภาษาไม่ใช่เรื่องใหม่ สิ่งที่ควรค่าแก่การทำความเข้าใจคือการทำเช่นนั้นใน forward pass เพียงครั้งเดียวด้วยชุดคำศัพท์คงที่ของป้ายตัวเลือก และได้ตัวเลขที่คาลิเบรตมากพอจะนำไปใช้งานได้ สูตรการเรียกใช้มีบันทึกไว้ใน card: system prompt ของ decision-engine แบบคงที่ ตามด้วยเทิร์น State: ที่ประเมินบน base ที่ถูก freeze จากนั้นเป็นเทิร์น ### DECISION ที่นำเสนอคำถามและตัวเลือกที่ติดป้ายด้วยโทเคนเดียว จากนั้นคุณขอ logprobs ของ token id ของป้ายเหล่านั้นพอดีจากเซิร์ฟเวอร์ — vLLM เปิดเผยค่านี้ผ่าน logprob_token_ids — แล้วยกกำลัง ตัวอย่างที่บันทึกไว้จะคืนค่าประมาณ A: 0.982, B: 0.0035, C: 0.014.

มีจุดยุ่งยากทางวิศวกรรมจริง ๆ ตรงนี้ที่เวอร์ชันการตลาดของรีลีสนี้มองข้ามไป vLLM จำกัด logprob_token_ids ไว้ที่ 128 id ต่อคำขอ ถ้าคำถามสำหรับตัดสินใจของคุณมีมากกว่า 128 ตัวเลือก คุณจะได้รับ HTTP 400 และวิธีแก้คือแบ่ง label id ออกเป็นชังก์ละ 128 ส่งคำขอหนึ่งครั้งต่อชังก์โดยใช้พรอมป์ต์เดียวกัน แล้วนำผลมาต่อกัน — เพราะ logprob ที่ส่งคืนมาครอบคลุมคำศัพท์ทั้งหมด ค่าของแต่ละ label จึงไม่ขึ้นกับว่าชังก์ไหนเป็นคนขอ ดังนั้น softmax ครั้งเดียวบนชุด label ทั้งหมดจึงให้ผลทางคณิตศาสตร์เหมือนกับการเรียกแบบไม่จำกัด นั่นคือคำขอเพิ่มอีกหนึ่งครั้งต่อ 128 ตัวเลือก มันเป็นรายละเอียดที่มีประโยชน์จริง ๆ และเป็นสิ่งที่อยู่ในรีโปเท่านั้น

ตัวเลขที่เผยแพร่เพียงตัวเดียวที่แนบมากับอะแดปเตอร์นี้คือ Decision Index (JEV) ฉบับ v0.3 ชุดย่อยแบบเร็วสาธารณะจำนวน 1,068 แถว: โดยรวม 42.9ความรู้ 29.1, ภาษา 48.9, การค้นคืน 49.8, เครื่องมือ 59.8, ศิลปะ 18.0 โปรดถือว่านี่เป็นข้อมูลที่ผู้ขายรายงาน เพราะมันเป็นเช่นนั้นจริง: IBM เป็นผู้รัน เป็นผู้เผยแพร่ และไม่มีบุคคลที่สามรายใดทำซ้ำได้ นอกจากนี้ยังคุ้มค่าที่จะอ่านรูปร่างมากกว่าพาดหัว — 59.8 ในด้านเครื่องมือถัดจาก 18.0 ในด้านศิลปะเป็นโปรไฟล์ที่ไม่สม่ำเสมออย่างมาก และการ์ดเองก็เตือนว่าความน่าจะเป็นของตัวเลือกนั้นเป็น "ค่าตั้งต้นเพื่อประกอบการตัดสินใจ ไม่ใช่การจำแนกที่ผ่านการรับรอง" ในโดเมนที่อะแดปเตอร์ไม่ได้ถูกฝึกมา

การแปลงเสียงเป็นข้อความมีอยู่จริง และมีขอบเขตแคบกว่าที่พาดหัวข่าวบอกไว้

เส้นทางเสียงฝัง Granite Speech 5.0 TurboCTC ซึ่งเป็นตัวเข้ารหัส CTC แบบ conformer ที่ไม่ใช้ออโตเรเกรสซีฟขนาด 470M พารามิเตอร์ และถอดเสียงที่เข้ามา จากนั้นนำข้อความถอดเสียงไปแทรกในบริบทแชตแทนส่วนเนื้อหาเสียง การเรียกใช้งานไม่เปลี่ยนรูปแบบคำขอ: มันเป็น input_audio ส่วนเนื้อหาบน chat completion ปกติ และการถอดเสียงทำงานบนเอนด์พอยต์เดียวกับแชตและการตัดสินใจ จึงไม่มีเซิร์ฟเวอร์เสียงตัวที่สองที่ต้องตั้งขึ้นมา

ข้อควรระวังเหล่านี้ ทั้งหมดมาจากการ์ดของ IBM เอง ไม่ใช่จากนักวิจารณ์: เอนโคเดอร์รองรับเฉพาะภาษาอังกฤษ เอาต์พุตเป็นตัวพิมพ์เล็กและไม่มีเครื่องหมายวรรคตอน ไม่มีการชี้นำ ณ เวลาถอดรหัส และ — ข้อที่ควรทำให้คุณหยุด — เอนโคเดอร์เสียงและ LLM นั้น ไม่ได้ถูกฝึกมาร่วมกัน ไม่มีโปรเจกชันที่ผ่านการฝึกซึ่งเชื่อมทั้งสองเข้าด้วยกัน ดังนั้น การถอดความผิดพลาดจึงสามารถเปลี่ยนสิ่งที่โมเดลหรืออะแดปเตอร์ตอบสนองได้อย่างเงียบ ๆ หากคุณกำลังสร้างสิ่งใดก็ตามที่ความผิดพลาดในการถอดความส่งผลตามมา ประโยคนั้นก็คือการตรวจสอบด้านความปลอดภัยทั้งหมด

อะไรที่ยืนยันแล้ว อะไรที่ผู้ขายรายงาน อะไรที่ยังไม่มีใครตรวจสอบ

• ยืนยันจากรีโป — ตัวตนของโมเดลฐานและจำนวนเลเยอร์, แรงก์ของอะแดปเตอร์ทั้งสองและโมดูลเป้าหมาย, ไอดีโทเคนควบคุม, จำนวนพารามิเตอร์ที่ประกอบรวม, หน้าต่าง 131,072 โทเคน, การอนุญาตใช้งานภายใต้ Apache-2.0 และเวอร์ชัน vLLM กับ Transformers ที่บันทึกไว้ตามที่การ์ดร้องขอ

• ข้อมูลที่ผู้ผลิตอ้าง ยังไม่มีการทำซ้ำเพื่อยืนยัน — คะแนน Decision Index, ข้ออ้างว่า Granite Speech 5.0 TurboCTC เป็นโมเดล ASR ที่เร็วที่สุดบนกระดานผู้นำ OpenASR, ข้ออ้างเรื่อง "VRAM เท่ากับโมเดลพื้นฐาน", และหมายเหตุท้ายโพสต์เปิดตัวว่าโมเดล Granite Switch ขนาด 3B แบบกำหนดเองเล่นเกม Doom ได้ที่ 60–100 การตัดสินใจต่อวินาที เทียบกับที่รายงานว่า 10 ต่อวินาทีสำหรับโมเดลการตัดสินใจแบบปิด IBM กล่าวว่าจะเผยแพร่ข้อมูลเพิ่มเติม "ในอีกไม่กี่สัปดาห์ข้างหน้า" ซึ่งเป็นการยอมรับว่าหลักฐานที่มีอยู่ในปัจจุบันยังบางเบา

• ยังไม่มีใครตรวจสอบ — ส่วนที่เหลือทั้งหมด ไม่มีการประเมินอย่างอิสระ ไม่มีการจัดอันดับบนลีดเดอร์บอร์ดโดยบุคคลที่สาม ไม่มี API ที่โฮสต์โดย IBM และไม่มีการเผยแพร่การวัดความหน่วง (latency) หรือปริมาณงาน (throughput) จาก任何人ที่มิใช่ IBM รีโปบน Hub แสดงยอดดาวน์โหลดเพียงไม่กี่สิบครั้งและยอดถูกใจไม่กี่ครั้ง โมเดลนี้เพิ่งเปิดตัวได้สองวันและยังแทบไม่มีใครอ่าน

ค่าใช้จ่ายในการรันเป็นเท่าไร และ OrcaRouter เข้าอยู่ตรงไหน

Granite Switch 4.1 8B ตอนนี้เป็นเรื่องราวของการโฮสต์เอง การ์ดโมเดลระบุ HuggingFace Transformers และ vLLM เป็นแบ็กเอนด์ กำหนดช่วงการสนับสนุนที่ค่อนข้างแคบ (Transformers 5.16–5.17, vLLM 0.26–0.28) และเช็กพอยต์ทำงานร่วมกับทั้งคู่ได้โดยไม่ต้องแก้โค้ด ไม่มี managed endpoint ให้ชี้ไป ซึ่งสำหรับทีมส่วนใหญ่หมายถึง GPU หนึ่งตัวและคอนเทนเนอร์หนึ่งตัวก่อนคำขอแรก

พูดตรง ๆ เกี่ยวกับส่วนที่เหลือ: Granite Switch ยังไม่อยู่ในแคตตาล็อกของ OrcaRouter ในวันนี้ และโมเดล Granite อื่น ๆ ก็เช่นกัน — ดังนั้นถ้าคุณต้องการเช็คพอยต์นี้ เส้นทางก็คือการเปิดตัวของเจ้าของโมเดลเองและฮาร์ดแวร์ของคุณเอง ไม่ใช่เรา สิ่งที่ OrcaRouter มอบให้คุณก็คือการตัดสินใจในภาพรวมแพลตฟอร์มนี้จัดเส้นทางให้โมเดลกว่า 200 โมเดลอยู่หลังคีย์เดียว พร้อมการสลับไปใช้ระบบสำรองอัตโนมัติ และ ส่งต่อราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0% ดังนั้นเมื่อโมเดลที่คุณกำลังทดสอบเปรียบเทียบมีเอนด์พอยต์แบบโฮสต์จริง การนำไปเทียบกับตัวที่ครองตำแหน่งอยู่เดิมบนทราฟฟิกของคุณเองก็เป็นแค่การเปลี่ยนการตั้งค่า ไม่ใช่การทำสัญญาอีกฉบับ เรื่องนี้สำคัญที่สุดในสถานการณ์แบบนี้พอดี: เช็คพอยต์ที่เพิ่งออกได้สองวันโดยยังไม่มีการประเมินอิสระถือเป็นผู้ท้าชิง ไม่ใช่ผู้ครองตำแหน่ง และสิ่งที่ทำได้แบบประหยัดกับผู้ท้าชิงก็คือการวางไว้เคียงข้างกันไปก่อน แทนที่จะรื้อเส้นทางโปรดักชันมาผูกกับมัน

คำถามที่เปิดอยู่

Granite Switch 4.1 8B เป็นการเดิมพันว่าการประกอบรวมกัน (composition) ชนะสเกลสำหรับงานประเภทหนึ่งโดยเฉพาะ: แอปพลิเคชันที่ต้องตอบคำถาม ตัดสินใจ และถอดเสียง โดยที่การรันสามโมเดลหมายถึงการดีพลอยสามชุด ความหน่วงสามค่า และบิลสามใบ งานวิศวกรรมที่ทำให้การเดิมพันนี้มีต้นทุนต่ำ — การแชร์ KV cache, การสลับอะแดปเตอร์แบบต่อโทเคน, การแก้ค่า control tokens ในเทมเพลตแชต — เป็นสิ่งที่ผิดแผกไปจากปกติอย่างแท้จริง และเป็นส่วนหนึ่งของรีลีสนี้ที่ยังจะมีความสำคัญอยู่แม้ผ่านไปอีกหนึ่งปี

สิ่งที่ยังไม่เป็นที่ยุติก็คือคำตอบที่ประกอบขึ้นมานั้นดีหรือไม่ โปรไฟล์ที่เผยแพร่ของ decision adapter นั้นไม่สม่ำเสมอ เส้นทางเสียงเป็นภาษาอังกฤษเท่านั้นและไม่ได้ฝึกแบบร่วมกัน และทั้งหมดนี้เพิ่งมีอายุสองวันโดยไม่มีการรันอิสระรองรับ อ่าน build manifest รันคำสั่ง compose ด้วยตัวเอง และวัดประสิทธิภาพ decision adapter บนชุดป้ายกำกับของคุณเองก่อนที่จะเชื่อ 42.9 ของใครก็ตาม