
MiniCPM5-15B-A2.5B: ถูกพอร์ตโดยรันไทม์ถึงสี่ตัว แต่กลับไม่มีใครดาวน์โหลดได้
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 189 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 204 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 97 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 89 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 118 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 93 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 168 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
เมื่อวันที่ 2026-11-16 มีพูลรีเควสต์ปรากฏใน llama.cpp ชื่อ "xcy/models: เพิ่มการรองรับการอนุมาน MiniCPM5 MoE" เป็นงานที่ทำอย่างพิถีพิถัน — มีรายการสถาปัตยกรรมใหม่ เส้นทางการแปลง และการทดสอบ — และมีบรรทัดหนึ่งในส่วนการตรวจสอบความถูกต้องที่ผู้ดูแลสะดุด: ผู้เขียนได้รันมันกับ "ไฟล์ GGUF ของ MiniCPM5-15B-A2.5B ที่มีอยู่ก่อนแล้ว" บน H800 CISC ก็ถามคำถามที่เห็นได้ชัดเท่าที่ทราบยังไม่เปิดเผยต่อสาธารณะใช่ไหม? tc-mb ซึ่งโปรไฟล์ GitHub ระบุว่าอยู่ในโปรเจกต์ MiniCPM-V และ MiniCPM-o ตอบมาหนึ่งคำว่า “ok” พูลรีเควสต์ถูกปิดโดยไม่ได้ merge สองวันต่อมา และโมเดลที่เป็นเจ้าของไฟล์ GGUF เหล่านั้น — MiniCPM5-15B-A2.5B ซึ่งเป็นรายการ sparse mixture-of-experts ในสาย MiniCPM5 ของ OpenBMB — ก็ยังไม่มีรีโพซิทอรี ไม่มีการ์ดโมเดล ไม่มีไฟล์ใบอนุญาต และไม่มีประกาศใด ๆ ที่เราหาเจอที่ไหนเลย
ดังนั้นนี่คือบทความว่าด้วยสิ่งที่เรารู้จนถึงตอนนี้ และรูปร่างของหลักฐานสำคัญกว่าปกติ ในกรณีนี้ไม่มีหน้าสินค้าให้อ่าน และไม่มีเกณฑ์วัดจากผู้ขายให้โต้แย้ง สิ่งที่มีอยู่คือชุดแพตช์เอนจินจากสแตกการอนุมานสี่ชุดแยกกัน ซึ่งเขียนโดยผู้ที่มีเช็กพอยต์อยู่ตรงหน้า พร้อมบันทึกการทดสอบของพวกเขา เท่านี้ก็เพียงพอที่จะอธิบายสถาปัตยกรรมของ MiniCPM5 MoE ได้ค่อนข้างแม่นยำ และบอกได้อย่างตรงไปตรงมาว่าการรองรับนั้นโตเต็มที่แค่ไหน แต่ยังไม่พอจะบอกว่ามодельได้คะแนนเท่าไร ต้องใช้ต้นทุนเท่าไร หรือเมื่อไรคุณจะรันมันได้
สิ่งที่ชื่อสามารถบอกคุณได้
ชื่อ checkpoint เป็นเอกสารข้อมูลสเปกเพียงฉบับเดียวที่ใครก็ตามนอก ModelBest เผยแพร่ออกมา MiniCPM5-15B-A2.5B สื่อความว่าเป็น 15B พารามิเตอร์ทั้งหมด โดยมี 2.5B ที่ active ต่อโทเคน — ซึ่งเป็นธรรมเนียม total-and-active ที่ sparse MoE ทุกรุ่นในคลาสขนาดนี้ตั้งแต่ Mixtral เป็นต้นมาใช้กัน ไม่มีสิ่งใดในแพตช์ใดๆ ขัดแย้งกับเรื่องนี้ และบันทึกการทดสอบของพอร์ต SGLang เองก็กล่าวถึง "the original 15B checkpoint config" ที่ resolve ได้โดยไม่ต้องแก้ไข ซึ่งสอดคล้องกัน
ทุกอย่างหลังจากนั้นคือการคาดเดา และคุ้มค่าที่จะพูดตรง ๆ ว่าทำไม แพตช์ SGLang เพิ่มMiniCPM5Config ซึ่งเป็นคลาสที่ค่าเริ่มต้นระบุ 32 เลเยอร์, 4,096 hidden, 32 เฮด, 64 routed experts, 2 shared experts และ expert FFN ที่กว้าง 1,407 ค่าเหล่านี้เป็นค่าเริ่มต้นของคลาสที่สืบทอดมาจากเทมเพลต GLM-4 ไม่ใช่ค่าของเช็กพอยต์ — ไฟล์เดียวกันตั้งค่าเริ่มต้นเป็นคำศัพท์ 32,000 โทเคน ซึ่งไม่มีโมเดลใกล้ระดับแนวหน้าในปี 2026 ใดที่เปิดตัวพร้อมค่านี้ อย่าตีความค่าเหล่านี้เป็นสเปก ตัวเลขเดียวที่ดูเหมือนอาจเป็นของจริงคือปัจจัยสเกลแบบ routed ที่ 3.66 ซึ่งปรากฏในการทดสอบสถาปัตยกรรมของ llama.cpp และในฟิกซ์เจอร์การทดสอบการแปลง; ฟิกซ์เจอร์ก็ยังเป็นฟิกซ์เจอร์ ดังนั้นจงมอง 3.66 ว่าเป็น "ตัวเลขที่การทดสอบถูกเขียนขึ้นโดยอ้างอิงถึง" มากกว่าจะเป็นค่าคงที่ที่ยืนยันแล้ว
สถาปัตยกรรม ซึ่งอ่านได้จากแพตช์สี่ชุด
พอร์ตอิสระสี่พอร์ตมาบรรจบกันที่คำอธิบายเดียวกัน ซึ่งเป็นสิ่งที่น่ามั่นใจที่สุดเกี่ยวกับการรั่วไหลนี้ แพตช์ SGLang ชัดเจนที่สุด: โมเดล "เป็นไปตาม GLM-4.5 MoE โดยมีความแตกต่างสามประการ" — แอตเทนชันแบบเกต, rotary embeddings แบบเต็มโดยไม่มีการนอร์มัลไลซ์ q/k และเราเตอร์ที่คำนวณใน dtype ของโมเดลเองแทนที่จะอัปแคสต์
• Gated attention — การโปรเจกชัน query จะส่งออกเกตซิกมอยด์แบบต่อหัวควบคู่ไปกับ query โดยสอดแทรกกันอยู่ภายในแถวของแต่ละหัว การแปลงเป็น llama.cpp ต้องแยกทั้งสองออกจากกันทีละเทนเซอร์ ซึ่งเป็นเหตุผลที่พอร์ตทั้งสองระบุเรื่องนี้ไว้
• ช่วงนำแบบ dense ก่อน แล้วจึงเป็น experts — first_k_dense_replace เลเยอร์ชุดแรกตามจำนวนดังกล่าวเป็น FFN ธรรมดา; มีเพียงเลเยอร์หลังจากนั้นที่ใช้การ route บันทึกแพตช์ fork ของ tc-mb ระบุว่าทั้งสถาปัตยกรรมที่มีอยู่ qwen35moe และ minicpm ไม่สามารถจำลองรูปแบบนั้นได้ จึงเป็นเหตุให้ MiniCPM5 MoE ต้องมีรายการสถาปัตยกรรมของตัวเอง แทนที่จะเป็นแฟล็กบนสถาปัตยกรรมที่มีอยู่
• ผู้เชี่ยวชาญแบบ routed พร้อม shared experts — การควบคุมด้วย sigmoid, น้ำหนัก top-k ที่ปรับให้เป็นมาตรฐาน และสาขา shared-expert ที่ทำงานเคียงข้างสาขา routed โดย llama.cpp จะอ่านค่าไบอัสแก้ไขเราเตอร์แบบ FP32 (e_score_correction_bias) ต่อ MoE layer ซึ่งเป็นพจน์ไบอัสตัวเดียวกับที่เราเตอร์สไตล์ DeepSeek ใช้เพื่อรักษาสมดุลภาระของผู้เชี่ยวชาญ
• ใช้ rotary แบบเต็ม ไม่มี q/k norm — เป็น RoPE แบบธรรมดาครอบคลุมมิติของ head โดยการแปลงจะรักษามิติของ head ไว้อย่างชัดเจน แทนที่จะคำนวณจาก hidden size หารด้วยจำนวน head

DSpark คือครึ่งหลังของเรื่องราว และเป็นเหตุผลที่ทำให้การรั่วไหลนี้ไม่ใช่แค่เรียบร้อยแต่ยังน่าสนใจ DSpark คือการถอดรหัสเชิงคาดเดา (speculative decoding) ด้วยโมเดลร่างที่ผ่านการฝึก — อัลกอริทึมเดียวกับที่ OpenBMB เปิดตัวไปแล้วสำหรับ MiniCPM5-2B และ MiniCPM-V 4.7 — และแพตช์ทั้งของ SGLang และ llama.cpp ต่างเพิ่ม MiniCPM5 MoE เป็น DSpark เป้าหมาย โดยมีการอ้างอิงเช็กพอยต์ร่างแยกต่างหากชื่อ MiniCPM5-15B-A2.5B-DSpark ในตัวอย่างเอกสารของ llama.cpp ซึ่งหมายความว่าฉบับร่างนั้นมีอยู่จริงเช่นกัน ในที่จัดเก็บส่วนตัวใดก็ตามที่เป้าหมายนั้นตั้งอยู่
สี่เอนจิน หนึ่งเช็กพอยต์ที่ยังไม่ได้เผยแพร่
ไทม์ไลน์คือสิ่งที่ทำให้เรื่องนี้น่าจดบันทึก โดยปกติแล้ว การพอร์ตจะไม่นำหน้าการเปิดตัวมากขนาดนี้ในหลายสแตกเช่นนี้:
• 2026-09-17 — แพตช์ Megatron-LM บนฟอร์ก MUSA เปิดใช้งานการจัดการ capacity factor ของ MoE และ dropless routing เป็นค่าเริ่มต้นสำหรับ "minicpm5" ด้านการฝึก และเป็นร่องรอยแรกสุดที่เราพบ
• 2026-10-14 — InfiniLM ของ InfiniTensor เปิดแพตช์ที่ช่วยให้ MiniCPM5 MoE ทำงานบนแบ็กเอนด์ Denglin QY ด้วย FlashAttention และเคอร์เนล MoE/RoPE สำหรับบริบทยาว; ภาคต่อเมื่อ 2026-11-12 เพิ่มความปลอดภัยในการแคปเจอร์ CUDA-graph และเส้นทางการถอดรหัส bf16
• 2026-11-13 — ฟอร์ก llama.cpp-omni ของ tc-mb เพิ่มสถาปัตยกรรม MiniCPM5 MoE และแพตช์ที่สองในวันเดียวกันนั้นเชื่อมโยงภูมิภาคของ expert เข้ากับตัวควอนไทเซอร์ ส่วนการตรวจสอบรายงานว่า เมืองหลวงของฝรั่งเศสคือ โดยเติมต่อเป็น ปารีส และ 17×23 ให้ผลลัพธ์ 391
• 2026-11-16 — พูลรีเควสต์ต้นทางของ llama.cpp ถูกปิดเมื่อ 2026-11-18 โดยไม่มีการ merge โดยเส้นทางการแปลงถูกผลักออกนอกขอบเขต และได้รับการพิจารณาอีกครั้งในอีกสามวันต่อมาในฟอร์ก
• 2026-11-19 — SGLang เปิดพอร์ตเมื่อเวลา 09:39 ปิดพอร์ตนั้น และเปิดอีกครั้งเมื่อเวลา 10:19 ภายใต้แบรนช์ที่เปลี่ยนชื่อแล้ว ในเช้าวันเดียวกัน วิศวกร Intel เปิดแพตช์ optimum-intel ซึ่งบล็อกโค้ดแรกสุดของแพตช์นั้นเป็นคำสั่ง export ที่ระบุ openbmb/MiniCPM5-15B-A2.5Bเป็นอินพุต

อันสุดท้ายนี่คือสิ่งที่ใกล้เคียงหลักฐานเด็ดที่สุด แพตช์ของ optimum-intel ไม่ได้อธิบายถึงโมเดลสมมติ — มันรัน optimum-cli export openvino -m openbmb/MiniCPM5-15B-A2.5B --weight-format int4 และรายงานความแม่นยำเทียบกับต้นฉบับ ใครก็ตามที่เขียนมันขึ้นมามีน้ำหนักโมเดลอยู่ในมือ พาธบน Hub ที่มันระบุไว้ไม่คืนอะไรเลยต่อคำขอแบบไม่ระบุตัวตน และ README ของ MiniCPM จาก OpenBMB เองก็ยังระบุวันที่ 2026-09-07 และรุ่น 2B เป็นรุ่นล่าสุด โดยไม่มีรายการ MoE อยู่ที่ไหนเลยในตารางโมเดลของมัน
สิ่งที่บันทึกการทดสอบแสดงให้เห็นจริง ๆ
นี่คือส่วนที่ต้องอ่านให้ช้า เพราะตัวเลขในแพตช์เหล่านี้เป็นการตรวจสอบทางวิศวกรรม ไม่ใช่เกณฑ์มาตรฐาน benchmarking และมีสองตัวที่ล้มเหลว
การรัน llama.cpp เป็นการรันที่ครอบคลุมที่สุด น้ำหนัก BF16, Q8_0 และ Q4_K_M ทั้งหมดสร้างและยอมรับโทเคนร่าง DSpark บน H800 โดยมี draft อยู่ที่ --spec-draft-n-max 2. ตัวอย่าง tokenizer แปดตัวอย่างตรงกับ tokenizer ของ Hugging Face ทุกประการ ค่า NMSE ระหว่าง CPU กับ CUDA ในการทดสอบสถาปัตยกรรมแบบสังเคราะห์คือ 1.00e-06 และจากนั้นก็มีข้อควรระวัง ซึ่งเป็นคำพูดของผู้เขียนเองว่า การถอดรหัสแบบ greedy ทั่วไปและการถอดรหัส DSpark "แสดงความแตกต่างระดับโทเคน" สาเหตุ "ยังไม่ได้รับการอธิบายลักษณะอย่างสมบูรณ์" และความเท่าเทียมของเอาต์พุต "ยังไม่ได้รับการยืนยัน" ไม่มีการรันทดสอบความเท่ากันของ logits เทียบกับ checkpoint ต้นฉบับ ไม่มีการประเมินคุณภาพ และไม่มีตัวเลขประสิทธิภาพ ผู้เขียนระบุอย่างชัดเจนว่าไม่มีการกล่าวอ้างถึงการเร่งความเร็ว
การรัน SGLang ให้ข้อมูลที่เป็นประโยชน์กว่าเพราะมันแยกตัวแปรได้ ตัวหนึ่ง กับการใช้ attention แบบ Triton นั้น DSpark ดำเนินการขั้นตอนการตรวจสอบ 93 ขั้นตอนจากการสร้างข้อความขนาด 64 โทเคนสี่ครั้ง และเบี่ยงเบนจากการถอดรหัสปกติในทุกพรอมป์ ส่วนการใช้ attention แบบ FA3 นั้น checkpoint ขนาด 15B และ draft ชุดเดียวกันให้ ID โทเคนแบบ greedy ที่ตรงกันทั้งสี่ครั้ง ความคลาดเคลื่อนของ Triton ยังคงเปิดอยู่ในแพตช์ตามที่เขียนไว้ ให้อ่านสิ่งนั้นตามที่เป็นจริง: ความแตกต่างของเส้นทางเคอร์เนลที่บางคนพบและยังไม่ได้อธิบาย ไม่ใช่ข้อความเกี่ยวกับตัวโมเดล
ตัวเลขของ OpenVINO เป็นสัญญาณคุณภาพเชิงปริมาณเพียงอย่างเดียวในชุดทั้งหมด และอยู่ในระดับไม่สูงนัก เมื่อเทียบกับโมเดลต้นฉบับใน FP32 บน 26 พรอมต์และ 128 โทเคนใหม่ คะแนนความคล้ายคลึงข้อความของ WWB อยู่ที่ 0.9934 สำหรับ bf16 บน CPU, 0.9455 สำหรับ int8 และ 0.8710 สำหรับ int4 ภายใต้แบ็กเอนด์ GenAI SDPA; บน GPU B70 อยู่ที่ 0.9498 สำหรับ int8 และ 0.8646 สำหรับ int4 การแปลงเป็น int4 ที่ได้ 0.87 เป็นผลลัพธ์ด้านความเที่ยงตรงของการแปลง ซึ่งบอกว่ากราฟที่ควอนไทซ์เบี่ยงเบนไปจากค่าอ้างอิง ไม่ได้บอกว่าค่าอ้างอิงนั้นดี ยังไม่มีใครเผยแพร่คะแนน benchmark สำหรับ MiniCPM5-15B-A2.5B และจนกว่าจะมีใครทำเช่นนั้น ก็ไม่มีพื้นฐานใดที่จะเรียกมันว่าแข็งแกร่งหรืออ่อนแอ

มันจะอยู่ตรงไหนหากจัดส่ง
ซีรีส์ MiniCPM5 ของ OpenBMB จนถึงตอนนี้คือการโต้แย้งเรื่องความหนาแน่น รุ่น 1B เปิดตัวเมื่อ 2026-05-19 และรุ่น 2B เมื่อ 2026-09-07 ทั้งคู่เป็นแบบ dense ทั้งคู่ใช้ Apache-2.0 ทั้งคู่ถูกสร้างขึ้นสำหรับการติดตั้งบนอุปกรณ์ — รุ่น 2B เป็น LlamaForCausalLM ธรรมดาโดยไม่มี custom kernel ซึ่งเป็นเหตุผล precisely ที่ทำให้มันถูกพอร์ตไปยัง llama.cpp, MLX, ONNX และชุดเครื่องมือ NPU อีกครึ่งโหลได้ภายในไม่กี่สัปดาห์ รุ่นพี่ที่มีพารามิเตอร์รวม 15B และ active 2.5B จะเป็น MiniCPM5 รุ่นแรกที่ไม่ใช่โมเดล edge: งบประมาณ active เท่ากับรุ่น 2B น้ำหนักที่จัดเก็บมากกว่าราวหกเท่า และเลเยอร์ routing ที่ต้องได้รับการให้บริการอย่างดีจึงจะคุ้มค่าหน่วยความจำของมัน
กรอบความคิดนั้นยังอธิบายลักษณะที่แปลกประหลาดของการรั่วไหลครั้งนี้ได้ด้วย ถ้า MiniCPM5 MoE มุ่งเป้าไปที่การให้บริการมากกว่าสมาร์ทโฟน การพอร์ตเอนจินก็ไม่ใช่ของแถมที่ค่อยส่งมอบหลังเปิดตัว แต่เป็นสิ่งที่ต้องมีก่อนเปิดตัว และมีคนกำลังทำสิ่งเหล่านี้ล่วงหน้า การที่บัญชี GitHub เดียวกันเปิดพอร์ตทั้ง llama.cpp และ SGLang การที่สมาชิกโปรเจกต์ MiniCPM กำลังนำแพตช์ฟอร์กเข้ามา และการที่มีดราฟต์เช็กพอยต์อยู่แล้วสำหรับ DSpark ล้วนชี้ไปทางเดียวกัน: นี่คือโมเดลที่กำลังถูกเตรียมเปิดตัวโดยคนที่มีสิทธิ์เข้าถึงมัน ไม่ใช่ข่าวลือที่ประกอบขึ้นจากบันทึกการเปลี่ยนแปลง
อะไรจะเปลี่ยนแปลงภาพนี้
สามสิ่ง โดยเรียงตามว่าสิ่งเหล่านั้นจะช่วยให้กระจ่างได้มากแค่ไหน
อย่างแรก คือรีโพซิทอรี หน้า Hub หรือ ModelScope ที่มีคอนฟิก ไลเซนส์ และการ์ด จะเปลี่ยนย่อหน้าข้างต้นส่วนใหญ่จากการอนุมานให้เป็นข้อเท็จจริง และจะทำให้ค่าเริ่มต้นของคอนฟิกที่ฉันเตือนไว้มีสิ่งที่ใช้ตรวจสอบได้ทันที
ประการที่สอง เกณฑ์วัดจากแหล่งข้อมูลปฐมภูมิ การ์ดของ MiniCPM5-2B มีค่าเฉลี่ยของชุดทดสอบที่ 53.9 และมีช่องผลรายงานต่องานสำหรับ LiveCodeBench, AIME และ SWE-bench ส่วนโมเดล 15B-A2.5B ที่ไม่มีตารางเทียบเท่านั้นถือเป็นโมเดลที่ข้อเสนอคุณค่าทั้งหมดยังไม่ได้ถูกวัด การมีรายการใน Artificial Analysis ก็ทำได้ เพราะเป็นอิสระจากผู้พัฒนา
ประการที่สาม พอร์ตที่ถูก merge แล้ว แพตช์ทุกตัวที่อธิบายไว้ที่นี่ไม่ถูกปิด ไม่ก็เป็นฉบับร่าง หรือค้างอยู่ในฟอร์กส่วนตัว การสนับสนุนที่มีอยู่เพียงในพูลรีเควสที่ยังไม่ถูก merge คือการสนับสนุนที่คุณติดตั้งไม่ได้ และ — ดังที่ความแตกต่างระหว่าง Triton กับ FA3 แสดงให้เห็น — ความถูกต้องบนสถาปัตยกรรมนี้ยังอยู่ระหว่างการพิสูจน์ทีละเคอร์เนล
ผลที่เกิดขึ้นจริงสำหรับผู้อ่านในวันนี้เรียบง่ายมาก: ไม่มีอะไรต้องดาวน์โหลด ไม่มีอะไรต้องเรียกใช้ ไม่มีอะไรต้องย้ายระบบ สิ่งที่โมเดลแบบนี้จะเปลี่ยนไปเมื่อมันมาถึงจริงคือการตัดสินใจว่าเวิร์กโหลดจะรันอยู่ที่ไหน และการตัดสินใจนั้นมักทำกันภายใต้แรงกดดันด้านเวลาพร้อมหลักฐานที่ไม่ครบถ้วน ซึ่งเป็นสถานการณ์ที่เลเยอร์จัดเส้นทางถูกสร้างขึ้นมาเพื่อรองรับพอดี OrcaRouter นำโมเดลที่โฮสต์ไว้กว่า 200 โมเดลมารวมไว้หลัง API เดียวในราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่มดังนั้นการเปรียบเทียบที่คุณอยากลองทำ คือเอาชีพอยต์นี้ไปเทียบกับอะไรก็ตามที่คุณเรียกใช้อยู่ในปัจจุบัน ไม่ต้องเสียค่าใช้จ่ายใด ๆ ในการตั้งขึ้นมาทดสอบเมื่อมีใครสักรายโฮสต์มันไว้แล้ว การสลับไปใช้ตัวสำรองโดยอัตโนมัติหมายความว่าโมเดลที่เพิ่งเปิดตัวในสัปดาห์แรกไม่จำเป็นต้องแบกรับเส้นทางโปรดักชันเพียงลำพัง ทั้งหมดนี้ไม่จำเป็นต้องรอให้ MiniCPM5-15B-A2.5B พร้อมใช้งาน และเราไม่ได้ให้บริการโมเดลนี้ด้วย — มันเป็นตาข่ายนิรภัยรอบ ๆ โมเดลที่คุณพึ่งพาอยู่แล้ว ในระหว่างที่โมเดลที่ยังไม่เปิดตัวกำลังพิสูจน์ตัวเอง
จนถึงตอนนั้น สรุปที่ตรงไปตรงมาคือสิ่งที่เธรด llama.cpp ให้ไว้กับเรา: ไฟล์ GGUF มีอยู่จริง และยังไม่เปิดเผยต่อสาธารณะ รันไทม์สี่ตัวได้เขียนโค้ดสำหรับโหลดไฟล์เหล่านี้แล้ว ให้จับตาดูหน้าองค์กร OpenBMB และ pull request ที่เปิดอยู่สองรายการ ตามลำดับนั้น — การปรากฏขึ้นของรีโพซิทอรีคือสัญญาณ และพอร์ตที่ถูก merge คือการยืนยันว่าสถาปัตยกรรมเป็นอย่างที่แพตช์เหล่านี้ระบุไว้
