TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
กลุ่มผู้พัฒนาโครงการ llm-d เปิดตัว llm-d 1.0 ซอฟต์แวร์ Open Source ภายใต้การกำกับดูแลของ CNCF สำหรับทำ distributed inference ของ LLM โดยเวอร์ชันนี้มุ่งรองรับงาน Day 2 operations ใน production ทั้ง multi-tenant QoS, การอัปเกรดแบบ zero-downtime, configuration API v1 ที่เสถียร และการให้บริการที่รองรับ AI Agent โดยเฉพาะ
llm-d ก่อตั้งขึ้นในปี 2025 โดย Red Hat, IBM, Google Cloud, CoreWeave และ NVIDIA ก่อนจะย้ายมาอยู่ภายใต้การดูแลของ Cloud Native Computing Foundation (CNCF) ตัวโครงการเน้นช่วยองค์กรที่ต้องรัน inference บนโครงสร้างพื้นฐานขนาดใหญ่ ขณะที่งานแบบ agentic AI สร้างภาระที่ต่างไปจากเดิม เพราะ AI Agent ต้องเรียกใช้และนำ context จำนวนมากกลับมาใช้ซ้ำอยู่ตลอด ทั้งยังมี agent ทำงานคู่ขนานกันจนเกิด traffic พุ่งขึ้นแบบคาดเดาไม่ได้ ในหลายกรณีการจัดการ context กินทรัพยากรมากกว่าการสร้างผลลัพธ์สุดท้ายเสียอีก ก่อนหน้านี้ llm-d รองรับฮาร์ดแวร์หลากหลายแบบ (hardware heterogeneity) พร้อมความสามารถอย่าง prefix-cache และ load-aware routing, KV cache offloading, prefill/decode disaggregation, wide expert parallelism รวมถึง batch และ async inference อยู่แล้ว โดยใช้งานได้กับ model server หลายตัว เช่น vLLM และ SGLang
ความสามารถใหม่ใน llm-d 1.0 เน้นที่งานดูแลระบบ inference ใน production เป็นหลัก มีรายละเอียดดังนี้
- Multi-tenant quality of service มี flow control ที่คำนึงถึงลำดับความสำคัญ (priority) และความเป็นธรรม (fairness) ทำให้ request ที่ต้องการ latency ต่ำกับงานของ agent ที่มี traffic กระชากใช้ fleet เดียวกันได้โดยไม่แย่งทรัพยากรจนอีกฝั่งทำงานไม่ได้
- Zero-downtime operations รองรับ router high availability แบบ hot standby และ rolling update เพื่อให้ traffic ยังไหลได้ระหว่างอัปเกรดหรือปิดปรับปรุงตามแผน รวมถึงจัดการ replica ของ prefill และ decode เป็นหน่วยเดียวกัน (logical unit) พร้อม rollout แบบประสานกันและอัปเกรดแบบ lockstep ทำให้นำ disaggregated serving ไปใช้ใน production ได้จริง
- Stable foundation มี configuration API v1 และ request path ที่ผ่านการทดสอบบนหลาย Cloud และหลาย accelerator ให้องค์กรใช้เป็นมาตรฐานได้
- Agent-aware serving ใช้ session-aware routing เพื่อส่งบทสนทนาแบบ multi-turn ไปยังจุดที่มี context อยู่ใน cache แล้ว ร่วมกับ turn-priority scheduling และการรองรับ state ของ Responses API แบบ native ช่วยให้ agent นำ context กลับมาใช้ข้ามแต่ละ turn และลดการประมวลผลซ้ำ
ด้านตัวเลขประสิทธิภาพ ในกรณีใช้งานล่าสุดของ IBM Research ที่ใช้ open frontier model ร่วมกับ llm-d สำหรับงานสำรวจการออกแบบฮาร์ดแวร์ quantum error correction พบว่าค่าใช้จ่ายด้าน inference ต่ำกว่าการใช้ระบบแบบ proprietary ทั้งหมดถึง 11.5 เท่า โดยมี prefix-cache hit rate ประมาณ 98% และต้นทุนการให้บริการเฉลี่ยราว 0.11 ดอลลาร์ต่อ 1 ล้าน token ส่วนการทดสอบอีกชุดที่ใช้ benchmark workload นักวิจัยใช้ llm-d deploy โมเดล GLM 5.2 ซึ่งเป็น open-weight model แบบ mixture-of-experts ขนาดราว 753B parameters บน GPU ของ NVIDIA ที่ใช้งานกันแพร่หลาย เมื่อรันงานที่มี agentic session คู่ขนานหลายร้อย session ระบบให้ output ได้สูงสุดกว่า 6.6 ล้าน token ต่อนาที รองรับ coding agent พร้อมกันได้ถึง 3,000 ตัวโดยไม่มี preemption เลย เมื่อคำนวณจากค่าเช่า Cloud ปัจจุบัน ต้นทุนต่อ token ต่ำกว่าราคา API เชิงพาณิชย์ที่เทียบเท่ากันราว 5-10 เท่า และประหยัดได้มากที่สุดในรูปแบบ traffic ที่ input หนัก ซึ่งพบบ่อยในงาน agentic นอกจากนี้การทดสอบชุดที่สามยังพบว่า output throughput สูงขึ้น 3 เท่า
ปัจจุบันโครงการ llm-d มีผู้ร่วมพัฒนามากกว่า 500 รายจากกว่า 25 องค์กร ฝั่งพันธมิตรระบุแนวทางการใช้งานไว้หลายส่วน เช่น Google Cloud นำ llm-d 1.0 เข้าไปใน Google Kubernetes Engine และเปิดใช้บน Google TPU และ NVIDIA GPU, CoreWeave ให้ลูกค้ารัน llm-d บน CoreWeave Kubernetes Service ควบคู่กับ NVIDIA Dynamo, NVIDIA เตรียมนำ llm-d มาใช้บน NVIDIA Vera Rubin และ AMD รองรับบน AMD Instinct GPU ส่วนองค์กรผู้ใช้งานอย่าง DigitalOcean, JetBrains, Mistral, Cohere และ Roblox ก็ใช้ llm-d ในระบบให้บริการโมเดลของตนเอง ทั้งนี้ชุมชน llm-d มีแผนพัฒนาต่อเพื่อรองรับฮาร์ดแวร์และโมเดลใหม่ ๆ ที่จะออกมาในอนาคต
