Tag Archives: distributed inference

llm-d 1.0 เปิดตัวภายใต้ CNCF พร้อมใช้งาน Production รองรับ Multi-tenant QoS และ Agent-aware Serving

กลุ่มผู้พัฒนาโครงการ llm-d เปิดตัว llm-d 1.0 ซอฟต์แวร์ Open Source ภายใต้การกำกับดูแลของ CNCF สำหรับทำ distributed inference ของ LLM โดยเวอร์ชันนี้มุ่งรองรับงาน Day 2 operations ใน production ทั้ง multi-tenant QoS, การอัปเกรดแบบ zero-downtime, configuration API v1 ที่เสถียร และการให้บริการที่รองรับ AI Agent โดยเฉพาะ

Read More »