Tag Archives: kv cache

llm-d 1.0 เปิดตัวภายใต้ CNCF พร้อมใช้งาน Production รองรับ Multi-tenant QoS และ Agent-aware Serving

กลุ่มผู้พัฒนาโครงการ llm-d เปิดตัว llm-d 1.0 ซอฟต์แวร์ Open Source ภายใต้การกำกับดูแลของ CNCF สำหรับทำ distributed inference ของ LLM โดยเวอร์ชันนี้มุ่งรองรับงาน Day 2 operations ใน production ทั้ง multi-tenant QoS, การอัปเกรดแบบ zero-downtime, configuration API v1 ที่เสถียร และการให้บริการที่รองรับ AI Agent โดยเฉพาะ

Read More »

SK hynix ทุ่ม 54 ล้านล้านวอน สร้างโรงงาน DRAM และ NAND ใหม่ รองรับความต้องการ AI Memory ระยะยาว

SK hynix ประกาศอนุมัติงบลงทุนรวมราว 54 ล้านล้านวอน สำหรับสร้างโรงงานผลิตชิปหน่วยความจำแห่งใหม่ 2 แห่งที่เมือง Yongin และ Cheongju ประเทศเกาหลีใต้ เพื่อรองรับความต้องการ Memory ในยุค AI ที่เติบโตต่อเนื่อง

Read More »