Tag Archives: SGLang

llm-d 1.0 เปิดตัวภายใต้ CNCF พร้อมใช้งาน Production รองรับ Multi-tenant QoS และ Agent-aware Serving

กลุ่มผู้พัฒนาโครงการ llm-d เปิดตัว llm-d 1.0 ซอฟต์แวร์ Open Source ภายใต้การกำกับดูแลของ CNCF สำหรับทำ distributed inference ของ LLM โดยเวอร์ชันนี้มุ่งรองรับงาน Day 2 operations ใน production ทั้ง multi-tenant QoS, การอัปเกรดแบบ zero-downtime, configuration API v1 ที่เสถียร และการให้บริการที่รองรับ AI Agent โดยเฉพาะ

Read More »

Nvidia และ AMD ร่วมลงทุนรอบ 100 ล้านดอลลาร์ ของ RadixArk สตาร์ทอัพเครื่องมือ AI

RadixArk สตาร์ทอัพที่จัดหาเครื่องมือสำหรับนักพัฒนาปัญญาประดิษฐ์ ได้ระดมทุน 100 ล้านดอลลาร์จากกลุ่มผู้สนับสนุนระดับแนวหน้า

Read More »