TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Broadcom ได้ประกาศให้ VMware Private AI Foundation with NVIDIA เข้าสู่สถานะพร้อมใช้งานแล้ว ซึ่งเป็นก้าวใหม่ที่สำคัญต่อความสามารถ VMware Cloud Foundation
ความสามารถนี้เริ่มต้นขึ้นเมื่อ VMware ได้มอบความสามารถในการมอนิเตอร์การทำงานของ GPU ได้ ซึ่งปัจจุบันผู้ดูแลระบบสามารถมองเห็นแดชบอร์ดสรุปการใช้งาน รวมถึงค่ารายละเอียดเชิงลึกได้ กล่าวคือเห็นได้ว่า GPU ทำงานเป็นอย่างไรในคลัสเตอร์หรือเซิร์ฟเวอร์ เพื่อให้สามารถเข้าไปแก้ไขปัญหาได้อย่างรวดเร็ว
อีกส่วนหนึ่งก็คือ PowerCLI Script ที่ทีมงาน VMware พัฒนาขึ้นให้สามารถบริหารจัดการแพลตฟอร์ม AI ได้ง่ายขึ้น โดยความสามารถแยกเป็น 2 ส่วนคือ
- ขั้นเตรียมโครงสร้างพื้นฐาน – สคิร์ปต์สามารถใช้เพื่อสร้างโดเมนให้ workload ใน VCF และช่วยตั้งค่า NVidia vGPU Manager และสร้าง NSX Edge Cluster
- ขั้นเปิดใช้งาน – เปิดใช้ Kubernetes Supervisor Cluster ในโดเมน ซึ่งจำเป็นต่อการบริหารจัดการปฏิบัติการด้าน AI และการ deploy ใช้งาน
อันที่จริงแล้วส่วนที่สำคัญของโซลูชันนี้คือการที่ VMware Private AI Foundation with NVidia สามารถรองรับ NVidia AI Enterprise ได้ที่ประกอบด้วย NIM inference microservice และ Nemo Retriever microservice ที่เป็นศูนย์กลางในการ deploy แอปพลิเคชัน LLM และ Retrieval-Augmented Generation โดยมี PowerCLI Script ที่ทำให้เกิดการดาวน์โหลดและ deploy บริการบน Deep Learning VM ได้อัตโนมัติ
ที่มา : https://www.storagereview.com/news/vmware-private-ai-foundation-with-nvidia-now-ga
