Microsoft Azure เปิดตัว ND H100 v5 VM ใหม่ ใช้งาน NVIDIA H100 Tensor Core GPU

Microsoft Azure เปิดตัว ND H100 v5 VM ใหม่ ใช้งาน NVIDIA H100 Tensor Core GPU และ NVIDIA Quantum-2 InfiniBand

Microsoft Azure ได้ประกาศ General Availability สำหรับ Virtual Machine (VM) รุ่น Azure ND H100 v5 ที่ทำงานบน NVIDIA H100 Tensor Core GPU และเชื่อมต่อเครือข่ายผ่าน NVIDIA Quantum-2 InfiniBand ช่วยรองรับการใช้งานระบบ AI Workload ขนาดใหญ่ โดยเป็นการต่อยอดบริการ Azure OpenAI Service สำหรับลูกค้าองค์กร โดย VM รุ่นนี้มีจุดเด่นดังนี้

• ใช้งาน NVIDIA H100 Tensor Core GPU ช่วยเพิ่มประสิทธิภาพการประมวลผล AI ให้สูงที่สุด เชื่อมต่อผ่าน PCIe Gen5 ที่ปรับแต่งมาพิเศษ มี Bandwidth 64GB/s ต่อ GPU
• ใช้งานหน่วยประมวลผล 4th Gen Intel Xeon Scalable Processor ช่วยเพิ่มประสิทธิภาพการทำ AI Training และ Inferencing
• ใช้งาน NVIDIA Quantum-2 ConnectX-7 InfiniBand ความเร็ว 400Gb/s ต่อ GPU และ 3.2 Tb/s ต่อ VM ช่วยให้การเชื่อมต่อระหว่าง Node เป็นรูปแบบ Low-latency เพื่อสร้างเป็น Cluster ประมวลผลความเร็วสูง
• มาพร้อมหน่วยความจำแบบ 4800MHz DDR5 แบบ 16 Channels ความเร็วสูง
• รองรับ 8-bit FP8 floating point data type ช่วยเพิ่มความเร็ว Matrix Multiplication Operations สูงสุด 6 เท่าเมื่อเทียบกับ FP16 ในรุ่นก่อน และเมื่อเทียบการใช้งาน Large Language Model เช่น BLOOM 175B กับรุ่นก่อน ช่วยเพิ่มความเร็วได้ถึง 2 เท่า

ปัจจุบัน Azure ND H100 v5 VM เปิดให้ใช้งานใน Region East United States และ South Central United States แล้ว ลูกค้าที่สนใจสามารถลงทะเบียนขอใช้งานได้ทันที

ที่มา: https://azure.microsoft.com/en-us/blog/scale-generative-ai-with-new-azure-ai-infrastructure-advancements-and-availability/