TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
NVIDIA เปิดตัว Spectrum-6 สวิตช์ Ethernet ที่รองรับ Throughput สูงถึง 102.4 Tb/s หรือเพิ่มขึ้น 2 เท่าจากรุ่นก่อนหน้า โดยออกแบบมาสำหรับ AI Factory ระดับ Gigascale บนแพลตฟอร์ม NVIDIA Vera Rubin
ประสิทธิภาพของ AI Factory ในปัจจุบันไม่ได้ขึ้นอยู่กับประสิทธิภาพสูงสุดของ GPU เพียงอย่างเดียวอีกต่อไป เนื่องจากการฝึกโมเดลขนาดใหญ่และการทำ Inference ต้องอาศัย Accelerator จำนวนหลายพันตัวแลกเปลี่ยนข้อมูลระหว่างกันอย่างต่อเนื่อง การทำ Collective Communications ในลักษณะนี้สร้าง Traffic แบบ East-West ที่หนาแน่นและเกิดขึ้นพร้อมกันทั้งระบบ ขณะที่ Ethernet แบบมาตรฐานถูกออกแบบมาเพื่อรองรับแอปพลิเคชันระดับองค์กรและ Traffic แบบ North-South ระหว่างผู้ใช้งาน เซิร์ฟเวอร์ และ Storage เป็นหลัก จึงไม่ได้ตอบโจทย์รูปแบบการสื่อสารของ Workload ด้าน AI ในระดับ Gigascale โดยตรง
Spectrum-6 ทำหน้าที่เป็นแกนหลักของแพลตฟอร์ม Spectrum-X Ethernet รุ่นใหม่ โดยทำงานร่วมกับ ConnectX-9 SuperNIC และเป็นหนึ่งในองค์ประกอบของสถาปัตยกรรม Vera Rubin ที่ประกอบด้วย Vera CPU, Rubin GPU, NVLink 6 Switch, BlueField-4 DPU และ Spectrum-6 Ethernet Switch ตัวสวิตช์รองรับ Optics ทั้งแบบ Pluggable และ Co-Packaged พร้อมรุ่นที่รองรับ Liquid Cooling เพื่อให้ระบบระบายความร้อนของ AI Factory เป็นรูปแบบเดียวกันตั้งแต่ต้นทางถึงปลายทาง และช่วยเพิ่มประสิทธิภาพด้านพลังงานของระบบเครือข่าย นอกจากนี้ยังรองรับ Network Operating System แบบเปิด และเปิดให้เลือกรูปแบบการรับส่งข้อมูลแบบ RDMA ได้ตามความเหมาะสมของแต่ละองค์กร
ในด้านประสิทธิภาพ NVIDIA ระบุว่า Spectrum-X ให้ประสิทธิภาพด้านเครือข่ายสำหรับงาน AI สูงกว่า Ethernet ทั่วไปได้สูงสุด 1.6 เท่า และรักษาระดับ Network Efficiency ได้สูงถึง 95% ในการติดตั้งที่มี GPU มากกว่า 100,000 ตัว โดยใช้กลไกกระจาย Traffic ไปตามเส้นทางที่มีอยู่อย่างสมดุล หลบเลี่ยงจุดที่เกิดความล้มเหลวได้อย่างรวดเร็ว และกู้คืนข้อมูลเฉพาะส่วนที่ส่งไม่ถึงปลายทาง ขณะที่การทำ Spectrum-X Multiplane Topologies ซึ่งเร่งความเร็วด้วยฮาร์ดแวร์ ช่วยลดจำนวนสวิตช์ที่ต้องใช้ภายใน Data Center ลง 1.7 เท่า ส่วน Spectrum-X Ethernet Photonics ให้ประสิทธิภาพด้านพลังงานสูงขึ้น 5 เท่า และมีค่า Mean Time Between Incidents ดีขึ้น 10 เท่า
สำหรับผู้ให้บริการที่นำ Spectrum-6 ไปใช้งานเป็นกลุ่มแรก ได้แก่ CoreWeave, Microsoft, Nebius, SpaceXAI และ Tesla โดย CoreWeave, Microsoft และ Nebius จะเป็นกลุ่มแรกที่ติดตั้งโครงสร้างพื้นฐานบนสถาปัตยกรรม Vera Rubin ร่วมกับ Spectrum-6 ทั้งนี้ NVIDIA วางแนวทางของตนเองเป็นการออกแบบร่วมกันทั้งชิป ระบบ และซอฟต์แวร์ แต่ยังคงเปิดกว้างด้วยการรองรับ Ethernet มาตรฐาน โปรโตคอลแบบเปิด และระบบนิเวศของพาร์ทเนอร์ เพื่อลดเวลาในการฝึกโมเดลและต้นทุนต่อ Token
ที่มา: https://blogs.nvidia.com/blog/nvidia-spectrum-six-arrives-in-gigascale-ai-factories/
