Google Cloud เปิดตัว TPU รุ่นที่ 6 “Trillium” พร้อมอัพเกรด AI Hypercomputer

Google Cloud ประกาศเปิดตัว TPU รุ่นที่ 6 ชื่อ “Trillium” พร้อมอัพเกรด AI Hypercomputer รวมถึง A3 Ultra VMs ที่ขับเคลื่อนด้วย NVIDIA H200 Tensor Core GPUs เพื่อรองรับการประมวลผล AI ที่ซับซ้อนยิ่งขึ้น

Trillium TPU รุ่นที่ 6 มาพร้อมประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญเมื่อเทียบกับ TPU v5e โดยมีประสิทธิภาพในการเทรนโมเดลเพิ่มขึ้นกว่า 4 เท่า, ความเร็วในการทำ inference เพิ่มขึ้นถึง 3 เท่า, ประสิทธิภาพการใช้พลังงานดีขึ้น 67% และมีประสิทธิภาพการประมวลผลต่อชิปเพิ่มขึ้น 4.7 เท่า นอกจากนี้ยังมาพร้อม High Bandwidth Memory (HBM) และ Interchip Interconnect (ICI) bandwidth ที่เพิ่มขึ้นเป็น 2 เท่า ทำให้สามารถทำงานกับโมเดลขนาดใหญ่ได้อย่างมีประสิทธิภาพ โดยเฉพาะอย่างยิ่งกับ LLM อย่าง Gemma 2 และ Llama รวมถึงโมเดล Stable Diffusion XL

Google Cloud ยังได้ประกาศเปิดตัว A3 Ultra VMs ที่ใช้ NVIDIA H200 Tensor Core GPUs ซึ่งจะเปิดให้ใช้งานในเดือนหน้า พร้อมด้วย Hypercompute Cluster ระบบคลัสเตอร์ที่ปรับขนาดได้สูงสำหรับ A3 Ultra VMs โดยมาพร้อมกับ bandwidth การเชื่อมต่อระหว่าง GPU เพิ่มขึ้น 2 เท่า, ประสิทธิภาพการทำ LLM inference สูงขึ้นถึง 2 เท่า และความสามารถในการปรับขนาดถึงระดับหมื่น GPUs นอกจากนี้ยังมีการเปิดตัว C4A VMs ที่ใช้หน่วยประมวลผล Axion แบบ custom Arm-based และ Hyperdisk ML บริการ block storage สำหรับงาน AI/ML ที่ช่วยเร่งความเร็วในการโหลดโมเดลได้สูงถึง 11.9 เท่าสำหรับงาน inference และ 4.3 เท่าสำหรับการเทรนโมเดล

ที่มา: https://cloud.google.com/blog/products/compute/trillium-sixth-generation-tpu-is-in-preview