TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Google Cloud เปิดให้บริการชิป Trillium AI อย่างเป็นทางการแบบ General Availability โดยชิป Trillium มีประสิทธิภาพสูงกว่ารุ่นก่อนถึง 3 เท่า
Google Cloud ได้เปิดตัวชิป Trillium สำหรับประมวลผล AI รุ่นใหม่ล่าสุดที่มาพร้อมกับประสิทธิภาพการทำ Inference เร็วขึ้น 3 เท่า และการฝึกฝนโมเดล AI เร็วขึ้น 2.5 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ที่สำคัญคือใช้พลังงานน้อยลง 67% ทำให้สามารถประหยัดค่าใช้จ่ายในการรัน AI Workload บนระบบ Cloud ได้ดียิ่งขึ้น โดยชิปรุ่นนี้มาพร้อมโมดูล TensorCore ที่เพิ่มขนาดและความเร็วของการคำนวณเมทริกซ์ รวมถึงโมดูล SparseCore ที่ออกแบบมาเพื่อประมวลผลข้อมูล Embedding ขนาดใหญ่โดยเฉพาะ
นอกจากนี้ Google ยังได้เพิ่มขนาดหน่วยความจำ HBM และแบนด์วิดท์การเชื่อมต่อระหว่างชิปเป็น 2 เท่า พร้อมระบบจัดการทรัพยากรแบบใหม่ที่ช่วยเพิ่มประสิทธิภาพการทำงาน โดยในการทดสอบภายในพบว่าสามารถทำงานได้อย่างมีประสิทธิภาพถึง 99% แม้กับโมเดล AI ขนาดใหญ่อย่าง Llama-2-70B
ในส่วนของการใช้งานจริง ชิป Trillium จะถูกติดตั้งในรูปแบบของ Pod ซึ่งแต่ละ Pod จะประกอบด้วยชิป AI จำนวน 256 ตัว โดยมีระบบ Titanium ที่ช่วยกระจายงานบางส่วนจาก CPU ไปยังชิป IPU เฉพาะทาง เพื่อเพิ่มประสิทธิภาพการทำงานของ Data Center นอกจากนี้ยังมีฟีเจอร์ใหม่สำหรับการจัดการ Slice ที่ช่วยให้ระบบสามารถจัดสรรทรัพยากรและ Job-scheduling ได้อย่างชาญฉลาด เพื่อเพิ่มประสิทธิภาพโดยรวมของระบบ
