Google Cloud เปิดให้บริการชิป Trillium AI แบบ General Availability

Google Cloud เปิดให้บริการชิป Trillium AI อย่างเป็นทางการแบบ General Availability โดยชิป Trillium มีประสิทธิภาพสูงกว่ารุ่นก่อนถึง 3 เท่า

Google Cloud ได้เปิดตัวชิป Trillium สำหรับประมวลผล AI รุ่นใหม่ล่าสุดที่มาพร้อมกับประสิทธิภาพการทำ Inference เร็วขึ้น 3 เท่า และการฝึกฝนโมเดล AI เร็วขึ้น 2.5 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ที่สำคัญคือใช้พลังงานน้อยลง 67% ทำให้สามารถประหยัดค่าใช้จ่ายในการรัน AI Workload บนระบบ Cloud ได้ดียิ่งขึ้น โดยชิปรุ่นนี้มาพร้อมโมดูล TensorCore ที่เพิ่มขนาดและความเร็วของการคำนวณเมทริกซ์ รวมถึงโมดูล SparseCore ที่ออกแบบมาเพื่อประมวลผลข้อมูล Embedding ขนาดใหญ่โดยเฉพาะ

นอกจากนี้ Google ยังได้เพิ่มขนาดหน่วยความจำ HBM และแบนด์วิดท์การเชื่อมต่อระหว่างชิปเป็น 2 เท่า พร้อมระบบจัดการทรัพยากรแบบใหม่ที่ช่วยเพิ่มประสิทธิภาพการทำงาน โดยในการทดสอบภายในพบว่าสามารถทำงานได้อย่างมีประสิทธิภาพถึง 99% แม้กับโมเดล AI ขนาดใหญ่อย่าง Llama-2-70B

ในส่วนของการใช้งานจริง ชิป Trillium จะถูกติดตั้งในรูปแบบของ Pod ซึ่งแต่ละ Pod จะประกอบด้วยชิป AI จำนวน 256 ตัว โดยมีระบบ Titanium ที่ช่วยกระจายงานบางส่วนจาก CPU ไปยังชิป IPU เฉพาะทาง เพื่อเพิ่มประสิทธิภาพการทำงานของ Data Center นอกจากนี้ยังมีฟีเจอร์ใหม่สำหรับการจัดการ Slice ที่ช่วยให้ระบบสามารถจัดสรรทรัพยากรและ Job-scheduling ได้อย่างชาญฉลาด เพื่อเพิ่มประสิทธิภาพโดยรวมของระบบ

ที่มา: https://siliconangle.com/2024/12/11/google-cloud-moves-ai-focused-trillium-chips-general-availability/