จากงาน AWS re:Invent ได้ประกาศความพร้อมให้บริการ Amazon Elastic Compute Cloud (Amazon EC2) ที่เป็น Trn2 Instance และ Trn2 UltraServer ตัวเลือกหน่วยประมวลผลที่ทรงพลังที่สุด ณ วินาทีนี้สำหรับการทำ Training และ Inference โมเดล AI/ML
ทั้งสองรูปแบบของ EC2 นี้จะมี AWS Trainium2 หรือชิป AWS Trainium รุ่นที่ 2 ที่จะทำให้ทางเลือกการใช้งานมีประสิทธิภาพมากยิ่งขึ้นในราคาที่คุ้มค่ามากกว่าเดิม
โดย Trn2 Instance จะเร็วกว่าและมีแบนด์วิดท์ (Bandwidth) หน่วยความจำมากกว่าถึง 4 เท่า และมีความจุหน่วยความจำมากกว่า 3 เท่าเมื่อเทียบกับ Trn1 Instance ซึ่งจะให้ประสิทธิภาพต่อราคาที่ดีกว่าราว 30-40% เมื่อเทียบกับ EC2 P5e หรือ P5en Instance รุ่นปัจจุบัน โดยจะมีชิป AWS Trainium2 ถึง 16 ตัว และแต่ละ Trn2 Instance จะมีถึง 192 vCPU, หน่วยความจำ 2 TiB และ Elastic Fabric Adapter (EFA) v3 ที่มี Bandwidth ถึง 3.2 Tbps
ในขณะที่ Trn2 UltraServer นั้นเป็นบริการ Compute ใหม่ล่าสุดที่จะมาพร้อมกับชิป AWS Trainium2 64 ตัวผ่าน Trn2 Instance จำนวน 4 ตัวที่เชื่อมกับโครงข่าย NeuronLink ที่มี Bandwidth สูงและความหน่วงต่ำ จึงทำให้ Trn2 UltraServer นี้มีประสิทธิภาพอันทรงพลังที่เหมาะสำหรับการทำ Training และ Inference ในการพัฒนา Foundation Model
สำหรับ Trn2 Instance ตอนนี้พร้อมให้บริการบน Production แล้วใน AWS Region ที่ US East (Ohio) รายละเอียดเกี่ยวกับ Trn2 Instance และ Trn2 UltraServer สามารถอ่านเพิ่มเติมได้ที่บล็อกโพสของ AWS