TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Amazon เปิดตัว TorchNeuron ซึ่งเป็นชุดเครื่องมือแบบโอเพนซอร์สที่ช่วยให้นักพัฒนาสามารถรันเวิร์กโหลด PyTorch บนชิป AWS Trainium ของบริษัทได้
PyTorch เป็นเฟรมเวิร์กสำหรับการพัฒนาปัญญาประดิษฐ์ที่ได้รับความนิยมมากที่สุดในอุตสาหกรรม จนถึงขณะนี้ การรันโปรเจกต์ AI ที่ขับเคลื่อนด้วยเครื่องมือดังกล่าวบนอินสแตนซ์ของ Amazon Web Services ที่ใช้ชิป Trainium จำเป็นต้องอาศัยการทำงานแบบแมนนวลจำนวนมาก ซึ่งเพิ่มต้นทุนในการพัฒนาและสร้างอุปสรรคต่อการเข้าใช้งานของผู้ใช้
TorchNeuron ช่วยให้สามารถรันโปรเจกต์ PyTorch บนชิป Trainium ได้โดยไม่ต้องแก้ไขโค้ดมากมาย ตามข้อมูลจาก Amazon นักพัฒนาเพียงแค่ตั้งค่าเพื่อระบุว่าเวิร์กโหลดควรใช้ชิปตัวใด โดย TorchNeuron รองรับ Trainium2 และ Trainium3 ซึ่งเป็นชิปรุ่นล่าสุดสองรุ่นในซีรีส์ตัวเร่งความเร็วนี้ โดยชิปเหล่านี้รองรับทั้งกรณีการใช้งานด้านการฝึกฝนและประมวลผลอินเฟอเรนซ์
Trainium3 ซึ่งเป็นโปรเซสเซอร์ที่มีประสิทธิภาพสูงกว่าในสองรุ่นนี้ มีคอร์ประมวลผล 8 คอร์ แต่ละคอร์ประกอบด้วย 4 โมดูลที่ได้รับการปรับแต่งมาเพื่อรองรับการคำนวณชุดข้อมูลย่อยที่แตกต่างกันซึ่งโมเดล AI ใช้ในการประมวลผลข้อมูล ชิปนี้จะเก็บข้อมูลโมเดลไว้ในหน่วยความจำออนบอร์ดขนาด 154 กิกะไบต์
AWS รัน Trainium3 ในเซิร์ฟเวอร์แบบคัสตอมที่สามารถรองรับตัวเร่งความเร็วได้สูงสุดถึง 144 ตัวต่อหนึ่งเครื่อง ตามข้อมูลจากหน่วยธุรกิจของ Amazon ระบบเพียงระบบเดียวสามารถดำเนินการคำนวณได้สูงสุดถึง 362 พันล้านล้านครั้งต่อวินาทีเมื่อประมวลผลข้อมูลในรูปแบบ MXFP8 ซึ่งถูกใช้งานโดยโมเดล AI ในวงกว้าง
ซีรีส์ Trainium มีภาษาโปรแกรมเฉพาะที่เรียกว่า NKI ซึ่งมีไวยากรณ์และคอมไพเลอร์ของตัวเอง ช่วยให้นักพัฒนาสามารถปรับแต่งโมเดล AI ของตนในระดับต่ำได้ การปรับแต่งดังกล่าวช่วยลดการใช้งานฮาร์ดแวร์ของโมเดล AI และเพิ่มความเร็วในการประมวลผล
TorchNeuron มาพร้อมกับชุดโอเปอเรเตอร์ NKI ที่เตรียมไว้ล่วงหน้า ซึ่งเป็นส่วนประกอบซอฟต์แวร์ที่ลูกค้าสามารถใช้พัฒนาโมเดล AI ได้ โอเปอเรเตอร์บางตัวช่วยอำนวยความสะดวกในการใช้งานสถาปัตยกรรมแบบ Mixture of Experts ในขณะที่บางตัวถูกออกแบบมาเพื่อลดการใช้หน่วยความจำของโครงข่ายประสาทเทียม นอกจากนี้ยังช่วยเร่งความเร็วของงานที่เกี่ยวข้อง เช่น การลดขนาดโมเดลอีกด้วย
TorchNeuron ไม่เพียงรองรับแค่ PyTorch เท่านั้น แต่ยังรองรับเครื่องมือแบบโอเพนซอร์สอื่น ๆ ที่ทีมซอฟต์แวร์มักใช้ควบคู่กับเฟรมเวิร์กนี้ รายชื่อเครื่องมือที่รองรับรวมถึง TorchTitan ซึ่งเป็นเอนจินการฝึกฝน AI ยอดนิยม โดยเครื่องมือนี้จะช่วยทำหน้าที่กระจายการฝึกฝนข้ามตัวเร่งความเร็วต่าง ๆ โดยอัตโนมัติ
TorchTitan แบ่งเวิร์กโหลดข้ามชิปโดยใช้วิธีที่เรียกว่า Fully Sharded Data Parallelism (FSDP) ซึ่งไม่ได้แบ่งแค่ตัวโมเดลที่กำลังฝึกเท่านั้น แต่ยังรวมถึงสถานะของตัวปรับแต่งและเกรเดียนต์อีกด้วย ตัวปรับแต่งคือโปรแกรมที่ช่วยขัดเกลาขีดความสามารถของโมเดล ส่วนเกรเดียนต์คือไฟล์ที่มีบทบาทสำคัญในกระบวนการนั้น ตามข้อมูลจาก Amazon ระบุว่า TorchNeuron มีฟีเจอร์ที่ช่วยให้นักพัฒนาสามารถปรับแต่งเวิร์กโฟลว์การฝึกฝนโดยใช้ชิป Trainium ได้ดียิ่งขึ้น
ปัจจุบันมีลูกค้า AWS หลายรายนำชุดเครื่องมือนี้ไปใช้งานแล้ว เช่น Cartesia AI ซึ่งเป็นสตาร์ทอัพด้านเอเจนต์ AI แบบสั่งการด้วยเสียง ได้ใช้ TorchNeuron เพื่อรันเวิร์กโหลดอินเฟอเรนซ์บนชิป Trainium ส่วน Lieber Institute for Brain Development ก็กำลังสำรวจแนวทางในการปรับแต่งเวิร์กโฟลว์การวิจัยทางการแพทย์ที่ขับเคลื่อนด้วย AI ของตน
Amazon มีแผนที่จะเปิดตัว TorchNeuron แบบโอเพนซอร์สในวันอังคารนี้ ซึ่งเป็นวันแรกของงานประชุม PyTorch Conference ระยะเวลาสองวันที่จัดขึ้นในเมืองซานโฮเซ รัฐแคลิฟอร์เนีย
