AWS เปิดตัว TorchServe ช่วยนำโมเดล PyTorch ขึ้น Production ได้อย่างง่ายๆ

AWS เปิดตัวเครื่องมือ Opensource “TorchServe” สำหรับโมเดล Machine Learning ที่พัฒนาโดย PyTorch โดยเป็นโปรเจกต์ที่ AWS ดูแลร่วมกับ Facebook ผู้พัฒนา PyTorch

TorchServe นั้นถูกเปิดตัวขึ้นในวันที่ 21 เมษายนที่ผ่านมา เป็นเครื่องมือที่ช่วยให้นักพัฒนาสามารถนำโมเดล Machine Learning ที่พัฒนาขึ้นจาก PyTorch ไปอยู่บนระบบ Production ได้โดยง่าย สามารถสเกลได้ มี Latency ต่ำ และประสิทธิภาพในการประมวลผลสูง

ตัวอย่างของฟีเจอร์หลักใน TorchServe นี้ ก็มีได้แก่
* ชุดการจัดการพื้นฐานสำหรับแอปพลิเคชันที่ใช้งานบ่อย เช่น การตรวจจับวัตถุ และการจัดกลุ่มตัวอักษร ช่วยให้นักพัฒนาไม่ต้องคอยเขียนโค้ดเพื่อ Deploy เอง
* การ Deploy หลายโมเดล
* การทำ A/B Testing โมเดล
* บันทึกสถิติการใช้โมเดล
* RESTful endpoint เพื่อเชื่อมต่อกับแอปพลิเคชันอื่นๆ

TorchServe สามารถทำงานร่วมกับ Deployment Environment ได้หลายประเภท ไม่ว่าจะเป็น Kubernetes, Amazon SageMaker, EKS หรือ EC2 ผู้อ่านท่านใดที่สนใจ สามารถศึกษาข้อมูลเพิ่มเติมได้ที่ https://github.com/pytorch/serve


ที่มา: https://www.infoworld.com/article/3540415/aws-unveils-open-source-model-server-for-pytorch.html

Check Also

MiniMax ผู้พัฒนาโมเดล AI โอเพนซอร์ส ระดมทุน 2 พันล้านดอลลาร์

MiniMax กลุ่มบริษัทผู้พัฒนาปัญญาประดิษฐ์จากนครเซี่ยงไฮ้ กำลังระดมทุนมูลค่า 2 พันล้านดอลลาร์ โดยสำนักข่าว Bloomberg รายงานเมื่อวันพฤหัสบดีที่ผ่านมาว่า คาดว่ามากกว่าครึ่งหนึ่งของเงินทุนจะมาจากการจำหน่ายหุ้นที่ออกใหม่ ทั้งนี้ รายงานระบุว่า บริษัทจะระดมทุนส่วนที่เหลือโดยการออกหุ้นกู้แปลงสภาพ ซึ่งเป็นตราสารหนี้ที่นักลงทุนสามารถเปลี่ยนเป็นหุ้นสามัญได้

Darktrace พบเกตเวย์ AI เชื่อม Amazon Bedrock ถูกแฮ็กไปขุดคริปโต

นักวิจัยจากบริษัทด้านความมั่นคงปลอดภัยไซเบอร์ Darktrace ซึ่งมีฐานอยู่ในสหราชอาณาจักร ได้เผยรายละเอียดเกี่ยวกับการบุกรุกระบบคลาวด์ โดยพบว่าเกตเวย์ปัญญาประดิษฐ์ที่เชื่อมต่อกับบริการ Amazon Bedrock ของ Amazon Web Services ถูกแฮ็กเพื่อนำไปใช้ขุดคริปโทเคอร์เรนซี