CDIC 2023

AWS เปิดตัว TorchServe ช่วยนำโมเดล PyTorch ขึ้น Production ได้อย่างง่ายๆ

AWS เปิดตัวเครื่องมือ Opensource “TorchServe” สำหรับโมเดล Machine Learning ที่พัฒนาโดย PyTorch โดยเป็นโปรเจกต์ที่ AWS ดูแลร่วมกับ Facebook ผู้พัฒนา PyTorch

TorchServe นั้นถูกเปิดตัวขึ้นในวันที่ 21 เมษายนที่ผ่านมา เป็นเครื่องมือที่ช่วยให้นักพัฒนาสามารถนำโมเดล Machine Learning ที่พัฒนาขึ้นจาก PyTorch ไปอยู่บนระบบ Production ได้โดยง่าย สามารถสเกลได้ มี Latency ต่ำ และประสิทธิภาพในการประมวลผลสูง

ตัวอย่างของฟีเจอร์หลักใน TorchServe นี้ ก็มีได้แก่
* ชุดการจัดการพื้นฐานสำหรับแอปพลิเคชันที่ใช้งานบ่อย เช่น การตรวจจับวัตถุ และการจัดกลุ่มตัวอักษร ช่วยให้นักพัฒนาไม่ต้องคอยเขียนโค้ดเพื่อ Deploy เอง
* การ Deploy หลายโมเดล
* การทำ A/B Testing โมเดล
* บันทึกสถิติการใช้โมเดล
* RESTful endpoint เพื่อเชื่อมต่อกับแอปพลิเคชันอื่นๆ

TorchServe สามารถทำงานร่วมกับ Deployment Environment ได้หลายประเภท ไม่ว่าจะเป็น Kubernetes, Amazon SageMaker, EKS หรือ EC2 ผู้อ่านท่านใดที่สนใจ สามารถศึกษาข้อมูลเพิ่มเติมได้ที่ https://github.com/pytorch/serve


ที่มา: https://www.infoworld.com/article/3540415/aws-unveils-open-source-model-server-for-pytorch.html


Check Also

AWS ปล่อยชิปใหม่ Trainium 2 สำหรับงาน AI และ Gravition4 ปลดล็อกจำกัดของงานแบบเดิม

สำหรับงาน re:invent ของ AWS ฝั่งของชิปที่ขาดตลาดเป็นอย่างมากก็น่าสนใจไม่น้อย ซึ่ง AWS ได้เปิดตัวเตรียมส่ง Trainium 2 ลงสนามพร้อมวัดผลกับงาน AI ที่กำลังมาแรง นอกจากนี้ยังเปิดตัว Gravition …

AWS ออก S3 Express One Zone ประสิทธิภาพดีกว่าเดิม 10 เท่า

ที่งาน re:Invent เมื่อไม่กี่วันที่ผ่านมาได้มีการปล่อยบริการใหม่ออกมาจำนวนมา ซึ่งหนึ่งในหมวดที่น่าสนใจตัวหนึ่งก็คือ S3 Express One Zone โดยเมื่อเทียบกับ S3 แบบเดิมแล้วทาง AWS ชี้ว่าสามารถให้ประสิทธิภาพได้สูงขึ้นถึง 10 เท่า …