Netflix เปิด Open Source ให้ Metaflow เครื่องมือบริหารจัดการโครงการ Python Data Science ที่ Netflix ใช้งานภายใน

Netflix ได้ออกมาประกาศ Open Source ให้กับ Metaflow เครื่องมือสำหรับบริหารจัดการ Python Data Science Project แบบครบวงจรที่ Netflix พัฒนาขึ้นมาใช้งานเป็นการภายใน ซึ่งสามารถทำงานร่วมกับ Machine Learning Library ใดๆ ก็ได้ และสามารถทำงานร่วมกับ AWS ได้เป็นอย่างดี

Metaflow นี้ถูกพัฒนาขึ้นมาเพื่อตอบโจทย์การทำงานของทีม Data Scientist โดยเฉพาะ เนื่องจากเครื่องมืออย่างเช่น Git นั้นไม่ได้ถูกพัฒนาขึ้นมาเพื่อครอบคลุมโจทย์นี้ ทำให้ Metaflow นี้สามารถติดตามการพัฒนาได้ทั้งในส่วนของ Code, Data และ Model อีกทั้งยังมี Python API สำหรับใช้ตรวจสอบข้อมูลต่างๆ ที่เกี่ยวข้องกับ Data Science Workflow ทั้งหมดได้

Netflix ระบุในเว็บไซต์ของ Metaflow ว่า Metaflow นี้ถูกพัฒนาขึ้นมาเพื่อเป็นศูนย์รวม API สำหรับเชื่อมต่อ Infrastructure Stack ภายใน Data Science Project ที่ใช้งานได้ทั้งในระดับ Prototype และ Production โดย Metaflow นี้ไม่ได้มุ่งเน้นการสนับสนุน Machine Learning Framework หรือ Data Science Library อันใดอันหนึ่งเป็นพิเศษ แต่ Netflix ก็แนะนำให้ใช้ Metaflow บน AWS เป็นหลัก และยังมี Sandbox ให้ทดลองใช้ด้วย

Metaflow รุ่นที่ถูกเปิด Open Source ออกมาในครั้งนี้คือรุ่น 2.0 ที่ยังไม่ใช่รุ่นล่าสุดที่ Netflix ใช้งานภายในในยามปัจจุบันนี้ ทำให้ยังขาดความสามารถบางประการ เช่น การรองรับภาษา R, การทำ In-Memory Processing แต่ Netflix ก็มีแผนที่จะนำความสามารถนี้เสริมเข้าไปหากโครงการนี้ได้รับการสนับสนุนที่มากพอบน GitHub

สำหรับผู้ที่สนใจ สามารถศึกษาข้อมูลเพิ่มเติมเกี่ยวกับ Metaflow ได้ที่ https://metaflow.org/ โดยภายในเว็บไซต์นี้จะมีทั้ง Tutorial และ Documentation ให้พร้อมศึกษาได้ทั้งหมด

ที่มา: https://www.infoworld.com/article/3488796/netflix-open-sources-data-science-management-tool.html