Apache Spark 2.3 ออกแล้ว พร้อมรองรับ Kubernetes ได้ในตัว

นับเป็นความร่วมมือระหว่างโครงการ Open Source ที่น่าสนใจมาก เมื่อ Apache Spark และ Kubernetes จับมือกันพัฒนาเทคโนโลยี เพื่อให้การทำ Big Data Analytics สามารถเกิดขึ้นใน Container ได้อย่างง่ายดาย

 

Credit: Kubernetes

 

นับตั้งแต่ Apache Spark 2.3 เป็นต้นไป Apache Spark จะสามารถทำงานร่วมกับ Kubernetes รุ่น 1.7 ขึ้นไปได้แบบ Native ทำให้ Apache Spark ใช้ความสามารถของ Kubernetes เพื่อรองรับการทำ Multi-Tenant และ Sharing ได้ผ่านระบบ Namespaces และ Quotas รวมถึงยังใช้ Pluggable Authorization และ Logging ได้ อีกทั้งยังสามารถสร้าง Container Image สำหรับ Apache Spark และกำหนดสิทธิ์การเข้าถึงระบบได้

การทำงานร่วมกันได้ในระดับ Native นี้จะยังช่วยให้การบริหารจัดการในเชิงลึกสำหรับ Spark Application ทำได้อย่างง่ายดายผ่าน Scheduler และยังสามารถใช้ระบบ Log และ Monitoring ร่วมกันได้ด้วย

ผู้ที่สนใจสามารถศึกษารายละเอียดเพิ่มเติมเกี่ยวกับ Apache Spark 2.3 ได้ที่ http://spark.apache.org/releases/spark-release-2-3-0.html ครับ

 

ที่มา: http://blog.kubernetes.io/2018/03/apache-spark-23-with-native-kubernetes.html


About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

Google Search ปรับอัลกอริทึมเน้นเนื้อหาคุณภาพสูง เพราะ TikTok เริ่มแย่งผู้ใช้

Google ได้มีการปรับให้ Google Search สามารถแสดงผลการค้นหาที่มีคุณภาพอย่างแท้จริง มากกว่าเนื้อหาที่ผลิตมาเพื่อให้ติดอันดับ

OneMeta AI ได้รับการยอมรับให้เป็นส่วนหนึ่งของ Microsoft for Startups Founders Hub

OneMeta AI ออกมาประกาศได้รับการยอมรับให้เป็นส่วนหนึ่งของ Microsoft for Startups Founders Hub และยังมองว่าเป็นก้าวที่สำคัญที่มาถูกทางแล้ว