Apache Spark 2.3 ออกแล้ว พร้อมรองรับ Kubernetes ได้ในตัว

นับเป็นความร่วมมือระหว่างโครงการ Open Source ที่น่าสนใจมาก เมื่อ Apache Spark และ Kubernetes จับมือกันพัฒนาเทคโนโลยี เพื่อให้การทำ Big Data Analytics สามารถเกิดขึ้นใน Container ได้อย่างง่ายดาย

 

Credit: Kubernetes

 

นับตั้งแต่ Apache Spark 2.3 เป็นต้นไป Apache Spark จะสามารถทำงานร่วมกับ Kubernetes รุ่น 1.7 ขึ้นไปได้แบบ Native ทำให้ Apache Spark ใช้ความสามารถของ Kubernetes เพื่อรองรับการทำ Multi-Tenant และ Sharing ได้ผ่านระบบ Namespaces และ Quotas รวมถึงยังใช้ Pluggable Authorization และ Logging ได้ อีกทั้งยังสามารถสร้าง Container Image สำหรับ Apache Spark และกำหนดสิทธิ์การเข้าถึงระบบได้

การทำงานร่วมกันได้ในระดับ Native นี้จะยังช่วยให้การบริหารจัดการในเชิงลึกสำหรับ Spark Application ทำได้อย่างง่ายดายผ่าน Scheduler และยังสามารถใช้ระบบ Log และ Monitoring ร่วมกันได้ด้วย

ผู้ที่สนใจสามารถศึกษารายละเอียดเพิ่มเติมเกี่ยวกับ Apache Spark 2.3 ได้ที่ http://spark.apache.org/releases/spark-release-2-3-0.html ครับ

 

ที่มา: http://blog.kubernetes.io/2018/03/apache-spark-23-with-native-kubernetes.html


About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

Microsoft เปิดแข่งพัฒนา AI ในการตรวจจับมัลแวร์

Microsoft ได้เปิดโครงการแข่งขันด้าน AI ในการตรวจจับมัลแวร์โดยมีกำหนดเวลาการแข่งขัน 3 เดือนจนถึงวันที่ 13 มีนาคม 2018 ซึ่งในการแข่งครั้งนี้ Microsoft จะแชร์ชุดข้อมูลให้นักวิจัยสำหรับการสร้างโมเดลเพื่อตรวจจับและทดสอบ ทั้งนี้ผู้ชนะจะได้เงินรางวัลราว 25,000 ดอลล่าร์สหรัฐฯ …

เปิดตัว Docker Hub โฉมใหม่ ผนวกรวม Docker Store และ Docker Cloud เข้าไว้ในตัว

Docker ได้ออกมาประกาศเปิดตัว Docker Hub โฉมใหม่ที่ได้รวมเอา Docker Store และ Docker Cloud เข้าไว้ในตัว เพื่อให้ง่ายต่อการค้นหา, จัดเก็บ และแบ่งปัน Image ต่างๆ