TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
ในงาน Microsoft Connect(); ที่กำลังจัดขึ้นนั้น Microsoft ได้ประกาศเปิดตัว Azure Databriks ระบบ Data Analytics บน Apache Spark แบบครบวงจรบน Microsoft Azure เริ่มต้นใช้งานได้อย่างรวดเร็ว ตอบโจทย์ Data Engineers และ Data Scientist โดยเฉพาะ
Databricks เป็นระบบ Unified Analytics Platform ที่ทำงานบน Apache Spark โดยออกแบบมาสำหรับระบบ Cloud โดยเฉพาะ มีฟีเจอร์ต่างๆมาให้ครบครัน เช่น One-click deployment, Auto-scaling และมีระบบ Optimized Databricks Runtime ที่ช่วยเร่งประสิทธิภาพของ Spark Job เมื่อทำงานบน Cloud ได้เร็วขึ้น 10-100 เท่าเลยทีเดียว ในขณะเดียวกันยังมีเครื่องมือที่ช่วยอำนวยความสะดวกในการใช้งาน เช่น Interactive Notebook Environment, Monitoring Tools และ Security Control เพื่อช่วยตอบโจทย์การใช้งาน Apache Spark ในองค์กรที่มีผู้ใช้งานจำนวนมากได้
ในครั้งนี้ Microsoft ได้ประกาศความร่วมมือกับ Databricks ไม่เพียงแค่เชื่อมต่อบริการระหว่าง Azure กับ Databricks เท่านั้น แต่เป็นการผสาน Databrick เข้าเป็น Service หนึ่งของ Microsoft Azure ซึ่งช่วยให้ผู้ใช้งานสามารถบริหารจัดการระบบผ่านทาง Console ของ Microsoft Azure ได้ทันที อีกทั้งยังสามารถเชื่อมต่อกับ Service อื่นๆของ Microsoft ได้อีกด้วย
จุดเด่นของ Azure Databricks ที่น่าสนใจ มีดังนี้
- มี Connector เพื่อเชื่อมต่อกับ Azure Storage Service เช่น Azure Blob Store และ Azure Data Lake
- มีระบบ Auto-scaling และ Auto-termination สำหรับ Spark Cluster เพื่อลดค่าใช้จ่ายให้น้อยที่สุด
- มีการทำ Performance Optimization ระดับ Caching, Indexing และ Advanced query optimization เพื่อเพิ่มประสิทธิภาพการทำงาน
- มีระบบ Notebooks เพื่อให้ผู้ใช้งานสามารถแชร์ข้อมูลระหว่างกันได้ภายในองค์กรได้แบบ Real-time
- มาพร้อม Analytics Libraries เช่น Python และ R ให้เริ่มต้นใช้งานได้อย่างรวดเร็ว
- สามารถเลือก VM Types ได้หลายแบบ เช่น F-series สำหรับงาน Machine Learning, M-series สำหรับงานที่ต้องการ Memory จำนวนมาก และ D-series สำหรับงานทั่วไป
- รองรับการเชื่อมต่อกับ Azure Power BI เพื่อแสดงผลการวิเคราะห์ข้อมูลได้ทันที
- รองรับการเชื่อมต่อกับ Azure Active Directory เพื่อกำหนดสิทธิการเข้าใช้งานของผู้ใช้งานได้
- รองรับการเชื่อมต่อกับ Azure SQL Data Warehouse, Azure SQL DB และ Azure CosmosDB เพื่อทำการอัปโหลดข้อมูลเข้าไปยัง Service เหล่านี้ได้
ปัจจุบัน Azure Databricks ยังอยู่ในเวอร์ชัน Previews เท่านั้น ยังไม่มีการเปิดเผยค่าบริการแต่อย่างใด
ที่มา : https://azure.microsoft.com/en-us/blog/a-technical-overview-of-azure-databricks/
