Microsoft เปิดโอเพ่นซอร์ส Data Accelerator ช่วยการทำ data pipeline ได้ง่ายขึ้น

Microsoft ได้เปิดโปรเจ็คที่ใช้ภายในองค์กรและริเริ่มขึ้นตั้งแต่ปี 2017 ที่ชื่อ Data Accelerator เป็นโอเพ่นซอร์สซึ่งได้โฆษณาว่าจะช่วยให้การทำ Data Pipeline กับข้อมูล Big Data เป็นเรื่องง่ายขึ้น

credit : microsoft

Data Accelerator (for Apache Spark) ถูกใช้เพื่อการ Streaming Big Data ซึ่งช่วยให้การสร้าง แก้ไข และจัดการงานของ Spark บน AzureHDInsights เป็นเรื่องง่ายและมีประสิทธิภาพซึ่งอันที่จริงแล้วทาง Microsoft เริ่มใช้เป็นการภายในมาระยะหนึ่งแล้วกับการประมวลผลข้อมูลที่เข้ามาจากหลายผลิตภัณฑ์ของตนที่มีปริมาณมหาศาล 

สำหรับข้อดีที่ Data Accelerator นำเสนอมีดังนี้

  • การตั้งค่า Alert และ Rule ทำได้โดยไม่ต้องเขียนโค้ด
  • สามารถเขียน Spark SQL query ได้อย่างฉับไวด้วยส่วนเพิ่มเติม เช่น LiveQuery, time windowing, in-memory accumulator เป็นต้น
  • สามารถทำงานร่วมกับโค้ดปรับแต่งผ่าน Scala หรือ Azure Function ก็ได้

ที่มา : https://azure.microsoft.com/en-us/blog/microsoft-open-sources-data-accelerator-an-easy-to-configure-pipeline-for-streaming-at-scale/ และ https://cloudblogs.microsoft.com/opensource/2019/04/16/microsoft-open-sources-data-accelerator-for-apache-spark/


About nattakon

จบการศึกษา ปริญญาตรีและโท สาขาวิศวกรรมคอมพิวเตอร์ KMITL เคยทำงานด้าน Engineer/Presale ดูแลผลิตภัณฑ์ด้าน Network Security และ Public Cloud ในประเทศ ปัจจุบันเป็นนักเขียน Full-time ที่ TechTalkThai

Check Also

Oracle เผย เขียนโค้ดบน Solaris ใหม่ เปลี่ยนจากภาษา C เป็น Python เร็วขึ้น 17 เท่า

ทีมพัฒนาจาก Oracle ได้ออกมาเผยถึงการเขียนคำสั่ง listusers บน Solaris ใหม่ จากเดิมที่เคยใช้ภาษา C ในการพัฒนา เปลี่ยนมาใช้ Python 3 และพบว่าคำสั่งนี้สามารถทำงานได้เร็วขึ้นถึง 17 เท่า ในขณะที่โค้ดมีความยาวน้อยลงกว่าเดิมถึง 10 เท่า

ชมย้อนหลัง งาน ISS & SAP User Conference 2019

เมื่อวันพฤหัสบดีที่ 17 ตุลาคมที่ผ่านมา ISS Consulting ได้จัดงาน ISS & SAP User Conference 2019 ขึ้นภายใต้ธีม “Innovation Now” …