Microsoft เปิดโอเพ่นซอร์ส Data Accelerator ช่วยการทำ data pipeline ได้ง่ายขึ้น

Microsoft ได้เปิดโปรเจ็คที่ใช้ภายในองค์กรและริเริ่มขึ้นตั้งแต่ปี 2017 ที่ชื่อ Data Accelerator เป็นโอเพ่นซอร์สซึ่งได้โฆษณาว่าจะช่วยให้การทำ Data Pipeline กับข้อมูล Big Data เป็นเรื่องง่ายขึ้น

credit : microsoft

Data Accelerator (for Apache Spark) ถูกใช้เพื่อการ Streaming Big Data ซึ่งช่วยให้การสร้าง แก้ไข และจัดการงานของ Spark บน AzureHDInsights เป็นเรื่องง่ายและมีประสิทธิภาพซึ่งอันที่จริงแล้วทาง Microsoft เริ่มใช้เป็นการภายในมาระยะหนึ่งแล้วกับการประมวลผลข้อมูลที่เข้ามาจากหลายผลิตภัณฑ์ของตนที่มีปริมาณมหาศาล 

สำหรับข้อดีที่ Data Accelerator นำเสนอมีดังนี้

  • การตั้งค่า Alert และ Rule ทำได้โดยไม่ต้องเขียนโค้ด
  • สามารถเขียน Spark SQL query ได้อย่างฉับไวด้วยส่วนเพิ่มเติม เช่น LiveQuery, time windowing, in-memory accumulator เป็นต้น
  • สามารถทำงานร่วมกับโค้ดปรับแต่งผ่าน Scala หรือ Azure Function ก็ได้

ที่มา : https://azure.microsoft.com/en-us/blog/microsoft-open-sources-data-accelerator-an-easy-to-configure-pipeline-for-streaming-at-scale/ และ https://cloudblogs.microsoft.com/opensource/2019/04/16/microsoft-open-sources-data-accelerator-for-apache-spark/


About nattakon

จบการศึกษา ปริญญาตรีและโท สาขาวิศวกรรมคอมพิวเตอร์ KMITL เคยทำงานด้าน Engineer/Presale ดูแลผลิตภัณฑ์ด้าน Network Security และ Public Cloud ในประเทศ ปัจจุบันเป็นนักเขียน Full-time ที่ TechTalkThai

Check Also

Elastic เปิดฟีเจอร์ด้านความมั่นคงปลอดภัยขั้นพื้นฐานให้ใช้ได้ฟรี

Elastic ได้ประกาศเปิดบางฟีเจอร์ด้านความมั่นคงปลอดภัยให้ใช้งานได้ฟรีๆ บน Elastic Stack ซึ่งการประกาศครั้งนี้เป็นการสนับสนุนควบคู่กันไปกับการประกาศ Elastic Cloud on Kubernetes ด้วย

Veeam Availability Orchestrator v2 ออกแล้ว! พร้อมตอบโจทย์การทำ DR ในทุกองค์กร

Veeam ได้ประกาศออก Availability Orchestrator v2 แล้วซึ่งเปิดตัวเวอร์ชันแรกไปในปี 2018 โดยเวอร์ชันใหม่มีการเพิ่มขีดความสามารถให้ใช้งานได้ง่ายและรองรับการทำ DR ให้กับทุกองค์กร