Breaking News

Microsoft เปิดโอเพ่นซอร์ส Data Accelerator ช่วยการทำ data pipeline ได้ง่ายขึ้น

Microsoft ได้เปิดโปรเจ็คที่ใช้ภายในองค์กรและริเริ่มขึ้นตั้งแต่ปี 2017 ที่ชื่อ Data Accelerator เป็นโอเพ่นซอร์สซึ่งได้โฆษณาว่าจะช่วยให้การทำ Data Pipeline กับข้อมูล Big Data เป็นเรื่องง่ายขึ้น

credit : microsoft

Data Accelerator (for Apache Spark) ถูกใช้เพื่อการ Streaming Big Data ซึ่งช่วยให้การสร้าง แก้ไข และจัดการงานของ Spark บน AzureHDInsights เป็นเรื่องง่ายและมีประสิทธิภาพซึ่งอันที่จริงแล้วทาง Microsoft เริ่มใช้เป็นการภายในมาระยะหนึ่งแล้วกับการประมวลผลข้อมูลที่เข้ามาจากหลายผลิตภัณฑ์ของตนที่มีปริมาณมหาศาล 

สำหรับข้อดีที่ Data Accelerator นำเสนอมีดังนี้

  • การตั้งค่า Alert และ Rule ทำได้โดยไม่ต้องเขียนโค้ด
  • สามารถเขียน Spark SQL query ได้อย่างฉับไวด้วยส่วนเพิ่มเติม เช่น LiveQuery, time windowing, in-memory accumulator เป็นต้น
  • สามารถทำงานร่วมกับโค้ดปรับแต่งผ่าน Scala หรือ Azure Function ก็ได้

ที่มา : https://azure.microsoft.com/en-us/blog/microsoft-open-sources-data-accelerator-an-easy-to-configure-pipeline-for-streaming-at-scale/ และ https://cloudblogs.microsoft.com/opensource/2019/04/16/microsoft-open-sources-data-accelerator-for-apache-spark/


About nattakon

จบการศึกษา ปริญญาตรีและโท สาขาวิศวกรรมคอมพิวเตอร์ KMITL เคยทำงานด้าน Engineer/Presale ดูแลผลิตภัณฑ์ด้าน Network Security และ Public Cloud ในประเทศ ปัจจุบันเป็นนักเขียน Full-time ที่ TechTalkThai

Check Also

IBM เผยสร้าง Quantum Safe Tape Drive สำเร็จแล้ว

IBM ได้ออกมาเผยถึงผลงานจากทีม IBM Research ที่ Switzerland ร่วมกับทีม IBM Tape Developer ที่ได้ใช้เวลา 10 เดือนในการพัฒนาเทคโนโลยี Quantum Safe Tape Drive ซึ่งเข้ารหัสข้อมูลบน Tape ด้วยวิธีการที่ทนทานต่อพลังประมวลผลของ Quantum Computer ในอนาคตได้สำเร็จ

ซื้อไม่หยุด! VMware เผยแผนเข้าซื้อกิจการ Intrinsic ผู้พัฒนาเทคโนโลยีความปลอดภัยบน Serverless Computing

VMware ได้ออกมายืนยันถึงแผนการเข้าซื้อกิจการของ Instrinsic บริษัท Startup ด้าน Security สำหรับ Serverless Computing โดยไม่เปิดเผยมูลค่า