Microsoft เปิดโอเพ่นซอร์ส Data Accelerator ช่วยการทำ data pipeline ได้ง่ายขึ้น

Microsoft ได้เปิดโปรเจ็คที่ใช้ภายในองค์กรและริเริ่มขึ้นตั้งแต่ปี 2017 ที่ชื่อ Data Accelerator เป็นโอเพ่นซอร์สซึ่งได้โฆษณาว่าจะช่วยให้การทำ Data Pipeline กับข้อมูล Big Data เป็นเรื่องง่ายขึ้น

credit : microsoft

Data Accelerator (for Apache Spark) ถูกใช้เพื่อการ Streaming Big Data ซึ่งช่วยให้การสร้าง แก้ไข และจัดการงานของ Spark บน AzureHDInsights เป็นเรื่องง่ายและมีประสิทธิภาพซึ่งอันที่จริงแล้วทาง Microsoft เริ่มใช้เป็นการภายในมาระยะหนึ่งแล้วกับการประมวลผลข้อมูลที่เข้ามาจากหลายผลิตภัณฑ์ของตนที่มีปริมาณมหาศาล 

สำหรับข้อดีที่ Data Accelerator นำเสนอมีดังนี้

  • การตั้งค่า Alert และ Rule ทำได้โดยไม่ต้องเขียนโค้ด
  • สามารถเขียน Spark SQL query ได้อย่างฉับไวด้วยส่วนเพิ่มเติม เช่น LiveQuery, time windowing, in-memory accumulator เป็นต้น
  • สามารถทำงานร่วมกับโค้ดปรับแต่งผ่าน Scala หรือ Azure Function ก็ได้

ที่มา : https://azure.microsoft.com/en-us/blog/microsoft-open-sources-data-accelerator-an-easy-to-configure-pipeline-for-streaming-at-scale/ และ https://cloudblogs.microsoft.com/opensource/2019/04/16/microsoft-open-sources-data-accelerator-for-apache-spark/

About nattakon

จบการศึกษา ปริญญาตรีและโท สาขาวิศวกรรมคอมพิวเตอร์ KMITL เคยทำงานด้าน Engineer/Presale ดูแลผลิตภัณฑ์ด้าน Network Security และ Public Cloud ในประเทศ ปัจจุบันเป็นนักเขียน Full-time ที่ TechTalkThai

Check Also

สตาร์ทอัพเพิ่มประสิทธิภาพการจัดเก็บข้อมูลบนคลาวด์ Lucidity ระดมทุนได้ 21 ล้านดอลลาร์

Lucidity.cloud สตาร์ทอัพจากอินเดียที่ช่วยให้การจัดการเก็บข้อมูลแบบมัลติคลาวด์เป็นไปโดยอัตโนมัติ เปิดเผยว่า บริษัทสามารถระดมทุนได้ 21 ล้านดอลลาร์ในรอบ Series A ที่นำโดย WestBridge Capital หลังจากบริษัทเติบโตอย่างรวดเร็วในปีที่ผ่านมา ส่งผลให้จนถึงปัจจุบัน Lucidity มีเงินทุนรวม …

OpenAI เตรียมเปิดตัว GPT-5 ในไม่กี่เดือนข้างหน้า และ GPT-4.5 อีกภายในไม่กี่สัปดาห์

Sam Altman ประธานเจ้าหน้าที่บริหาร OpenAI เผยผ่านโพสต์บน X ว่าบริษัทมีแผนเปิดตัวระบบปัญญาประดิษฐ์ระดับเรือธงรุ่นถัดไปของบริษัท คือ GPT-5 ภายในไม่กี่เดือนข้างหน้า พร้อมแบ่งปันรายละเอียดอื่น ๆ เกี่ยวกับแผนพัฒนาผลิตภัณฑ์สำหรับนักพัฒนา ChatGPT