Datadog หรือโซลูชัน Observability ได้เปิดตัวความสามารถที่ช่วยติดตามงานด้านข้อมูลใน Spark หรือ Databrick ได้ ความสามารถใหม่นี้จะช่วยให้เกิดการทราบได้ว่า งานข้อมูลมีอาการผิดแปลกไปจากค่า baseline ปกติ เช่น ช้าหรือเกิดล้มเหลวก็จะแจ้งเตือนไปยังผู้เกี่ยวข้องได้ ซึ่งความว่องไวตรงนี้จะช่วยลดผลกระทบก่อนไปถึงมือผู้ใช้ นอกจากนี้ยังให้คำแนะนำในการจัดการลำดับปัญหาสำคัญที่กระทบต่องาน ให้ข้อมูลว่าทำไมงานถึงล้มเหลวโดยสามารถเข้าดูข้อมูลภายในเพื่อช่วยแก้ปัญหาได้เร็วขึ้น นอกจากนี้ยังสามารถเทียบหลายงานเพื่อวิเคราะห์ปัญหาและแนวโน้มการเปลี่ยนแปลงที่เกิดขึ้นได้ ตลอดจนมีมาตรวัดด้านประสิทธิภาพ การทำงานของคลัสเตอร์ การตั้งค่าของ Spark ได้ ช่วยลดการใช้ทรัพยากรที่อาจให้ไว้มากเกินความจำเป็นใน Spark นำไปปรับลดให้เหมาะสมกับความจำเป็น ที่มา : https://www.datadoghq.com/about/latest-news/press-releases/datadog-launches-new-product-to-observe-troubleshoot-and-optimize-data-processing-jobs/