Apache Airflow 3 เข้าสู่สถานะ Generally Available แล้ว

หนึ่งในเครื่องมือยอดนิยมสำหรับโลกของ Data คือ Apache Airflow และล่าสุดได้ปล่อย Apache Airflow 3 ออกมาอย่างเป็นทางการแล้ว

หลังจาก Apache Airflow ปล่อยเวอร์ชัน 2.0 ออกมาตั้งแต่ปี 2020 นี่คือเวอร์ชันอัปเดตหลักของเครื่องมือยอดนิยมในการทำหนึ่งในกระบวนการด้านข้อมูลที่สำคัญโดยเฉพาะผู้ที่เป็น Data Engineer คือ Extract, Transform, Load (ETL) หรือ ELT หรือ Reverse ETL หรือการสกัดแปลงและนำเข้าข้อมูลเพื่อส่งต่อข้อมูลนำไปประมวลผล วิเคราะห์ข้อมูลต่อได้

โดยไฮไลต์สำคัญของ Airflow 3 นี้ อาทิ

• DAG Versioning การเวอร์ชันของ DAG ในการรันได้ผ่านหน้า UI รวมทั้งโครงสร้าง Task, Code และ Log ด้วย
• Backfills Improvements การสนับสนุนการรันย้อนหลังตามช่วงเวลาที่กำหนดได้ดีขึ้น โดย Backfill ตอนนี้สามารถเริ่มต้นจาก UI หรือ API ได้แล้ว
• รันได้ทุกที่ทุกภาษา อีกหนึ่งเป้าหมายพื้นฐานสำคัญของ Apache Airflow 3 คือการทำให้สามารถรันได้ในทรัพยากรใด ๆ ภาษาใด ๆ ก็ได้ 

รายละเอียดอื่น ๆ สามารถอ่านได้ที่บล็อกโพสของ Apache Airflow รวมทั้งสามารถดูวิธีการติดตั้งได้ที่นี่

ที่มา: https://airflow.apache.org/blog/airflow-three-point-oh-is-here/