หนึ่งในเครื่องมือยอดนิยมสำหรับโลกของ Data คือ Apache Airflow และล่าสุดได้ปล่อย Apache Airflow 3 ออกมาอย่างเป็นทางการแล้ว หลังจาก Apache Airflow ปล่อยเวอร์ชัน 2.0 ออกมาตั้งแต่ปี 2020 นี่คือเวอร์ชันอัปเดตหลักของเครื่องมือยอดนิยมในการทำหนึ่งในกระบวนการด้านข้อมูลที่สำคัญโดยเฉพาะผู้ที่เป็น Data Engineer คือ Extract, Transform, Load (ETL) หรือ ELT หรือ Reverse ETL หรือการสกัดแปลงและนำเข้าข้อมูลเพื่อส่งต่อข้อมูลนำไปประมวลผล วิเคราะห์ข้อมูลต่อได้ โดยไฮไลต์สำคัญของ Airflow 3 นี้ อาทิ DAG Versioning การเวอร์ชันของ DAG ในการรันได้ผ่านหน้า UI รวมทั้งโครงสร้าง Task, Code และ Log ด้วย Backfills Improvements การสนับสนุนการรันย้อนหลังตามช่วงเวลาที่กำหนดได้ดีขึ้น โดย Backfill ตอนนี้สามารถเริ่มต้นจาก … Continue reading Apache Airflow 3 เข้าสู่สถานะ Generally Available แล้ว