TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
หนึ่งในเครื่องมือยอดนิยมสำหรับโลกของ Data คือ Apache Airflow และล่าสุดได้ปล่อย Apache Airflow 3 ออกมาอย่างเป็นทางการแล้ว
หลังจาก Apache Airflow ปล่อยเวอร์ชัน 2.0 ออกมาตั้งแต่ปี 2020 นี่คือเวอร์ชันอัปเดตหลักของเครื่องมือยอดนิยมในการทำหนึ่งในกระบวนการด้านข้อมูลที่สำคัญโดยเฉพาะผู้ที่เป็น Data Engineer คือ Extract, Transform, Load (ETL) หรือ ELT หรือ Reverse ETL หรือการสกัดแปลงและนำเข้าข้อมูลเพื่อส่งต่อข้อมูลนำไปประมวลผล วิเคราะห์ข้อมูลต่อได้
โดยไฮไลต์สำคัญของ Airflow 3 นี้ อาทิ
- DAG Versioning การเวอร์ชันของ DAG ในการรันได้ผ่านหน้า UI รวมทั้งโครงสร้าง Task, Code และ Log ด้วย
- Backfills Improvements การสนับสนุนการรันย้อนหลังตามช่วงเวลาที่กำหนดได้ดีขึ้น โดย Backfill ตอนนี้สามารถเริ่มต้นจาก UI หรือ API ได้แล้ว
- รันได้ทุกที่ทุกภาษา อีกหนึ่งเป้าหมายพื้นฐานสำคัญของ Apache Airflow 3 คือการทำให้สามารถรันได้ในทรัพยากรใด ๆ ภาษาใด ๆ ก็ได้
รายละเอียดอื่น ๆ สามารถอ่านได้ที่บล็อกโพสของ Apache Airflow รวมทั้งสามารถดูวิธีการติดตั้งได้ที่นี่
ที่มา: https://airflow.apache.org/blog/airflow-three-point-oh-is-here/
