TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Future of Enterprise Data Platform อนาคตแพลตฟอร์มด้านข้อมูลในยุค AI EP.1
หลายองค์กรลงทุนกับ Big Data Platform มาหลายปี แต่เมื่อ AI กลายเป็นส่วนหนึ่งของธุรกิจ โครงสร้างข้อมูลที่เคยเพียงพอ อาจไม่ใช่คำตอบสำหรับการใช้งานในวันนี้อีกต่อไป เมื่อประมาณสิบปีก่อน Hadoop คือเทคโนโลยีที่เปลี่ยนวิธีจัดการข้อมูลขององค์กรครั้งใหญ่ ในช่วงเวลาที่ข้อมูลเติบโตเร็วกว่าความสามารถของฐานข้อมูลแบบดั้งเดิม
Hadoop ทำให้องค์กรสามารถจัดเก็บและประมวลผลข้อมูลระดับหลายสิบหรือหลายร้อยเทราไบต์ได้บน Commodity Hardware ในต้นทุนที่ต่ำกว่าระบบ Enterprise Data Warehouse อย่างมาก จึงกลายเป็นรากฐานสำคัญของโครงการ Big Data ในองค์กรทั่วโลก ไม่ว่าจะเป็นธนาคาร บริษัทโทรคมนาคม ผู้ให้บริการด้านพลังงาน รวมถึงหน่วยงานภาครัฐ ต่างลงทุนสร้าง Hadoop Cluster ขนาดใหญ่เพื่อรองรับ Data Lake และระบบ Analytics รุ่นแรกขององค์กร
หากมองย้อนกลับไป Hadoop ถือว่าประสบความสำเร็จอย่างมาก แต่โลกของข้อมูลในปี 2026 แตกต่างจากวันที่ Hadoop ถือกำเนิดอย่างสิ้นเชิง สิ่งที่ธุรกิจต้องการในปัจจุบัน ไม่ใช่เพียงการเก็บข้อมูลจำนวนมหาศาล แต่คือการเปลี่ยนข้อมูลให้กลายเป็นการตัดสินใจได้รวดเร็วที่สุด เพราะความสามารถในการแข่งขันขององค์กรในวันนี้ ไม่ได้วัดจากปริมาณข้อมูลที่มี แต่วัดจากความสามารถในการนำข้อมูลไปสร้างคุณค่าทางธุรกิจได้อย่างรวดเร็ว อย่างไรก็ตาม หลายองค์กรกลับพบว่า Data Platform ที่ใช้งานอยู่เริ่มมีความซับซ้อนมากขึ้นตามการเติบโตของระบบ เทคโนโลยีบางส่วนไม่สามารถรองรับแนวทางการพัฒนาสมัยใหม่ได้อย่างเต็มประสิทธิภาพ และยังมีภาระค่าใช้จ่ายในการดูแลรักษาและการดำเนินงาน (Operational Cost) ที่เพิ่มสูงขึ้นอย่างต่อเนื่อง ส่งผลให้การพัฒนาและต่อยอดด้านข้อมูลทำได้ยากกว่าที่ควรจะเป็น
ความต้องการเหล่านี้ทำให้หลายองค์กรเริ่มกลับมาตั้งคำถามกับ Data Platform ที่ใช้งานอยู่ ไม่ใช่เพราะ Hadoop ทำงานไม่ได้ แต่เพราะโจทย์ของธุรกิจเปลี่ยนไป
สถาปัตยกรรมที่ตอบโจทย์ในอดีต อาจไม่ตอบโจทย์ในวันนี้
สถาปัตยกรรมของ Hadoop ถูกออกแบบขึ้นในช่วงที่ Batch Processing คือหัวใจของการวิเคราะห์ข้อมูล ข้อมูลจะถูกเก็บใน HDFS และประมวลผลเป็นรอบ ๆ ผ่าน MapReduce ก่อนส่งต่อไปยังเครื่องมืออื่นสำหรับการ Query หรือสร้างรายงาน และเมื่อเวลาผ่านไป ระบบนิเวศของ Hadoop ก็เติบโตขึ้นอย่างมาก ไม่ว่าจะเป็น
- Hive สำหรับ SQL
- Pig สำหรับ Data Flow
- Impala สำหรับ Interactive Query
- Oozie สำหรับ Workflow
- Mahout สำหรับ Machine Learning
- Spark สำหรับการประมวลผลความเร็วสูง
แต่การเพิ่มเครื่องมือจำนวนมากเข้ามา ทำให้การบริหารจัดการทั้งระบบซับซ้อนขึ้นเรื่อย ๆ แต่ละบริการมีการตั้งค่า การอัปเกรด และการดูแลรักษาแยกจากกัน การขยาย Cluster ต้องวางแผนทั้ง Compute และ Storage ไปพร้อมกัน ทีมปฏิบัติการต้องดูแล Infrastructure จำนวนมาก ขณะที่ผู้ใช้งานยังต้องเรียนรู้หลายเครื่องมือเพื่อทำงานร่วมกัน ในหลายองค์กร Data Platform จึงกลายเป็นระบบที่มีภาระในการดูแลรักษาสูง (Very High Maintenance Effort) ต้องพึ่งพาทีมงานที่มีความเชี่ยวชาญเฉพาะด้านหลายกลุ่ม ทั้งด้าน Infrastructure, Storage, Compute และเครื่องมือใน Ecosystem ส่งผลให้การบริหารจัดการมีความซับซ้อน และการเปลี่ยนแปลงระบบทำได้ยากกว่าที่ควร
AI เปลี่ยนสิ่งที่องค์กรคาดหวังจาก Data Platform
การมาของ Generative AI และ AI Agent ทำให้ความคาดหวังต่อแพลตฟอร์มข้อมูลเปลี่ยนไปอย่างชัดเจน Data Platform ไม่ได้เป็นเพียงพื้นที่จัดเก็บและวิเคราะห์ข้อมูลอีกต่อไป แต่กลายเป็นโครงสร้างพื้นฐานที่ต้องรองรับงานหลายประเภทพร้อมกัน เช่น
- Batch Processing
- Real-Time Streaming
- SQL Analytics
- Machine Learning
- Feature Engineering
- Vector Search
- Retrieval-Augmented Generation (RAG)
- AI Agent
เวิร์กโหลดเหล่านี้ต้องใช้การประมวลผลที่รวดเร็ว ยืดหยุ่น และสามารถขยายทรัพยากรได้ตามลักษณะงาน ในขณะที่สถาปัตยกรรมแบบเดิมซึ่งผูก Compute และ Storage เข้าด้วยกัน เริ่มกลายเป็นข้อจำกัด ทั้งด้านประสิทธิภาพและต้นทุน หลายองค์กรจึงเริ่มมองหาสถาปัตยกรรมแบบใหม่ที่ตอบโจทย์ธุรกิจได้มากกว่า
Modern Data Platform ไม่ได้เปลี่ยนแค่เทคโนโลยี แต่เปลี่ยนแนวคิดของสถาปัตยกรรม
การเปลี่ยนผ่านของ Enterprise Data Platform ในปัจจุบัน ไม่ได้เกิดจากการเปลี่ยน Hadoop ไปใช้ Apache Spark™ เพียงอย่างเดียว แต่เป็นการเปลี่ยนจากสถาปัตยกรรมแบบดั้งเดิมที่ผูกการจัดเก็บข้อมูล (Storage) และการประมวลผล (Compute) ไว้ด้วยกัน ไปสู่สถาปัตยกรรมที่แยกทั้งสองส่วนออกจากกันอย่างชัดเจน (Decouling/Dis-aggregated) และยังเปลี่ยนรูปแบบการประมวลผลข้อมูลหลากหลายรูปแบบ ให้ทำงานบน Engine หรือเทคโนโลยีเดียวกัน (Any workloads, one engine) ทำให้รองรับรูปแบบการใช้งานที่หลากหลาย ไม่ว่าจะเป็นงาน Data engineering, งาน Data warehouse, หรืองานด้าน AI/ML และ Agentic AI
แนวทางนี้ หรือที่หลายองค์กรคุ้นเคยในชื่อ Data Lakehouse Architecture จึงช่วยให้องค์กรมีความยืดหยุ่นในการบริหารทรัพยากร ลดการลงทุนโครงสร้างพื้นฐานที่ไม่จำเป็น และรองรับการใช้งานรูปแบบใหม่ได้โดยไม่ต้องปรับเปลี่ยนสถาปัตยกรรมทุกครั้งที่มี Workload เพิ่มขึ้น
สถาปัตยกรรมลักษณะนี้ยังเปิดโอกาสให้องค์กรเลือกใช้เทคโนโลยีมาตรฐานแบบเปิด (Open Standards) และลดการผูกติดกับผู้ให้บริการรายใดรายหนึ่ง (Vendor Lock-in) อีกทั้งยังลดปริมาณบุคลการที่แต่เดิมจะต้องมีจำนวนมากและมีความเชี่ยวชาญที่หลากหลาย ซึ่งการเปลี่ยนเป็นเทคโนโลยีสมัยใหม่แบบรวมศูนย์ (Modernized data stack & Unified engine) นั้นจึงกลายเป็นอีกหนึ่งปัจจัยสำคัญในการวางรากฐาน Data Platform สำหรับอนาคต
ภายใต้สถาปัตยกรรมลักษณะนี้ Apache Spark™ จึงกลายเป็นหนึ่งใน Engine ที่ได้รับความนิยมสำหรับการประมวลผลข้อมูลของ Modern Data Platform รวมถึง Blendata Enterprise เนื่องจากสามารถรองรับทั้ง SQL Analytics, Batch Processing, Real-Time Streaming และ Machine Learning ได้ภายในแพลตฟอร์มเดียว
นอกจากนี้ Spark ยังใช้เทคโนโลยี In-Memory Processing และจัดเก็บในรูปแบบ Columnar store ซึ่งช่วยลดเวลาในการประมวลผลสำหรับงานจำนวนมาก โดยเฉพาะงานที่ต้องคำนวณซ้ำหลายรอบ เช่น Machine Learning และ Interactive Analytics ทำให้สามารถตอบสนองต่อ Workload ที่หลากหลายได้อย่างมีประสิทธิภาพ
อ่านบทความเกี่ยวกับ Apache Spark™ เพิ่มเติมได้ที่ https://blendata.com/th/why-is-apache-spark-becoming-the-new-standard/
ถึงเวลาประเมินว่า Data Platform ขององค์กรยังรองรับเป้าหมายในอนาคตหรือไม่
หลายองค์กรยังไม่มีเหตุผลที่จะต้องเปลี่ยนระบบในทันที อย่างไรก็ตาม เมื่อองค์กรเริ่มลงทุนด้าน AI ความคาดหวังที่มีต่อ Data Platform ก็เปลี่ยนไปจากเดิม การประเมินระบบจึงไม่ควรพิจารณาเพียงว่าแพลตฟอร์มเดิมยังใช้งานได้หรือไม่ แต่ควรมองให้ครอบคลุมถึงความสามารถในการรองรับการเติบโตของธุรกิจในระยะยาว เช่น
- รองรับการพัฒนาและใช้งาน AI ได้อย่างมีประสิทธิภาพหรือไม่
- เมื่อมี Workload ใหม่เกิดขึ้น สามารถขยายระบบได้โดยไม่ต้องลงทุนโครงสร้างพื้นฐานจำนวนมากหรือไม่
- ทีมข้อมูลใช้เวลากับการสร้างคุณค่าจากข้อมูล หรือใช้เวลากับการดูแลและแก้ปัญหาระบบเป็นหลัก
- ค่าใช้จ่ายที่เพิ่มขึ้นในแต่ละปี สอดคล้องกับผลลัพธ์ทางธุรกิจที่ได้รับหรือไม่
- สถาปัตยกรรมปัจจุบันยังรองรับทิศทางขององค์กรในอีก 5-10 ปีข้างหน้าได้หรือไม่
หากหลายข้อเริ่มกลายเป็นข้อจำกัดในการดำเนินงาน นั่นอาจเป็นช่วงเวลาที่องค์กรควรกลับมาทบทวน Data Platform อีกครั้ง ไม่ใช่เพื่อเปลี่ยนเทคโนโลยีตามกระแส แต่เพื่อให้โครงสร้างข้อมูลสามารถรองรับรูปแบบการใช้งานที่กำลังเกิดขึ้นในยุค AI ได้อย่างมีประสิทธิภาพกว่าเดิม
องค์กรที่เริ่มยกระดับสถาปัตยกรรมข้อมูลตั้งแต่วันนี้ จะสามารถรองรับทั้ง Analytics, AI และ Workload รูปแบบใหม่ได้อย่างต่อเนื่อง โดยไม่ต้องกลับมาปรับโครงสร้างครั้งใหญ่ทุกครั้งที่ความต้องการของธุรกิจเปลี่ยนแปลง
ยกระดับ Enterprise Data Platform ให้พร้อมสำหรับยุค AI
การปรับเปลี่ยน Data Platform ไม่ใช่เรื่องของการเปลี่ยนเทคโนโลยีเพียงอย่างเดียว แต่เป็นการวางรากฐานสำหรับการใช้ข้อมูลในอีกหลายปีข้างหน้า ไม่ว่าจะเป็น Real-Time Analytics, AI, Machine Learning หรือ AI Agent ล้วนต้องอาศัยสถาปัตยกรรมข้อมูลที่ยืดหยุ่น ขยายระบบได้ง่าย และสามารถบริหารต้นทุนได้อย่างเหมาะสม
Blendata Enterprise ได้รับการออกแบบบนสถาปัตยกรรม Hybrid Data Lakehouse โดยใช้เทคโนโลยีมาตรฐานอย่าง Apache Spark™ และ Delta Lake เพื่อช่วยให้องค์กรสามารถปรับปรุงโครงสร้าง Big Data Platform ให้ทันสมัย ลดความซับซ้อนของระบบเดิม ลดต้นทุนรวมในการเป็นเจ้าของ (TCO) และรองรับการใช้งานด้าน Data Analytics และ AI บนแพลตฟอร์มเดียว ด้วยมาตรฐานแพลตฟอร์มแบบเปิด (Open Platform) ที่ไม่ผูกติดกับ Vendor รายใดรายหนึ่ง ทั้งยังรองรับการติดตั้งได้ทั้ง On-Premises, Cloud และ Hybrid Cloud พร้อมพิสูจน์ความสำเร็จในการทดแทน Hadoop Platform ในองค์กรขนาดใหญ่แล้วกว่าร้อยระบบ
หากองค์กรของคุณกำลังประเมินว่า Data Platform ปัจจุบันยังรองรับทิศทางด้าน AI และการเติบโตของธุรกิจในอนาคตได้หรือไม่ ทีมผู้เชี่ยวชาญของ Blendata พร้อมให้คำปรึกษาในการประเมินสถาปัตยกรรมระบบ วางแนวทางการยกระดับแพลตฟอร์ม และออกแบบแนวทางการย้ายจาก Hadoop หรือระบบ Big Data เดิมสู่ Modern Data Platform ที่เหมาะสมกับองค์กร
ศึกษาข้อมูลเพิ่มเติมเกี่ยวกับ Blendata Enterprise หรือพูดคุยกับผู้เชี่ยวชาญได้ที่ www.blendata.com หรืออีเมล hello@blendata.com
