ลดความยุ่งยาก เพิ่มความรวดเร็วในการดึงข้อมูลจากหลายแหล่งด้วย IBM Watson Query [Guest Post]

ไขความลับ ทำไมต้อง “ Data Virtualization”

ในยุคที่เรียกได้ว่า data is the new oil ทุกๆ องค์กรต่างก็นำเอา Data มาใช้ เพื่อเพิ่มขีดความสามารถในการแข่งขันทางธุรกิจให้กับองค์กรของตน และแน่นอนว่า การจัดเก็บข้อมูลในปริมาณมาก ทั้งยังมาจากหลากหลาย Data Source รวมถึงมีการเก็บข้อมูลจากหลากหลายแผนกและหลายประเภท ย่อมสร้างความปวดหัวให้กับองค์กรไม่น้อย ดังนั้นองค์กรต่างๆ จึงมักมีการนำข้อมูลทั้งหมดไปจัดเก็บอยู่ในศูนย์กลางข้อมูลหรือ Data warehouse เพื่อให้ง่ายต่อการบริหารจัดการและดึงข้อมูลไปวิเคราะห์ใช้งานให้เกิดประโยชน์กับองค์กรมากที่สุด

และความยากในการเคลื่อนย้ายข้อมูลจาก หลากหลาย Data Source ให้ไปอยู่ที่ศูนย์กลางข้อมูล (Data warehouse) ก็คือ จะต้องมีขั้นตอนการทำ Extract, Transform และ Load (ETL) ซึ่งกระบวนการรวบรวมข้อมูลนั้นอาจจะต้องใช้เวลานานและซับซ้อน เช่น เมื่อต้องการปรับเปลี่ยนการดึงข้อมูล (Query) จากข้อมูลต้นทางก็จะต้องมีการปรับเปลี่ยนค่า configuration ต่างๆ และต้องเตรียม table ต่างๆ เพื่อรองรับการจัดเก็บข้อมูลไว้ที่ฝั่ง Data warehouse ใหม่ด้วย

Data Virtualization เป็นการจำลองข้อมูลเสมือนจริงจากฝั่งข้อมูลต้นทาง (Data source) และรวบรวมข้อมูลดังกล่าวมาวิเคราะห์ได้ทันที โดยไม่จำเป็นต้องมีกระบวนการ ETL หรือสร้าง Data Warehouse ทำให้การดึงข้อมูลจากหลายแหล่งมาวิเคราะห์ทำได้ง่ายและสามารถใช้งานต่างๆ ได้แบบ Real-time ช่วยลดระยะเวลาและขั้นตอนในการจัดเตรียมข้อมูลได้เป็นอย่างมาก

IBM Watson Query เป็น Software ที่มีระบบ Query Engine สามารถดึงข้อมูลจากหลากหลาย data source ที่มีความแตกต่างกันและสามารถนำข้อมูลเหล่านี้มาวิเคราะห์ได้ด้วยเทคนิค Data Virtualization ทำให้ไม่มีการเครื่อนย้ายข้อมูลใดๆ จาก data source ช่วยให้ผู้ใช้งานสามารถดูข้อมูลจากแหล่งที่เก็บข้อมูลต่างๆ ทั้งหมดได้อย่างรวดเร็วภายในมุมมองเดียว และนอกจากนั้น IBM Watson Query ยังสามารถกำหนด Provide privacy and governance เพื่อช่วยให้ผู้ใช้งานข้อมูลมั่นใจได้ว่าข้อมูลที่นำไปใช้งานนั้นเป็นข้อมูลที่ถูกต้องน่าเชื่อถือ

Intelligent Caching

Watson Query สามารถตรวจสอบพฤติกรรมการใช้งานข้อมูลและแนะนำได้ว่าเมื่อไรควรที่จะมีการ caching ข้อมูล จากข้อมูลที่มีการเรียกใช้งานบ่อยที่สุด สามารถใช้ได้กับ tables และ queries ต่างๆ โดยระบบจะทำการเปรียบเทียบระหว่าง caching ที่ผู้ใช้งานสร้างขึ้นมาเปรียบเทียบกับ caching ที่ระบบแนะนำไปปรับปรุงประสิทธิภาพของการประมวลผลโดยอัตโนมัติ ทำให้การเรียกดูข้อมูลมีความรวดเร็วอยู่ตลอดเวลา   

ส่งข้อมูลอย่างรวดเร็วด้วยการเข้าถึงข้อมูลอย่างไร้ขีดจำกัดผ่านระบบ Governed Virtualization

Watson Query สามารถรวบรวมข้อมูลจากแหล่งข้อมูลต่างๆ ที่มีความแตกต่างกันและทำการเปลี่ยนข้อมูลทั้งหมดที่ต้องการจะนำไปใช้งานเป็นมุมมองของข้อมูลแบบ logical data ผ่านกระบวนการควบคุมข้อมูลให้มีความถูกต้องน่าเชื่อถือ ซึ่งการใช้งานข้อมูลที่ถูกจำลองขึ้นมานี้สามารถทำได้ง่ายและรวดเร็ว ลดขั้นตอนในการรวบรวมข้อมูลที่ต้องใช้ ETL Tools ได้ถึง 25-65% ¹

Watson Query จะมาช่วยตอบโจทย์ให้กับองค์กรคุณได้อย่างไรบ้าง?

โดยปกติถ้า User ต้องการที่จะดูข้อมูลที่มีความแตกต่างกัน จะต้องทำการ query ข้อมูลทีละ source แล้วนำมาเชื่อมโยงกันภายหลังจึงจะได้ผลลัพทธ์ที่ต้องการจะดูและนำไปวิเคราะห์ ทำให้เกิดความยุ่งยากและทำให้ล่าช้าในการดูข้อมูลแต่ละครั้ง

Watson Query ช่วยให้ผู้ใช้งานสามารถดูตัวอย่างข้อมูลที่เชื่อมต่อจากแหล่งข้อมูลต้นทางต่างๆ ได้อย่างรวดเร็วจากมุมมองเดียว ระบบจะทำการค้นหาและจับคู่ Table ต่างๆ ที่ต้องการโดยอัตโนมัติ ทำให้ผู้ใช้งานสามารถที่จะเชื่อมโยงข้อมูลและนำข้อมูลจาก Data Virtualized มาวิเคราะห์ได้ง่ายและรวดเร็วยิ่งขึ้น นอกจากนั้นผู้ใช้งานยังสามารถ query ข้อมูลจากข้อมูลต้นทางที่มีหลากหลายประเภทข้อมูล (multiple sources) ได้จากคำสั่งเดียวใน Watson Query ได้อีกด้วย

ช่วยให้การพัฒนา Application เป็นเรื่องง่าย

การเพิ่มขึ้นของข้อมูลในแต่ละวันเป็นเรื่องปกติที่หลีกเลี่ยงไม่ได้ และเมื่อข้อมูลมีมากขึ้นและมีความหลากหลายยิ่งขึ้นการจัดเก็บข้อมูลก็จะต้องมีเพิ่มมาขึ้นตามมา ไม่ว่าจะเป็นการเพิ่ม table, การเพิ่ม schema, เพิ่ม database หรือแม้กระทั่งมีระบบใหม่ก็อาจจะต้องใช้ data source ตัวใหม่เลยทีเดียว ซึ่งการจะนำข้อมูลเหล่านี้ไปใช้งานนั้นกลายเป็นเรื่องที่ซับซ้อนมากยิ่งขึ้น และถ้าเป็น database คนละแบรนด์กันก็จะอาจจะต้องใช้ SQL หรือคำสั่งบางอย่างที่แตกต่างกันด้วย ซึ่งปัญหาเหล่านี้ทำให้เกิดข้อจำกัดและเกิดความล่าช้าในการที่จะนำข้อมูลต่างๆ ไปใช้งานร่วมกัน

Watson Query สามารถรองรับภาษา SQL ได้หลายภาษา โดยผู้ใช้งานสามารถใช้คำสั่งจาก SQL queries ข้อมูลรูปแบบ (Syntax) เดียวก็สามารถที่จะดึงข้อมูลจากแต่ละ data source ที่มีความแตกต่างกันมาเรียกดูพร้อมๆ กันได้ ช่วยให้ผู้ใช้งานสามารถเรียกดูข้อมูลตามที่ต้องการจากแหล่ง data source ที่แตกต่างกันไม่ว่าจะเป็นต่างแบรนด์หรือจาก cloud provider ต่างๆ ได้ทันที ช่วยให้การพัฒนา application ต่างๆ เพิ่มประสิทธิภาพและมีความรวดเร็วมากยิ่งขึ้น

รองรับแหล่งข้อมูลที่หลากหลาย

ปัจจุบันองค์กรส่วนใหญ่เริ่มหันมาพัฒนา application และเก็บข้อมูลไว้บน cloud มากยิ่งขึ้นและมีองค์กรหลายๆ ที่เริ่มมีการใช้งานระบบ hybrid cloud กันแล้ว ซึ่ง 2 ใน 3 cloud providers ก็รองรับการทำงานร่วมกับข้อมูลที่จัดเก็บไว้ที่ on-premise เช่นกัน

Watson Query รองรับการเรียกดูข้อมูลจากหลากหลาย data source ที่อยู่ต่าง environment กันได้ ไม่ว่าจะเป็นข้อมูลจาก Data Warehouse, SaaS databases และ Cloud Object Stores โดยมีการเพิ่มแหล่งข้อมูลใหม่อย่างต่อเนื่อง ช่วยให้เพิ่มประสิทธิภาพในการเรียกดูข้อมูลต่างๆ ได้อย่างรวดเร็วโดยด้วยวิธีการเรียกดูข้อมูลได้จากแหล่ง data source ต่างๆ โดยตรง ไม่ต้องผ่านกระบวนการเคลื่อนย้ายข้อมูลจาก data lake ไปพักที่ data warehouse หรือทำการ duplication ข้อมูล รวมถึง สามารถบังคับใช้ Data Governance Policies ผ่าน IBM Watson Query ได้

ข้อมูลอ้างอิง

1 New Technology: The Projected Total Economic Impact Of IBM Cloud Pak for Data, a Forrester Study commissioned by IBM, December 2020.3

ทั้งนี้สำหรับผู้ที่สนใจสามารติดต่อ สอบถามข้อมูลเพิ่มเติมได้ที่

บริษัท คอมพิวเตอร์ยูเนี่ยน จำกัด

โทร 02 311 6881 #7156 หรือ email : cu_mkt@cu.co.th

เขียนบทความโดย  คุณอนุวรรตน์   ชำนาญเวช          

Presales Software Specialist

บริษัท คอมพิวเตอร์ยูเนี่ยน จำกัด