ข้อมูลสำหรับการทำ Big Data & Analytics นั้น หลายองค์กรมีข้อมูลพวกนี้อยู่แล้ว อาจจะกระจัดกระจายกันไป บางบริษัทรู้ว่ามีข้อมูลมาก แต่ไม่รู้ว่าจะต้องจัดเก็บและจัดการอย่างไร ไปจนถึงจะนำข้อมูลเหล่านั้น ไปต่อยอดสร้างประโยชน์ได้อย่างไรบ้าง และต้องเจอกับปัญหาอะไรบ้าง…
Big Data ต้องมีเท่าไหร่ถึงจะเรียกว่า Big Data และมีแบบไหนบ้าง ?
คำว่า “Big Data” ไม่มีการกำหนดปริมาณที่แน่ชัด หากมีข้อมูลน้อย แต่มีคุณภาพมาก ก็สามารถนำไปต่อยอดงานต่างๆ ให้ตรงกับวัตถุประสงค์ได้ ยิ่งมีปริมาณมาก และมีคุณภาพก็จะนำไปใช้งานได้ ถูกต้องแม่นยำขึ้น
‘Big Data’ คือ แหล่งเก็บข้อมูลที่มีขนาดใหญ่ มีหลายแบบ แบบหนึ่งเรียกว่า Data Lake ไว้เก็บข้อมูลดิบ (Raw Data) แตกต่างจาก Data Warehouses ที่เราเคยได้ยิน ซึ่ง Data Warehouses จะมีข้อจำกัดใช้งานแบบ Single Schema คือการจัดรูปแบบข้อมูล เพื่อใช้กับงาน งานเดียวเท่านั้น ข้อมูลจะถูกจัดรูปแบบก่อนเก็บลง Storage เพื่อนำไปทำ Analytic ต่อไป ต่างจาก Data Lake ที่เก็บข้อมูลดิบทั้งหมดทุกประเภทลง Storage แล้วค่อยนำมาสร้าง schema หลายแบบได้พร้อมกัน เรียกว่า Schema-less และนำไปต่อยอดใช้งานหลายระบบพร้อมๆ กันได้ ทำให้เราสร้างระบบได้หลากหลาย และรวดเร็วมากกว่าการทำ Data Warehouses,
Data Lake นั้น เก็บข้อมูลทั้งที่เป็นข้อมูลที่มีโครงสร้างชัดเจน (Structured Data) เช่น Database ,ข้อมูลกึ่งมีโครงสร้าง (Semi-Structured Data) เช่น JSON data, XML, HTML หรือ RDF และไม่มีโครงสร้าง (Unstructured Data) เช่น Documents, ภาพ, วีดีโอ, โซเชียลมีเดีย, Digital surveillance หรือ Sensors Data โดยข้อมูลเหล่านี้ต้องการซอฟต์แวร์ที่รองรับการจัดการหรือการวิเคราะห์ได้อย่างมีประสิทธิภาพ เพื่อการประมวลผลและนำไปใช้ประโยชน์ได้แบบเรียลไทม์ต่อไป
Big Data เทคโนโลยีติดปาก จะเข้ามาสอดรับกับธุรกิจในทุกอุตสาหกรรมได้อย่างไร?
Big Data กับ Media & Entertainment
อีกหนึ่งอุตสาหกรรมระบบภาพและ VDO ที่ใหญ่ที่สุด คงหนีไม่พ้นระบบ Media & Entertainment ที่มีขั้นตอนการเชื่อมต่อกับหลายๆระบบ ซึ่งจะต้องเข้าถึงข้อมูลได้จากหลายแอบพลิเคชั่นและมีการใช้งานข้อมูลจากแหล่งเดียวกัน ตัวอย่างระบบที่รู้จักกันทั่วไปอย่าง MAM (Media Asset Management)/ PAM (Production Asset Management) คือระบบที่ใช้ Software มาบริหารจัดการทรัพย์สินที่เป็นสื่อดิจิตอล(Media file)ในรูปแบบต่างๆ ตามเงื่อนไข หรือ Workflow และยังครอบคลุมถึงการจัดการระดับองค์กร รูปแบบสื่อดิจิตอล เน้นไปทางด้านวีดิโอ+เสียง
“ยกตัวอย่างเช่น ฝ่ายผลิตรายการ 1) ถ่ายฟุตเทจรายการ 2) โหลดไฟล์ไปเก็บไว้ใน Server (Data Ingest) 3) แชร์ไฟล์ทุกคนที่มีส่วนเกี่ยวข้องกับการผลิต (Share Storage) เช่นส่วนตัดต่อ (NLE.) ส่วนงานสนับสนุนงานเขียนบทสำหรับรายงานข่าว (NRCS) 4) โปรดิวเซอร์ สามารถเข้าถึงไฟล์ เลือกรูปแบบไฟล์ที่ตนต้องการมาใช้งาน รวมไปถึงขั้นตอนในการตรวจสอบ(Censor) การค้นหาวีดิโอคลิปทำได้อย่างรวดเร็ว (Search) ย่นระยะเวลาในการทำงาน” เมื่อทำงานเสร็จ จัดทำข้อมูลรายละเอียดของไฟล์ (Cataloging & Data Tagging) เก็บไฟล์รายการเข้าระบบ (Archive) จัดตารางออกอากาศ (BMS) จากไฟล์รายการที่ทำเสร็จเรียบร้อยพร้อมออกอากาศ (Automation Playout) จากตัวอย่างข้างต้น มีทั้ง Client/ Editor/ Viewer /Automation systems และ Business Process แถมยังมีส่วน SDI – VDO access และข้อมูลนำเข้าระบบจาก Media Contents ต่างๆ ทุกระบบมีการเชื่อมต่อกัน ใช้งานข้อมูลร่วมกัน จากนั้นนำไปประมวลผลหรือดึงข้อมูลดิบไปต่อยอดงานต่อไป ซึ่งแต่ละงานก็มีขนาดใหญ่มาก ตามคุณภาพของไฟล์ จึงต้องจัดเตรียมข้อมูลและระบบให้สอดคล้องกับงานที่ทำด้วย
Big Data ในการตลาด [Digital Marketing] : เสนอข้อมูลตรงกลุ่มเป้าหมาย เนื้อหาข้อมูลตรงใจลูกค้า
สำหรับธุรกิจที่ต้องการความรวดเร็ว ตรงกลุ่มเป้าหมาย จะใช้ข้อมูลลูกค้ามาทำ Big Data ก็จะรู้พฤติกรรมเชิงลึกของลูกค้า ทำให้เข้าใจลูกค้ามากขึ้น สามารถนำไปวางแผนการตลาด ช่องทางการจัดจำหน่าย จัด Promotions ตรงตามกลุ่ม และช่วยให้ขยายฐานลูกค้าได้อย่างรวดเร็ว หรือนำข้อมูลไปพัฒนาสินค้าหรือบริการให้มีประสิทธิภาพยิ่งขึ้น และยังใช้วิเคราะห์แนวโน้มที่อาจจะเกิดขึ้นได้ในอนาคต
Big Data Industrial IoT : เทคโนโลยีที่สนับสนุนการทำงานของโรงงานแปรรูปอาหาร
การทำ Closed Loop Quality Control : โรงงานแปรรูปอาหารส่วนมากมักจะใช้การควบคุมคุณภาพแบบระบบอัตโนมัติเพื่อประมวลข้อมูลที่ได้ มีการสร้างระบบที่มีเซนเซอร์ตรวจจับอย่างใกล้ชิดและละเอียดในทุกขั้นตอนถือเป็นสิ่งจำเป็นหากต้องการควบคุมคุณภาพ เพื่อตรวจสอบความ เปลี่ยนแปลงให้เจอเสียก่อนที่จะสายเกินไป …โดยข้อมูล Sensors ต่างๆ ถูก generate ขึ้นทุกๆ วันและถูกเก็บไว้ที่ระบบ Big Data เพื่อประมวลผลก่อนส่ง alert/alarm ให้ผู้ดูแลทราบ ก่อนอุปกรณ์จะมีปัญหาและส่งผลต่อระบบการผลิตหรือสามารถนำมาใช้เพื่อการปรับปรุง maintenance ระบบได้ด้วย
การทำ Planning and Scheduling : เมื่อลูกค้ามีความต้องการสินค้า Make-to-Stock มากขึ้น สำหรับห้างร้าน ที่จะต้องมีการ stock สินค้า ผู้ผลิตอาหารแปรรูปมีความจำเป็นที่จะต้องวางแผนและจัดการล่วงหน้า เพื่อเตรียมตัวรับงานที่มีความท้าทาย โดยเฉพาะสินค้าที่มีอายุจัดวางขายต่ำ การใช้เครื่องมืออัจฉริยะ จะสามารถช่วยในการจัดการทรัพยากรที่ต้องใช้ได้อย่างเหมาะสม
ตัวอย่าง โรงงานผลิตอาหารกระป๋องที่ใช้เทคโนโลยี Industrial IoT
ซึ่งมีเครื่องทำความร้อนหรือหม้อต้มน้ำก็จะมีระบบตรวจวัดอุณหภูมิและควบคุมความร้อน ระบบการแจ้งเตือนอัตโนมัติหากมีภาวะเสี่ยงที่จะเกิดอันตราย ระบบเตือนเมื่อมีอุปกรณ์เสื่อมสภาพ เชื่อมโยงไปยังคลังสินค้า ระบบจัดเก็บข้อมูลจำนวนสินค้าที่ผลิตได้ในแต่ละวัน แต่ละเดือน จำนวนสินค้าคงคลัง ไปจนถึงการบริหารจัดการคลังสินค้า การขนส่งโลจิสติกส์ ซึ่งทั้งระบบนี้จะสามารถสื่อสาร ควบคุม ตรวจสอบได้ผ่านเครือข่ายอินเทอร์เน็ต และแน่นอนว่า อาศัยเทคโนโลยี Big Data ในการวิเคราะห์ คาดการณ์ และส่งต่อข้อมูลให้แก่ผู้ควบคุมระบบหรือผู้จัดการโรงงานรับทราบ ซึ่งนอกจาก Industrial IoT จะช่วยให้ระบบการผลิตสะดวกรวดเร็ว ตรวจสอบได้แบบเรียลไทม์แล้ว หากติดขัดก็สามารถแก้ปัญหาได้อย่างทันท่วงที และยังช่วยดูแลความปลอดภัยทั้งชีวิตและทรัพย์สินได้อีกทางหนึ่งด้วย
Big Data การทำงานร่วมกันระหว่างมนุษย์และเทคโนโลยี
เราสามารถพูดได้ว่า Big Data และ AI เป็นชุดของเทคโนโลยีสมัยใหม่ที่น่าทึ่ง ช่วยลดความเสี่ยงที่อาจจะเกิดกับมนุษย์ โดยใช้หุ่นยนต์เข้ามาช่วยและเพิ่มความเร็วในการผลิต งาน Big Data และ AI ถือเป็นยักษ์ใหญ่ที่จะเข้ามาช่วยทางด้านนี้ได้เป็นอย่างดี โดยนักวิทยาศาสตร์ด้านข้อมูลหรือ บริษัท ขนาดใหญ่อื่น ๆ หลายองค์กรพิจารณาว่า Big Data และ AI จะนำมาซึ่งการพัฒนา สินค้า บริการ เทคโนโลยีใหม่ๆ มาสู่องค์กรของพวกเขาได้
…ด้วยเหตุนี้เองในอนาคต ไม่ว่าเทคโนโลยีจะพัฒนาไปอย่างไร ระบบก็ยังจะคงต้องการ การสนับสนุนของมนุษย์ เพราะมนุษย์คงไม่สามารถวิเคราะห์ข้อมูลนั้นได้ด้วยตัวเองทั้งหมด และระบบเองก็คงไม่สามารถปฏิบัติการเองโดยไม่มีการป้อนข้อมูลได้ การผสมผสานการทำงานร่วมกันจะยิ่งทำให้ผลลัพธ์การทำงานเป็นไปอย่างมีประสิทธิภาพมากยิ่งขึ้นไปอีก
ปัญหาสำคัญที่ไม่สามารถนำข้อมูลที่มีไปใช้ได้อย่างสะดวก
ปัญหานั้นมาจากการจัดเก็บข้อมูลอย่างไม่มีระเบียบหรือไม่เป็นแบบแผนเดียวกัน เนื่องจากจำนวนข้อมูลที่มีมากขึ้นโดยเฉพาะ Unstructured Data ที่ไม่มีการจัดการโดยเครื่องมือ Data Management Platform (DMP) ที่จะเข้ามาช่วยทำให้ข้อมูลต่างๆ เป็นแพลตฟอร์มเดียวกัน ง่ายต่อการนำไปวิเคราะห์หรือใช้งานต่อ รวมทั้งต้องจัดการทั้งข้อมูลเก่าที่มีอยู่เดิม และคำนึงถึงข้อมูลใหม่ๆ ที่จะเข้ามาในอนาคตเพื่อให้พร้อมสำหรับการไปใช้งาน เพราะข้อมูลที่จัดเก็บโดยไม่มีประสิทธิภาพ มีโอกาสให้การวิเคราะห์หรือคาดการณ์ผิดพลาดและส่งผลเสียอย่างมหาศาลให้แก่ธุรกิจได้
เมื่อเห็นแล้วว่า Big Data สำคัญต่อโครงสร้างทั้งหมด เพื่อความยืดหยุ่นต่อการเชื่อมต่อและพัฒนาของเทคโนโลยีที่เกิดอย่างรวดเร็ว ทางไอบีเอ็ม มีการพัฒนา Solution ที่สำหรับจัดเก็บข้อมูลมหาศาล ที่ถูกพูดถึงกันมากและใช้งานอย่างแพร่หลายแล้วในหลายองค์กร คือกลุ่มของ Software Defined Storage อย่าง IBM Spectrum Scale ที่เป็นระบบจัดเก็บไฟล์แบบ general parallel file systems (GPFS) ออกแบบเพื่องานจัดเก็บไฟล์จำนวนมากโดยเฉพาะ รองรับการเชื่อมต่อได้หลากหลาย protocols และยังสามารถเชื่อมต่อ จัดการ storage ได้หลากหลายทั้งแบบ Flash, SSD, Disk, Tape, Object Storage, Cloud ภายใน system เดียวกัน ทำให้ง่ายและลดค่าใช้จ่ายในการจัดเก็บข้อมูลลง เพราะภายใน Spectrum Scale สามารถตั้งค่ากำหนด Policy ในการเคลื่อนย้ายข้อมูลไปยัง Storage ที่เหมาะสมได้โดยอัตโนมัติตามเวลาที่ต้องการ เรียกว่า “Information Lifecycle Management (ILM) policies” ยังมีประสิทธิภาพในการค้นหาข้อมูลของ Metadata ในระดับล้านไฟล์ ได้ในเวลาน้อยกว่าหนึ่งนาที และระบบที่ใช้งานผ่าน IBM Spectrum Scale นี้รองรับ Application ต่างๆ ให้สามารถเข้าถึงข้อมูลเหล่านี้ได้หลากหลายทั้งแบบ Shared Native, NFS, SMB, POXIS, Compute Farm, OpenStack [Cinder,Swift, S3, Glance]
ข้อมูลเพิ่มเติม IBM Spectrum Scale: https://www.youtube.com/watch?v=prYbCLTODCw#action=share
การป้องกันข้อมูลของระบบ สามารถทำงานร่วมกับ ระบบ Native Encryption และ Security Key System Management (SKM) ได้ด้วย เพื่อทำ encryption data ก่อนจะลงไปยัง Disk และยังมีฟังก์ชั่น Secure Deletion ป้องกับการลบข้อมูล สามารถตั้งค่าได้เพื่อความปลอดภัยได้ ส่วนการ Protection Data โดยการทำ protection แบบ 2 copies วิธีการนี้จะช่วยเพิ่มพื้นที่จัดเก็บข้อมูลให้เพิ่มขึ้นและข้อมูลยังคงปลอดภัยเช่นเดิม ต่างจากการใช้ Freeware บางตัว ที่ใช้ในการทำ File System เช่นกัน แต่มีการ protection data ถึง 3 copies ที่จะทำให้ใช้เครื่อง data node ในปริมาณมาก เพื่อให้ได้ usable ตามต้องการ ส่งผลให้ค่าใช้จ่ายโดยรวมของระบบมีราคาสูงขึ้น แม้จะเป็น Freeware ก็ตาม กลับต้องเสียค่าใช้จ่ายส่วน Hardware ที่สูง แต่ใช้งานได้น้อย ส่วนของ Freeware ก็ถือเป็นเครื่องมือที่ดี แต่ก็มาพร้อมการทำงานที่ยุ่งยากและซับซ้อน ซึ่งในบ้างครั้งอาจจะไม่ได้เหมาะที่จะใช้งานกับทุกองค์กร หากลูกค้าต้องการเชื่อมต่อหรือย้ายระบบมาใช้งาน IBM Spectrum Scale ทางไอบีเอ็ม มี Free Tool ของไอบีเอ็ม ที่สามารถเชื่อมต่อกับระบบเดิมใช้งานร่วมกันหรือใช้ย้ายข้อมูล (Data migration) มายังระบบใหม่ได้ง่ายอีกด้วย
มุมของ Server ที่จะนำมาสร้าง File System ใช้งานกับ Spectrum Scale สามารถรองรับได้หลากหลาย platform ทั้ง Intel x86 Server และ IBM Power Systems ทำให้ลูกค้าสามารถเริ่มต้นระบบได้ที่ 1-2 node เท่านั้น หากลูกค้าไม่ต้องการเพิ่ม server บ่อยครั้ง เมื่อเครื่อง Intel server ที่มีอยู่นั้น รองรับ workload ได้ไม่มากนัก และลูกค้าต้องการจะได้ performance ของระบบที่สูงขึ้น เพื่อประหยัดงบประมาณทางด้านการจัดซื้อและดูแลระบบโดยรวม ทางลูกค้าสามารถเลือกใช้ IBM Power Systems LC model ได้ ซึ่งความสามารถของเครื่องมีความเร็วของ CPU มากกว่า x86 ถึง 4เท่า จึงช่วยให้ลูกค้าสามารถเลือกใช้ server ในปริมาณที่น้อยลง ได้ประสิทธิภาพที่สูงขึ้น รองรับการใช้งานระบบของ Big Data หรือเหมาะกับงานที่มี workload ปริมาณมากและ IBM Power System ยังสามารถใช้งานร่วมกับ IBM Spectrum Scale ได้ดีอีกด้วย สามารถอ่านข้อมูลเพิ่มเติม ได้ที่ >>> https://www.ibm.com/us-en/marketplace/power-system-lc921-and-lc922
ทั้งหมดนี้ เป็นเพียงบางส่วนของข้อมูลเท่านั้น ที่เกี่ยวกับเทคโนโลยีที่กำลังถูกพูดถึงอย่างแพร่หลาย อย่าง Big Data เพื่อเป็นแนวทางสำหรับการนำไปปรับใช้ภายในองค์กร ของทุกอุตสาหกรรม หากต้องการที่ปรึกษาทางด้านเทคโนโลยีหรือสนใจด้านการทำระบบ สามารถติดต่อทาง IBM Thailand และทาง Computer Union มีทีมงาน ที่พร้อมให้คำปรึกษาสำหรับทุกท่านอย่างครบถ้วน
“การนำเทคโนโลยี Big Data Analytic เข้ามาร่วมการตัดสินใจ เพื่อให้เกิดผลลัพธ์ที่ถูกต้อง แม่นยำตามวัตถุประสงค์ที่ต้องการ หากเราเข้าใจและมองเห็นปัญหานั้นแล้ว Big Data ก็จะช่วยทำให้เราแก้ไขปัญหาได้อย่างชัดเจนมากขึ้น แต่ถ้ายังมองไม่เห็นปัญหา Big Data อาจจะเป็นหนึ่งในเครื่องมือที่ช่วยทำให้เรามองเห็นปัญหาที่เกิดได้ชัดเจนมากขึ้น เนื่องจากการประมวลผลต่าง ๆ เกิดจากข้อมูลจริงที่เกิดขึ้นจากพฤติกรรมจริง ภายใจองค์กรหรือภายในระบบ ให้องค์กรสามารถเดินทางไปสู่เป้าหมายได้อย่างมั่นใจ”
ติดต่อสอบถามเพิ่มเติม บริษัท คอมพิวเตอร์ยูเนี่ยน จำกัด
mail : cu_mkt@cu.co.th หรือโทร 02 311 6881 #7151, 7156
เขียนโดย :
ปรียานุช เปล่งวาจา
IBM IT/Specialist
IBM Thailand Co.,Ltd
ธรา มะลัยจันทร์
System Engineer
Computer Union
ชานนทร์ เรือนจรัสศรี
Presales SW Specialist
Computer Union