Tag Archives: apache hadoop

TechTalkThai ขอเรียนเชิญ Data Scientist และคนทำงานสาย IT ทุกท่าน เข้าร่วมฟัง Webinar ในหัวข้อเรื่อง "TechTalk Webinar: จัดการกับ Big Data อย่างมีประสิทธิภาพ ด้วย End to End Data Lake on Hadoop โดย Softnix Data Platform" เพื่อเรียนรู้ถึงปัญหาต่างๆ ที่จะเกิดกับภาคธุรกิจในการเริ่มต้นทำโครงการด้าน Big Data และแนวคิด Data Lake ที่จะนำมาใช้จัดการกับข้อมูลปริมาณมหาศาล ด้วยการใช้ Open Source Software ชื่อดังอย่าง Hadoop ที่ถูกนำมาปรับให้ภาคธุรกิจองค์กรพร้อมใช้งานได้อย่างง่ายดายโดย Softnix Data Platform ในวันพุธที่ 21 สิงหาคม 2019 เวลา 14.00 – 15.30 น. โดยมีกำหนดการและวิธีการลงทะเบียนดังนี้

เมื่อธุรกิจในทุกวงการต้องการจะก้าวไปสู่การเป็นธุรกิจ 4.0 การนำข้อมูลมาใช้ทั้งในเชิงการทำ Big Data Analytics หรือ AI นั้นย่อมเป็นสิ่งที่หลีกเลี่ยงไม่ได้ ด้วยเหตุนี้ ทาง IBM ได้ร่วมมือกับ Hortonworks เพื่อพัฒนาโซลูชัน High Performance Big Data Platform ที่จะทำให้องค์กรพร้อมรวบรวมและวิเคราะห์ข้อมูลในทุกรูปแบบได้ในระบบหนึ่งเดียว พร้อมปรับเปลี่ยนกลยุทธ์ด้านการจัดการข้อมูลได้อย่างยืดหยุ่นและมั่นคงปลอดภัย

Hortonworks ได้ออกมาประกาศเปิดตัว HDP 3.0 เพื่อให้สามารถทำการวิเคราะห์ข้อมูลได้อย่างรวดเร็ว, ชาญฉลาด และยืดหยุ่นมากยิ่งขึ้น โดยมีความสามารถใหม่ๆ ที่น่าสนใจดังนี้

John Matherly ผู้ก่อตั้ง Shodan ได้ออกมาเปิดเผยถึงการค้นพบว่ามี Server ที่ใช้งาน Apache Hadoop ทั่วโลกนั้น มีข้อมูลรั่วรวมกันทั้งสิ้นเกินกว่า 5 Petabyte หรือเกินกว่า 5,000 Terabyte เลยทีเดียว

Dell EMC ได้ผ่านการทดสอบ TPCx-BigBench (TPCx-BB) เพื่อทดสอบประสิทธิภาพการทำงานรองรับโซลูชัน Hadoop และได้กลายเป็นอันดับ 1 ของการทดสอบนี้ในแง่ของ Price/Performance ไปเป็นที่เรียบร้อย

ในงาน IBM ASEAN Connect 2017 ทางทีมงาน TechTalkThai มีโอกาสได้สัมภาษณ์กับทางคุณ Craig McKenna ผู้ดำรงตำแหน่ง Director ของ Cloud & Cognitive Data Solutions แห่ง IBM Systems ในประเด็นเกี่ยวกับ IT Infrastructure เป็นหลัก ซึ่งครอบคลุมถึงอนาคตของเทคโนโลยี Flash และ Storage สำหรับองค์กร ซึ่งครอบคลุมถึงทั้งสถาปัตยกรรมที่จะมาในอนาคตสำหรับ Flash, อนาคตของ Tape, การรองรับ Big Data Analytics ไปจนถึงการออกแบบระบบ Storage สำหรับ Blockchain ในกรณีที่ต้องการทำ On-premises จึงขอนำมาสรุปเอาไว้ให้ได้อ่านกันดังนี้

Yahoo เปิดโอเพ่นซอร์ส library ที่เชื่อม TensorFlow เข้ากับ Apache Hadoop และ Spark เพื่อมให้นักพัฒนาสร้างโมเดล deep learning ที่ใช้ความสามารถของ Spark ในการเพิ่มขยายระบบและรันแบบ distributed ผ่าน CPU และ GPU ของ server cluster

นักวิจัยด้านความปลอดภัยจากหลากหลายแห่งเริ่มตรวจพบสัญญาณเตือนว่า Apache Hadoop นั้นกำลังจะตกเป็นเหยื่อของการโจมตีเรียกค่าไถ่ในลักษณะที่คล้ายคลึงกับ Ransomware และเตือนให้เหล่าองค์กรต่างๆ ทำการตั้งค่า Apache Hadoop อย่างปลอดภัย

เมื่อ Machine Learning กำลังจะกลายเป็นเรื่องของทุกๆ ธุรกิจ ก็มีข่าวลือออกมาว่าทาง Microsoft เองกำลังซุ่มพัฒนาเทคโนโลยีทางด้าน Machine Learning อยู่ภายใต้ชื่อโครงการ Open Mind Studio ที่จะทำหน้าที่เป็นเหมือน Visual Studio สำหรับการทำ Machine Learning โดยเฉพาะ

การเติบโตของการใช้งาน Application ในระดับองค์กร และปริมาณของข้อมูลที่กำลังเติบโตขึ้นอย่างมหาศาลในปัจจุบันนี้ ทำให้ระบบฐานข้อมูลของแต่ละองค์กรนั้นทวีความสำคัญมากยิ่งขึ้น และการบริหารจัดการระบบฐานข้อมูลให้ได้อย่างมีประสิทธิภาพก็ถือเป็นหัวใจหนึ่งที่สำคัญของการดำเนินธุรกิจ Dell เข้าใจในจุดนี้เป็นอย่างดี และได้นำเสนอโซลูชัน Toad แก่เหล่าองค์กรทั่วโลกมากมาย เพื่อช่วยให้องค์กรเหล่านั้นสามารถสร้างคุณค่าใหม่ๆ จากระบบฐานข้อมูลภายในองค์กรได้มากยิ่งขึ้น ดังนี้

MapR ผู้ผลิตและให้บริการด้าน Big Data Platform เพื่อรองรับการประมวลผล Big Data Analytics ได้จากทั้ง Open Source และ Commercial Software ได้เปิดสอนคอร์สออนไลน์เรื่อง Apache Hadoop และเทคโนโลยีอื่นๆ ที่เกี่ยวข้องให้เราได้เรียนกันฟรีๆ เพื่อสร้างฐานเหล่า Data Scientist เพิ่ม พร้อมให้สอบ Certificate ต่อได้ทันที โดยมีหลักสูตรดังต่อไปนี้

ดร.มารุต มณีสถิตย์ กรรมการผู้จัดการประจำประเทศไทย และพม่า บริษัท ฮิตาชิ ดาต้า ซิสเต็มส์ พีทีอี ลิมิเต็ด หรือ HDS กล่าวว่า ปัจจุบันการทำธุรกิจกำลังเปลี่ยนแปลงไป โดยเฉพาะในประเทศไทย ที่มีการพัฒนาระบบการสื่อสารเป็นยุค 4G ที่เพิ่มขีดความสามารถในการส่งผ่าน และรับข้อมูลต่าง ๆ ได้ในเวลาอันรวดเร็ว

บริษัท ฮิตาชิ ดาต้า ซิสเต็มส์ คอร์ปอเรชัน ( เอชดีเอส ) ธุรกิจในเครือของบริษัท ฮิตาชิ จำกัด เปิดตัว Hitachi Hyper Scale-Out Platform ( HSP ) รุ่นใหม่ ที่ผสานรวมเข้ากับแพลตฟอร์ม Pentaho for Enterprise ทำให้ได้แพลตฟอร์มขั้นสูงแบบไฮเปอร์คอนเวอร์จ ( Hyper-Converged ) ที่บริหารจัดการโดยใช้ซอฟต์แวร์เป็นตัวกำหนดการทำงานเพื่อรองรับการใช้งานข้อมูลขนาดใหญ่ ( Big Data )

Big Data Analytics เป็นคำที่ทุกคนในวงการได้ยินกันมานาน หลายๆ คนก็คงอยากสัมผัสกับเทคโนโลยีเหล่านี้แต่ไม่รู้จะเริ่มต้นยังไง วันนี้ทาง TechTalkThai เลยขอออกมาแชร์ประสบการณ์ในการลองเล่น Apache Hadoop แบบง่ายๆ ใช้เวลาไม่ถึง 2 ชั่วโมง แต่ได้เห็นภาพรวมคร่าวๆ ของเทคโนโลยี Big Data Analytics ต่างๆ มาให้ทุกคนได้ลองเล่นตามกันด้วย Cloudera CDH 5.8 QuickStart VM ที่สามารถลองเล่นได้ทุกคนไม่ว่าจะเป็น IT Manager, Programmer, Network Engineer, System Engineer หรือ Security Expert ดังนี้ครับ

Big Data Analytics ได้กลายมาเป็นเทรนด์ที่ร้อนแรงสำหรับตลาดองค์กร โดยนอกจากระบบ IT Infrastructure ที่จะมารองรับ Big Data Analytics นั้น ความสำคัญของระบบวิเคราะห์ข้อมูลสำหรับผู้ใช้งานที่ควรจะมีความเร็วในการตอบสนองสูงสุดก็ถือเป็นอีกเรื่องใหญ่ ดังนั้น Tableau จึงได้ออก Best Practice สำหรับการใช้ Tableau วิเคราะห์ข้อมูลบน Hadoop ให้มีประสิทธิภาพสูงสุดดังนี้

Big Data Analytics News ได้ออกมาเผยถึง 5 Hadoop Distribution ที่ดีที่สุดสำหรับให้แต่ละองค์กรได้เลือกใช้ในการทำ Big Data Analytics กันเองภายในองค์กรได้ เพื่อเป็นทางเลือกเสริมให้กับเหล่าบริการ Cloud Data Analytics ทั้งหลาย ซึ่งทางทีมงาน TechTalkThai ก็ขอนำมาสรุปเอาไว้สั้นๆ ดังต่อไปนี้

Amazon EMR 4.3.0 สามารถใช้งาน Apache Hadoop 2.7.1, Spark 1.6.0, Presto 0.130 และ Ganglia 3.7.2 ได้แล้ว รวมถึงยังมี Presto 0.130 Sandbox รุ่นล่าสุดอีกด้วย

ทางเว็บไซต์ bigdataanalyticsnews ได้ทำนาย 8 แนวโน้มสำหรับเทคโนโลยี Big Data ในปี 2016 เอาไว้ ซึ่งทาง TechTalkThai ก็ขอนำมาสรุปให้ได้อ่านกันสั้นๆ นะครับ โดยสำหรับใครที่อยากอ่านฉบับเต็มก็คลิกอ่านตรงที่มาได้เลยครับ

สำหรับองค์กรที่มีการจัดเก็บข้อมูล Log อยู่แล้วนั้น การค่อยๆ ต่อยอดพัฒนาเพื่อนำข้อมูล Log ที่เก็บรวบรวมมาจากระบบต่างๆ มาใช้ให้เกิดประโยชน์ให้ได้มากขึ้นนั้น ถือเป็นสิ่งที่ควรจะทำอย่างต่อเนื่องและสม่ำเสมอ เพื่อให้ทีมผู้ดูแลระบบสามารถทำงานได้อย่างมีประสิทธิภาพมากขึ้นจากการทำความเข้าใจข้อมูล Log ต่างๆ ที่จัดเก็บรวบรวมเอาไว้ เพื่อใช้ในการตัดสินใจและแก้ไขปัญหาต่างๆ ในการทำงาน Softnix ในฐานะของผู้เชี่ยวชาญระบบ Log Management และพัฒนาผลิตภัณฑ์ Softnix Logger เพื่อตอบโจทย์ทางด้านการจัดเก็บและบริหารจัดการข้อมูล Log ขององค์กรนั้น จึงขอแนะนำ 5 แนวทางในการต่อยอดข้อมูลที่จัดเก็บอยู่ภายในระบบ Log Management ขององค์กร ดังนี้

สำหรับองค์กรที่ต้องการพัฒนา Application ขนาดใหญ่ ที่มีการประมวลผล Unstructured Data ปริมาณมหาศาล และต้องการมองหาทางออกที่จะช่วยให้การนำข้อมูลเหล่านั้นไปใช้ต่อยอดได้อย่างยืดหยุ่นเพื่อความคุ้มค่าสูงสุด DCS ขอแนะนำ IBM Spectrum Scale โซลูชั่น Software Defined Storage ที่ถูกออกแบบมาเพื่อตอบโจทย์นี้โดยเฉพาะนั่นเอง