Tag Archives: apache spark

Hortonworks ได้ออกมาประกาศเปิดตัว HDP 3.0 เพื่อให้สามารถทำการวิเคราะห์ข้อมูลได้อย่างรวดเร็ว, ชาญฉลาด และยืดหยุ่นมากยิ่งขึ้น โดยมีความสามารถใหม่ๆ ที่น่าสนใจดังนี้

นับเป็นความร่วมมือระหว่างโครงการ Open Source ที่น่าสนใจมาก เมื่อ Apache Spark และ Kubernetes จับมือกันพัฒนาเทคโนโลยี เพื่อให้การทำ Big Data Analytics สามารถเกิดขึ้นใน Container ได้อย่างง่ายดาย

Intel ได้ออกมาประกาศเปิดตัว Intel Stratix 10 MX FPGA ซึ่งเป็น Field Programmable Gate Array (FPGA) แรกที่มาพร้อมกับ High Bandwidth Memory DRAM (HBM2) ภายในตัว ด้วย Memory Bandwidth สูงสุดขนาด 512GB/s ที่สูงกว่าเดิมถึง 10 เท่าเมื่อเทียบกับ DDR

ในงาน Microsoft Connect(); ที่กำลังจัดขึ้นนั้น Microsoft ได้ประกาศเปิดตัว Azure Databriks ระบบ Data Analytics บน Apache Spark แบบครบวงจรบน Microsoft Azure เริ่มต้นใช้งานได้อย่างรวดเร็ว ตอบโจทย์ Data Engineers และ Data Scientist โดยเฉพาะ

Apache Spark 2.2.0 นี้เปิดตัวออกมาเมื่อวานนี้ โดยถือเป็น Release ที่ 3 ในรุ่น 2.x ที่มุ่นเน้นการพัฒนาให้ระบบมีความเสถียรมากขึ้นเป็นหลัก

NEC ได้ประกาศเปิดตัว CPU แบบ Vector รุ่นล่าสุดภายใต้ชื่อ Aurora Vector Engine ซึ่งสามารถประมวลผลการทำ Big Data ด้วย Apache Spark ได้เร็วขึ้น 50 เท่า เมื่อเทียบกับระบบที่ใช้สถาปัตยกรรมแบบ Cluster

ที่ผ่านมาเรามักได้ยินเรื่องราวการนำ Open Source Software มาใช้งานจากธุรกิจในฝั่งอเมริกาและยุโรปกันเป็นส่วนมาก แต่ในปัจจุบันนี้จีนเองก็เริ่มกลายเป็นตลาดใหญ่ของวงการ Open Source ที่ผันตัวออกมาจากการเป็นเพียงผู้ใช้ ก้าวสู่การเป็นผู้ Contribute เป็นที่เรียบร้อยแล้ว ตัวอย่างหนึ่งที่เห็นได้ค่อนข้างชัดคือ Huawei ที่ทำธุรกิจ IT อยู่ในทั้งวงการโทรคมนาคมและ Enterprise ก็เป็นอีกหนึ่งบริษัทที่ได้ลงทุนกับ Open Source และนำ Open Source ออกมาสร้างเป็นผลิตภัณฑ์ออกสู่ตลาดจริง โดยเฉพาะ Big Data Analytics ที่กลายเป็นหัวใจของธุรกิจโทรคมนาคมและการเงินในทุกวันนี้ไปแล้ว

ในงาน IBM ASEAN Connect 2017 ทางทีมงาน TechTalkThai มีโอกาสได้สัมภาษณ์กับทางคุณ Craig McKenna ผู้ดำรงตำแหน่ง Director ของ Cloud & Cognitive Data Solutions แห่ง IBM Systems ในประเด็นเกี่ยวกับ IT Infrastructure เป็นหลัก ซึ่งครอบคลุมถึงอนาคตของเทคโนโลยี Flash และ Storage สำหรับองค์กร ซึ่งครอบคลุมถึงทั้งสถาปัตยกรรมที่จะมาในอนาคตสำหรับ Flash, อนาคตของ Tape, การรองรับ Big Data Analytics ไปจนถึงการออกแบบระบบ Storage สำหรับ Blockchain ในกรณีที่ต้องการทำ On-premises จึงขอนำมาสรุปเอาไว้ให้ได้อ่านกันดังนี้

Yahoo เปิดโอเพ่นซอร์ส library ที่เชื่อม TensorFlow เข้ากับ Apache Hadoop และ Spark เพื่อมให้นักพัฒนาสร้างโมเดล deep learning ที่ใช้ความสามารถของ Spark ในการเพิ่มขยายระบบและรันแบบ distributed ผ่าน CPU และ GPU ของ server cluster

Apache Spark ประกาศเปิดตัวรุ่น 2.1.0 ซึ่งมุ่งเน้นการรองรับการทำ Structured Streaming ได้ในระดับ Pruduction ด้วยการเสริมการรองรับ Kafka 0.10 เข้าไป โดยสรุปแล้วมีประเด็นต่างๆ ที่น่าสนใจเกี่ยวกับ Apache Spark 2.1.0 ดังนี้

MongoDB ประกาศเปิดตัวระบบฐานข้อมูล NoSQL รุ่น 3.4 ที่เพิ่มความสามารถใหม่ๆ เข้ามาดังนี้

IBM ประกาศเปิดตัว Project DataWorks ซึ่งเป็นบริการ Cloud-based Data Analytics Platform ที่ได้รวมเอาข้อมูลทุกประเภทไว้พร้อมให้ทำการวิเคราะห์ด้วย Apache Spark หรือทำ Machine Learning ต่อได้ทันที โดยมีความสามารถที่น่าสนใจดังนี้

เมื่อ Machine Learning กำลังจะกลายเป็นเรื่องของทุกๆ ธุรกิจ ก็มีข่าวลือออกมาว่าทาง Microsoft เองกำลังซุ่มพัฒนาเทคโนโลยีทางด้าน Machine Learning อยู่ภายใต้ชื่อโครงการ Open Mind Studio ที่จะทำหน้าที่เป็นเหมือน Visual Studio สำหรับการทำ Machine Learning โดยเฉพาะ

Business Insider ได้ทำการสรุปข้อมูลเงินเดือนสาย IT จากรายงานของ Dice ที่เปิดเผยมาเมื่อเดือนกุมภาพันธ์ 2016 ที่ผ่านมา และพบว่ามี 8 ความสามารถที่เป็นที่ต้องการสูงขึ้นมากที่สุดในปี 2015 ที่ผ่านมา และสามารถสร้างรายรับต่อปีได้มากกว่า 110,000 เหรียญ หรือราวๆ 3,850,000 บาทไทยในประเทศสหรัฐอเมริกา ทางทีมงาน TechTalkThai ก็เลยขอหยิบมาสรุปคร่าวๆ ดังนี้ครับ

เป็นอีกข่าวที่เสริมความร้อนแรงให้กับเทคโนโลยี Container และ Big Data Analytics ในช่วงนี้ เมื่อ Mesosphere ประกาศเปิดตัว DC/OS ระบบ Open Source Platform สำหรับ Deploy Application ต่างๆ ได้อย่างหลากหลายและง่ายดาย ซึ่งรวมถึง Docker Container และระบบ Big Data Analytics จากระบบกลางของ DC/OS เพียงระบบเดียว

IBM ได้ประกาศเปิดตัว IBM z/OS Platform for Apache Spark เพื่อช่วยให้การเข้าถึงและวิเคราะห์ข้อมูลขนาดใหญ่หรือ Big Data ได้อย่างรวดเร็วและทันท่วงทีนั้นเป็นไปได้ง่ายดายและมีประสิทธิภาพมากขึ้นสำหรับองค์กร โดยไม่ต้องทำการ Extract, Transform, Load (ETL) แบบระบบวิเคราะห์ข้อมูลเดิมๆ อีกต่อไป

บริษัท ฮิตาชิ ดาต้า ซิสเต็มส์ คอร์ปอเรชัน ( เอชดีเอส ) ธุรกิจในเครือของบริษัท ฮิตาชิ จำกัด เปิดตัว Hitachi Hyper Scale-Out Platform ( HSP ) รุ่นใหม่ ที่ผสานรวมเข้ากับแพลตฟอร์ม Pentaho for Enterprise ทำให้ได้แพลตฟอร์มขั้นสูงแบบไฮเปอร์คอนเวอร์จ ( Hyper-Converged ) ที่บริหารจัดการโดยใช้ซอฟต์แวร์เป็นตัวกำหนดการทำงานเพื่อรองรับการใช้งานข้อมูลขนาดใหญ่ ( Big Data )

Stack Overflow ชุมชนนักพัฒนาชื่อดังในโลกออนไลน์ ที่มีนักพัฒนาเข้าใช้งานมากกว่า 46 ล้านคนต่อเดือน ได้เผยผลสำรวจ Developer Survey ประจำปี 2016 ในหลายๆด้านด้วยกัน ตั้งแต่ประวัติส่วนตัวของนักพัฒนาไปจนถึงเทคโนโลยีที่ใช้งาน ซึ่งทำการสำรวจจากนักพัฒนาจำนวนกว่า 5 หมื่นคน จากทั้งหมด 173 ประเทศทั่วโลก โดยขอหยิบยกผลสำรวจบางข้อที่น่าสนใจ ดังนี้

สำหรับปีนี้ใครที่มีเป้าหมายว่าจะศึกษาศาสตร์ทางด้าน Data Science และ Data Engineering อย่างเต็มตัว ทาง UC BerkeleyX ได้ร่วมกับทาง edX.org ในการจัดคอร์สต่อเนื่อง Spark XSeries ในปีนี้ เริ่มต้นวันที่ 14 เมษายน 2016 โดยทั้งคอร์สมีความยาว 18 สัปดาห์ ใช้เวลา 5-10 ชั่วโมงต่อสัปดาห์ และสามารถจ่ายเงินเพื่อรับใบรับรองการเรียนจบจาก UC BerkeleyX ได้ทันที โดยมีรายละเอียดดังนี้