TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
นักวิจัยของ IBM ได้ออกมาเผยผลงานวิจัยที่เริ่มใช้เทคโนโลยี 8-bit สำหรับการประมวลผลด้าน AI เพื่อให้ได้มาซึ่งประสิทธิภาพที่สูงขึ้น, การใช้พลังงานที่น้อยลง ในขณะที่ความแม่นยำยังคมเดิม ว่าจะกลายเป็นเทคโนโลยีที่ถูกใช้งานกันในวงการอย่างแพร่หลายในอีกไม่กี่ปีนับถัดจากนี้หลังจากยุคของ GPU เพื่อรองรับ AI Application จำนวนมหาศาลในอนาคต
ใน Blog ของ IBM ได้ออกมาเล่าถึงงานวิจัย 2 ชิ้นทางด้านเทคโนโลยี 8-bit สำหรับ AI ที่ถูกออกแบบขึ้นมาเพื่อรองรับโลกในยุคสมัยที่ GPU ถูกพัฒนาจนถึงขีดจำกัดแล้วในอนาคต ด้วยการพัฒนา Hardware สำหรับงานทางด้าน AI โดยเฉพาะ และแนวทางหนึ่งที่ IBM เลือกที่จะวิจัยอย่างจริงจังก็คือการลด Precision สำหรับการทำ AI Model Training (การฝึก AI ด้วยการเรียนรู้ข้อมูลและสร้าง Model ขึ้นมา) และ Inference (การนำ Model ที่ได้มาใช้เพื่อวิเคราะห์ Input ที่ได้รับว่าควรจะมีผลลัพธ์เป็นอย่างไร) ลง โดยให้ผลลัพธ์ยังคงมีความแม่นยำเทียบเท่าเดิมนั่นเอง
แนวคิดนี้เริ่มต้นมาตั้งแต่สมัยแรกๆ ที่มีการใช้ 32-bit Precision ในการทำ AI Model Training ซึ่งกินพลังงานมากแต่ก็ได้รับผลลัพธ์ที่มีความแม่นยำสูงสุด มาสู่การวิจัยเพื่อทำ AI Model Training ด้วย 16-bit Precision แทนจนได้ความแม่นยำในระดับที่เทียบเท่ากัน แต่กินพลังงานและทรัพยากรที่น้อยกว่า ในขณะที่การทำ Inference นั้นสามารถทำได้ด้วย 8-bit Precision โดยมีความแม่นยำที่ยอมรับได้แล้ว
เป้าหมายถัดมาที่ IBM มองนั้นก็คือการวิจัยเพื่อลด Precision สำหรับการทำ AI Model Training ลงให้เหลือเพียง 8-bit เท่านั้น ซึ่ง IBM นั้นก็พร้อมจะนำเสนองานวิจัยในนี้ภายใต้หัวข้อ Training Deep Neural Networks with 8-bit Floating Point Numbers ในงาน NeurIPS แล้ว โดย IBM ระบุว่างานวิจัยนี้ได้แสดงถึงแนวทางในการ Train Deep Learning Model ด้วย 8-bit Precision ได้โดยมีความแม่นยำเทียบเท่าเดิม และรองรับการใช้งานได้กับทั้ง Image, Speech, Text ซึ่งผลลัพธ์นั้นก็ทำให้ระบบมีความเร็วสูงกว่าเทคโนโลยี 16-bit ในปัจจุบัน 2-4 เท่าเลยทีเดียว
งานวิจัยนี้หากนำไปใช้ร่วมกับสถาปัตยกรรม Dataflow ที่ถูกออกแบบขึ้นมาโดยเฉพาะ ก็จะทำให้ชิปหนึ่งๆ นั้นสามารถทำได้ทั้งการ Training และการทำ Inference ในตัวเพื่อรองรับทั้งการประมวลผลขนาดเล็กและขนาดใหญ่
อีกเทคโนโลยีหนึ่งที่ IBM มองว่าจะมีบทบาทสำคัญเป็นอย่างมากในอนาคตก็คือ Analog Chip สำหรับการทำ In-memory Computing เนื่องจากเทคโนโลยี Analog นั้นมีคุณสมบัติสำคัญคือการกินพลังงานน้อย, มีความคุ้มค่าสูง และยังมีความมั่นคงทนทานที่สูง ซึ่งเหมาะสมกับงานทางด้าน AI ที่ Edge เป็นอย่างมาก ดังนั้น Analog Accelerator จึงอาจกลายเป็นตัวเร่งการประมวลผลสำหรับ AI ให้เหนือยิ่งขึ้นไปกว่าขีดจำกัดของเทคโนโลยี Digital ที่ใช้กันอยู่ในปัจจุบันได้
อย่างไรก็ดี จุดอ่อนของ Analog Chip นี้ก็คือการขาดความแม่นยำในการประมวลผล ดังนั้นงานวิจัยของ IBM อีกชิ้นจึงมุ่งเน้นไปที่การเพิ่มความแม่นยำได้ โดยใน Paper ที่มีชื่อว่า 8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory ในงาน IEDM นั้นก็ได้แสดงถึงเทคนิคที่จะทำให้ Analog Chip สามารถประมวลผลแบบ 8-bit Precision เพื่อทำ Scalar Multiplication Operation ได้แม่นยำขึ้นประมาณ 2 เท่าเมื่อเทียบกับ Analog Chip ก่อนหน้า ในขณะที่ใช้พลังงานน้อยกว่าสถาปัตยกรรมแบบ Digital ถึง 33 เท่าเลยทีเดียว
สาเหตุที่ Analog Chip สามารถลดพลังงานลงไปได้มากถึง 33 เท่านี้ก็คือการเปลี่ยนไปใช้สถาปัตยกรรมการประมวลผลแบบ In-Memory Computing เพื่อลดกระบวนการการรับส่งข้อมูลภายในการประมวลผลแต่ละครั้งลง โดยหน่วยความจำที่ใช้ก็คือ Phase-Change Memory (PCM) ที่สามารถบันทึกค่า State ของข้อมูลให้เป็นค่าที่อยู่ระหว่าง 0 กับ 1 ได้ หรือพูดง่ายๆ ก็คือเป็นค่าแบบ Analog ซึ่งเมื่อ IBM ได้พัฒนาเทคโนโลยี Projected PCM (Proj-PCM) เพื่อเพิ่มความแม่นยำในการเขียนและอ่านข้อมูลจาก PCM ได้แล้ว ก็ทำให้ PCM กลายเป็นอีกส่วนประกอบสำคัญในการทำ Analog In-Memory Computing เพื่อรองรับงาน AI ได้นั่นเอง
งานวิจัยด้านการประมวลผลเพื่อรองรับงาน AI นี้ยังมีอีกหลากหลาย และแต่ละแนวทางนั้นก็มีจุดเด่นที่แตกต่างกันออกไป ดังนั้นในช่วงหลังจากนี้เราคงได้เห็นงานวิจัยและแนวทางใหม่ๆ ของเทคโนโลยีกลุ่มนี้กันอีกมากมายแน่นอน
ที่มา: https://www.ibm.com/blogs/research/2018/12/8-bit-breakthroughs-ai/
