Facebook เผยงานวิจัยแปลภาษาด้วย Neural Network เร็วกว่าเดิม 9 เท่า

Facebook Artificial Intelligence Research (FAIR) ทำการตีพิมพ์งานวิจัยใช้ Convolutional Neural Network (CNN) ในการแปลภาษาซึ่งได้ผลลัพธ์เทียบเท่าวิธีการในปัจจุบันแต่เร็วกว่าถึง 9 เท่า

โดยทั่วไปนั้น Neural Network ที่นิยมใช้ในงานแปลภาษาคือ Recurrent Neural Network (RNN) เนื่องจากมีความแม่นยำในการแปลภาษาที่เหนือกว่า แต่ RNN นั้นทำงานด้วยการประมวลผลคำศัพท์ทีละคำตามลำดับ ซึ่งเป็นการทำงานที่ขัดกับธรรมชาติของฮาร์ดแวร์ GPU แบบคู่ขนานที่ใช้กันในปัจจุบัน และทำให้ไม่สามารถประมวลผลแบบคู่ขนานได้อย่างเต็มที่ ในทางกลับกัน CNN มีความสามารถในการประมวลผลทุกๆส่วนไปพร้อมกัน จึงสามารถใช้ประโยชน์จากฮาร์ดแวร์ได้เต็มที่ อีกทั้งยังสามารถทำการประมวลผลเป็นขั้นลำดับซึ่งจะช่วยในการค้นพบโครงสร้างที่ซับซ้อนภายในข้อมูลได้ดียิ่งขึ้น

องค์ประกอบที่สำคัญของระบบแปลภาษาในครั้งนี้คือ multi-hop attention ที่ทำงานโดยการแบ่งประโยคออกเป็นส่วนๆ แปล แล้วกลับไป“มอง”ประโยคอีกครั้งเพื่อเลือกว่าจะแปลคำไหนต่อไป คล้ายกับการที่มนุษย์มองหาคีย์เวิร์ดในการแปลภาษา โดยระบบจะเลือกคำที่เกี่ยวข้องมาแปลต่อ เช่นการเลือกคำกริยาช่วยหลังจากทำการแปลคำกริยาแล้ว

ภาพด้านล่างนี้แสดงถึงการทำงานของกลไกดังกล่าวในการแปลประโยคภาษา (encoding) ฝรั่งเศสเป็นภาษาอังกฤษ​ (decoding) ในขั้นแรกระบบจะทำการแปลงประโยคเริ่มต้นเป็น vector โดยมี attention ทำหน้าที่เลือกคำที่เกี่ยวข้องกับคำแปลมากที่สุดมาให้ decoder ทำการแปลต่อไป เส้นสีเขียวแสดงถึงความสนใจของ network ต่อแต่ละคำในแต่ละขั้นตอน

Credit: FAIR

 

อีกหนึ่งส่วนที่สำคัญของระบบนี้คือ gating กลไกการควบคุมข้อมูลที่เข้ามายัง neural network เพื่อให้การแปลภาษาเป็นได้อย่างมีประสิทธิภาพมากขึ้น เช่นในการประมวลผลคำแปลที่ผ่านมาของการแปลประโยค gating อาจออกคำสั่งให้ network มุ่งความสนใจไปยังคำๆนึงหรือทั้งประโยค แล้วแต่สถานการณ์ในขณะนั้น

ระบบการแปลภาษาด้วย CNN ของ FAIR นี้ได้สร้างบรรทัดฐานใหม่ให้กับการแปลภาษาด้วย Neural Network เมื่อทดสอบกับชุดข้อมูลจาก Conference on Machine Translation (WMT) ที่นิยมใช้เปรียบเทียบการทำงานของระบบแปลภาษา พบว่าในการแปลข้อมูลคู่ภาษาอังกฤษ-ฝรั่งเศส WMT 2014 มีความแม่นยำมากกว่าระบบเดิม 1.5 BLEU (bilingual evaluation understudy – ขั้นตอนวิธีในการประเมิณคุณภาพของข้อความ) คู่ภาษาอังกฤษ-เยอรมัน WMT 2014 ดีขึ้น 0.5 BLEU และคู่ภาษาอังกฤษ-โรมาเนียน 1.8 BLEU

โมเดล FAIR CNN ดังกล่าวมีการประมวลผลที่มีประสิทธิภาพสูงและเร็วกว่าระบบ RNN ถึง 9 เท่า ซึ่งยังสามารถเพิ่มความเร็วขึ้นไปได้อีกด้วยเทคนิคการเพิ่มความเร็วในกับ neural network เช่น การ quantize weights หรือการทำ distillation

FAIR เปิดให้ผู้สนใจเข้าอ่านเปเปอร์ตัวเต็มของระบบไว้ที่นี่ และยังได้เปิดโอเพ่นซอร์ส source code ของ toolkit ของโมเดลนี้ไว้ใน GitHub เพื่อให้ผู้สนใจทำการศึกษาต่อไปด้วย

 

ที่มา: https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/


Check Also

UiPath ขอเชิญร่วม Meeting ในหัวข้อ Discovering the process for Automation 3 ก.ค. 2019

UiPath ขอเชิญผู้ที่สนใจเทคโนโลยี Robotic Process Automation (RPA) ทุกท่าน เข้าร่วมงาน Meeting ฟรี Discovering the process for Automation เพื่อเรียนรู้ว่าปัจจุบันนี้กระบวนการใดบ้างที่นิยมแปลงให้เป็นอัตโนมัติด้วย RPA ในวันที่ 3 ก.ค. 2019 โดยมีรายละเอียด กำหนดการ และวิธีการลงทะเบียนเข้าร่วมงานฟรีดังนี้

ขอเชิญร่วม Webinar ฟรี รู้จักกับ Software-Defined Camera นิยามใหม่ของกล้องวงจรปิดอัจฉริยะ โดย หัวเว่ย

หัวเว่ยขอเรียนเชิญเหล่า IT Manager, Network Engineer, IT Admin และผู้ที่เกี่ยวข้องกับการดูแลระบบ IT ภายในองค์กรทุกท่าน เข้าร่วมฟัง Webinar ในหัวข้อเรื่อง "Software-Defined Camera นิยามใหม่ของกล้องวงจรปิดอัจฉริยะ โดย หัวเว่ย" เพื่อรู้จักกับเทคโนโลยีกล้องวงจรปิดสมัยใหม่ที่เปลี่ยนรูปแบบไปเป็น Software-Defined Camera และการประยุกต์ใช้งานจริงภายในธุรกิจองค์กร ในวันพฤหัสบดีที่ 11 กรกฎาคม 2019 เวลา 14.00 – 15.00 น. โดยมีกำหนดการและวิธีการลงทะเบียนดังนี้