Breaking News

Facebook เผยงานวิจัยแปลภาษาด้วย Neural Network เร็วกว่าเดิม 9 เท่า

Facebook Artificial Intelligence Research (FAIR) ทำการตีพิมพ์งานวิจัยใช้ Convolutional Neural Network (CNN) ในการแปลภาษาซึ่งได้ผลลัพธ์เทียบเท่าวิธีการในปัจจุบันแต่เร็วกว่าถึง 9 เท่า

โดยทั่วไปนั้น Neural Network ที่นิยมใช้ในงานแปลภาษาคือ Recurrent Neural Network (RNN) เนื่องจากมีความแม่นยำในการแปลภาษาที่เหนือกว่า แต่ RNN นั้นทำงานด้วยการประมวลผลคำศัพท์ทีละคำตามลำดับ ซึ่งเป็นการทำงานที่ขัดกับธรรมชาติของฮาร์ดแวร์ GPU แบบคู่ขนานที่ใช้กันในปัจจุบัน และทำให้ไม่สามารถประมวลผลแบบคู่ขนานได้อย่างเต็มที่ ในทางกลับกัน CNN มีความสามารถในการประมวลผลทุกๆส่วนไปพร้อมกัน จึงสามารถใช้ประโยชน์จากฮาร์ดแวร์ได้เต็มที่ อีกทั้งยังสามารถทำการประมวลผลเป็นขั้นลำดับซึ่งจะช่วยในการค้นพบโครงสร้างที่ซับซ้อนภายในข้อมูลได้ดียิ่งขึ้น

องค์ประกอบที่สำคัญของระบบแปลภาษาในครั้งนี้คือ multi-hop attention ที่ทำงานโดยการแบ่งประโยคออกเป็นส่วนๆ แปล แล้วกลับไป“มอง”ประโยคอีกครั้งเพื่อเลือกว่าจะแปลคำไหนต่อไป คล้ายกับการที่มนุษย์มองหาคีย์เวิร์ดในการแปลภาษา โดยระบบจะเลือกคำที่เกี่ยวข้องมาแปลต่อ เช่นการเลือกคำกริยาช่วยหลังจากทำการแปลคำกริยาแล้ว

ภาพด้านล่างนี้แสดงถึงการทำงานของกลไกดังกล่าวในการแปลประโยคภาษา (encoding) ฝรั่งเศสเป็นภาษาอังกฤษ​ (decoding) ในขั้นแรกระบบจะทำการแปลงประโยคเริ่มต้นเป็น vector โดยมี attention ทำหน้าที่เลือกคำที่เกี่ยวข้องกับคำแปลมากที่สุดมาให้ decoder ทำการแปลต่อไป เส้นสีเขียวแสดงถึงความสนใจของ network ต่อแต่ละคำในแต่ละขั้นตอน

Credit: FAIR

 

อีกหนึ่งส่วนที่สำคัญของระบบนี้คือ gating กลไกการควบคุมข้อมูลที่เข้ามายัง neural network เพื่อให้การแปลภาษาเป็นได้อย่างมีประสิทธิภาพมากขึ้น เช่นในการประมวลผลคำแปลที่ผ่านมาของการแปลประโยค gating อาจออกคำสั่งให้ network มุ่งความสนใจไปยังคำๆนึงหรือทั้งประโยค แล้วแต่สถานการณ์ในขณะนั้น

ระบบการแปลภาษาด้วย CNN ของ FAIR นี้ได้สร้างบรรทัดฐานใหม่ให้กับการแปลภาษาด้วย Neural Network เมื่อทดสอบกับชุดข้อมูลจาก Conference on Machine Translation (WMT) ที่นิยมใช้เปรียบเทียบการทำงานของระบบแปลภาษา พบว่าในการแปลข้อมูลคู่ภาษาอังกฤษ-ฝรั่งเศส WMT 2014 มีความแม่นยำมากกว่าระบบเดิม 1.5 BLEU (bilingual evaluation understudy – ขั้นตอนวิธีในการประเมิณคุณภาพของข้อความ) คู่ภาษาอังกฤษ-เยอรมัน WMT 2014 ดีขึ้น 0.5 BLEU และคู่ภาษาอังกฤษ-โรมาเนียน 1.8 BLEU

โมเดล FAIR CNN ดังกล่าวมีการประมวลผลที่มีประสิทธิภาพสูงและเร็วกว่าระบบ RNN ถึง 9 เท่า ซึ่งยังสามารถเพิ่มความเร็วขึ้นไปได้อีกด้วยเทคนิคการเพิ่มความเร็วในกับ neural network เช่น การ quantize weights หรือการทำ distillation

FAIR เปิดให้ผู้สนใจเข้าอ่านเปเปอร์ตัวเต็มของระบบไว้ที่นี่ และยังได้เปิดโอเพ่นซอร์ส source code ของ toolkit ของโมเดลนี้ไว้ใน GitHub เพื่อให้ผู้สนใจทำการศึกษาต่อไปด้วย

 

ที่มา: https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/


Check Also

เตือนสแปม Cisco Webex หลอกเปลี่ยนเส้นทางเหยื่อไปดาวน์โหลดมัลแวร์

Alex Lanstein ผู้อำนวยการอาวุโสจาก FireEye ออกมาแจ้งเตือนถึงแคมเปญสแปม Cisco Webex ซึ่งใช้การโจมตีแบบ Open Redirect หลอกเหยื่อที่เผลอกด “Join Meeting” ให้เปลี่ยนเส้นทางไปดาวน์โหลด Remote …

ส่องกลยุทธ์รุกตลาด Multi-cloud ในงาน Microsoft Ignite 2019

แม้ว่างานใหญ่ของ Microsoft จะจบลงไปแล้ว แต่ทาง NetworkComputing ได้เสนอบทความที่นำเสนอถึงกลยุทธ์ที่บริษัทยักษ์ใหญ่นี้ ได้ประกาศออกมาในช่วงงานเพื่อตอบสนองกับการใช้งาน Multi-cloud โดยทางเราเห็นว่าน่าสนใจดีจึงขอสรปุมาให้ติดตามกันสั้นๆ ครับ