TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Facebook Artificial Intelligence Research (FAIR) ทำการตีพิมพ์งานวิจัยใช้ Convolutional Neural Network (CNN) ในการแปลภาษาซึ่งได้ผลลัพธ์เทียบเท่าวิธีการในปัจจุบันแต่เร็วกว่าถึง 9 เท่า
โดยทั่วไปนั้น Neural Network ที่นิยมใช้ในงานแปลภาษาคือ Recurrent Neural Network (RNN) เนื่องจากมีความแม่นยำในการแปลภาษาที่เหนือกว่า แต่ RNN นั้นทำงานด้วยการประมวลผลคำศัพท์ทีละคำตามลำดับ ซึ่งเป็นการทำงานที่ขัดกับธรรมชาติของฮาร์ดแวร์ GPU แบบคู่ขนานที่ใช้กันในปัจจุบัน และทำให้ไม่สามารถประมวลผลแบบคู่ขนานได้อย่างเต็มที่ ในทางกลับกัน CNN มีความสามารถในการประมวลผลทุกๆส่วนไปพร้อมกัน จึงสามารถใช้ประโยชน์จากฮาร์ดแวร์ได้เต็มที่ อีกทั้งยังสามารถทำการประมวลผลเป็นขั้นลำดับซึ่งจะช่วยในการค้นพบโครงสร้างที่ซับซ้อนภายในข้อมูลได้ดียิ่งขึ้น
องค์ประกอบที่สำคัญของระบบแปลภาษาในครั้งนี้คือ multi-hop attention ที่ทำงานโดยการแบ่งประโยคออกเป็นส่วนๆ แปล แล้วกลับไป“มอง”ประโยคอีกครั้งเพื่อเลือกว่าจะแปลคำไหนต่อไป คล้ายกับการที่มนุษย์มองหาคีย์เวิร์ดในการแปลภาษา โดยระบบจะเลือกคำที่เกี่ยวข้องมาแปลต่อ เช่นการเลือกคำกริยาช่วยหลังจากทำการแปลคำกริยาแล้ว
ภาพด้านล่างนี้แสดงถึงการทำงานของกลไกดังกล่าวในการแปลประโยคภาษา (encoding) ฝรั่งเศสเป็นภาษาอังกฤษ (decoding) ในขั้นแรกระบบจะทำการแปลงประโยคเริ่มต้นเป็น vector โดยมี attention ทำหน้าที่เลือกคำที่เกี่ยวข้องกับคำแปลมากที่สุดมาให้ decoder ทำการแปลต่อไป เส้นสีเขียวแสดงถึงความสนใจของ network ต่อแต่ละคำในแต่ละขั้นตอน
อีกหนึ่งส่วนที่สำคัญของระบบนี้คือ gating กลไกการควบคุมข้อมูลที่เข้ามายัง neural network เพื่อให้การแปลภาษาเป็นได้อย่างมีประสิทธิภาพมากขึ้น เช่นในการประมวลผลคำแปลที่ผ่านมาของการแปลประโยค gating อาจออกคำสั่งให้ network มุ่งความสนใจไปยังคำๆนึงหรือทั้งประโยค แล้วแต่สถานการณ์ในขณะนั้น
ระบบการแปลภาษาด้วย CNN ของ FAIR นี้ได้สร้างบรรทัดฐานใหม่ให้กับการแปลภาษาด้วย Neural Network เมื่อทดสอบกับชุดข้อมูลจาก Conference on Machine Translation (WMT) ที่นิยมใช้เปรียบเทียบการทำงานของระบบแปลภาษา พบว่าในการแปลข้อมูลคู่ภาษาอังกฤษ-ฝรั่งเศส WMT 2014 มีความแม่นยำมากกว่าระบบเดิม 1.5 BLEU (bilingual evaluation understudy – ขั้นตอนวิธีในการประเมิณคุณภาพของข้อความ) คู่ภาษาอังกฤษ-เยอรมัน WMT 2014 ดีขึ้น 0.5 BLEU และคู่ภาษาอังกฤษ-โรมาเนียน 1.8 BLEU
โมเดล FAIR CNN ดังกล่าวมีการประมวลผลที่มีประสิทธิภาพสูงและเร็วกว่าระบบ RNN ถึง 9 เท่า ซึ่งยังสามารถเพิ่มความเร็วขึ้นไปได้อีกด้วยเทคนิคการเพิ่มความเร็วในกับ neural network เช่น การ quantize weights หรือการทำ distillation
FAIR เปิดให้ผู้สนใจเข้าอ่านเปเปอร์ตัวเต็มของระบบไว้ที่นี่ และยังได้เปิดโอเพ่นซอร์ส source code ของ toolkit ของโมเดลนี้ไว้ใน GitHub เพื่อให้ผู้สนใจทำการศึกษาต่อไปด้วย
ที่มา: https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/
