Facebook เผยใช้วิธีแปลภาษาแบบใหม่แม่นกว่าเดิม พร้อมเปิดตัว RNN ใน Caffe2

Facebook ได้ออกมาเผยถึงการเลือกใช้วิธีการใหม่ในการทำ Neural Machine Translation เพื่อแปลภาษาให้ได้แม่นยำกว่าเดิม และยังเปิด Open Source ให้กับระบบ Recurrent Neural Network (RNN) ใน Caffe2 ที่ใช้ในการพัฒนาระบบการแปลภาษาครั้งนี้ด้วย

 

Facebook ได้เปรียบระบบการแปลภาษาจาก Phrase-based กลายมาเป็น Context-based แทนด้วยการใช้ RNN แบบ Sequence-to-Sequence Long Short-Term Memory (LSTM) with Attention แทน ทำให้การวิเคราะห์ผลการแปลนั้นเกิดจากการอ่านทั้งประโยครวมกับเนื้อหาก่อนหน้าทั้งหมด และมีความแม่นยำสูงขึ้นถึง 11% จากการเทียบผลการแปลตามมาตรฐาน BLEU

ส่วนคำแปลที่ Facebook ไม่รู้จักนั้น Facebook ก็จะมีวิธีการอื่นๆ ในการค้นหาคำที่ไม่รู้จักแทนจากข้อมูลที่ใช้ในการ Training เพื่อนำมาเทียบและหาคำที่น่าจะเป็นที่สุด ทำให้ผลการแปลมีความแม่นยำสูงขึ้น เช่น สามารถแปลคำวส่า tmrw ซึ่งย่อจาก tomorrow ได้ถูกต้อง เป็นต้น อีกทั้งยังมีการใช้เทคนิค Vocabulary Reduction เพื่อลดปริมาณของคำที่เกิดขึ้นในระหว่างการแปล เพื่อลดปริมาณ Computing Power และเวลาที่ต้องใช้ในการแปลลงได้มหาศาลโดยไม่ทำให้คุณภาพการแปลลดลง พร้อมทั้งยังใช้ FBLearning Flow Platform ช่วยในการปรับแต่งค่าของ Hyperparameter ต่างๆ ในระบบ Neural Network ทำให้ความแม่นยำในการแปลจากภาษาอังกฤษไปยังภาษาสเปนสูงขึ้นอีก 3.7% ด้วย

สำหรับ RNN ใน Caffe2 นี้ถูกเปิด Open Source อยู่ที่ https://github.com/caffe2/caffe2 โดยมีจุดเด่นคือสามารถทำงานได้แบบ Zero Overhead, สามารถนำ Cell ต่างๆ มาเชื่อมต่อกันภายใต้ความสามารถ MultiRNNCell ได้อย่างยืดหยุ่น, มีการจัดการ Memory แบบใหม่ทำให้รองรับ Batch Size ต่อ GPU ได้มากขึ้น อีกทั้งยังรองรับการทำ Static RNN ได้อีกด้วย

 

ที่มา: https://code.facebook.com/posts/289921871474277/transitioning-entirely-to-neural-machine-translation/, https://caffe2.ai/blog/2017/08/03/caffe2-adds-RNN-support.html