Facebook เผยใช้วิธีแปลภาษาแบบใหม่แม่นกว่าเดิม พร้อมเปิดตัว RNN ใน Caffe2

Facebook ได้ออกมาเผยถึงการเลือกใช้วิธีการใหม่ในการทำ Neural Machine Translation เพื่อแปลภาษาให้ได้แม่นยำกว่าเดิม และยังเปิด Open Source ให้กับระบบ Recurrent Neural Network (RNN) ใน Caffe2 ที่ใช้ในการพัฒนาระบบการแปลภาษาครั้งนี้ด้วย

Credit: Facebook

 

Facebook ได้เปรียบระบบการแปลภาษาจาก Phrase-based กลายมาเป็น Context-based แทนด้วยการใช้ RNN แบบ Sequence-to-Sequence Long Short-Term Memory (LSTM) with Attention แทน ทำให้การวิเคราะห์ผลการแปลนั้นเกิดจากการอ่านทั้งประโยครวมกับเนื้อหาก่อนหน้าทั้งหมด และมีความแม่นยำสูงขึ้นถึง 11% จากการเทียบผลการแปลตามมาตรฐาน BLEU

ส่วนคำแปลที่ Facebook ไม่รู้จักนั้น Facebook ก็จะมีวิธีการอื่นๆ ในการค้นหาคำที่ไม่รู้จักแทนจากข้อมูลที่ใช้ในการ Training เพื่อนำมาเทียบและหาคำที่น่าจะเป็นที่สุด ทำให้ผลการแปลมีความแม่นยำสูงขึ้น เช่น สามารถแปลคำวส่า tmrw ซึ่งย่อจาก tomorrow ได้ถูกต้อง เป็นต้น อีกทั้งยังมีการใช้เทคนิค Vocabulary Reduction เพื่อลดปริมาณของคำที่เกิดขึ้นในระหว่างการแปล เพื่อลดปริมาณ Computing Power และเวลาที่ต้องใช้ในการแปลลงได้มหาศาลโดยไม่ทำให้คุณภาพการแปลลดลง พร้อมทั้งยังใช้ FBLearning Flow Platform ช่วยในการปรับแต่งค่าของ Hyperparameter ต่างๆ ในระบบ Neural Network ทำให้ความแม่นยำในการแปลจากภาษาอังกฤษไปยังภาษาสเปนสูงขึ้นอีก 3.7% ด้วย

สำหรับ RNN ใน Caffe2 นี้ถูกเปิด Open Source อยู่ที่ https://github.com/caffe2/caffe2 โดยมีจุดเด่นคือสามารถทำงานได้แบบ Zero Overhead, สามารถนำ Cell ต่างๆ มาเชื่อมต่อกันภายใต้ความสามารถ MultiRNNCell ได้อย่างยืดหยุ่น, มีการจัดการ Memory แบบใหม่ทำให้รองรับ Batch Size ต่อ GPU ได้มากขึ้น อีกทั้งยังรองรับการทำ Static RNN ได้อีกด้วย

Credit: Facebook

 

ที่มา: https://code.facebook.com/posts/289921871474277/transitioning-entirely-to-neural-machine-translation/https://caffe2.ai/blog/2017/08/03/caffe2-adds-RNN-support.html





About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

VMware ออก Reference Architecture แนะนำการใช้งาน VMware Horizon 7 Enterprise Edition

VMware ออกเอกสาร Reference Architecture แนะนำการใช้งาน VMware Horizon 7 Enterprise Edition

5 ข้อที่ฉุดรั้งให้เครือข่ายไร้สายของคุณช้าลง

เครือข่ายไร้สายมักพบความไม่สเถียรของสัญญาณเนื่องจากมีปัจจัยที่ส่งผลกระทบซ่อนอยู่ค่อนข้างมาก วันนี้ทางทีมงานเราได้พบกับบทความที่น่าสนใจเกี่ยวกับปัจจัยที่เป็นตัวฉุดรั้งให้เครือข่ายไร้สายนั้นแสดงประสิทธิภาพได้ช้าลงกว่าที่ควรจะเป็นอย่างคาดไม่ถึง จึงเรียบเรียงและนำเสนอให้ผู้อ่านได้นำไปประกอบการใช้งานกันต่อไป