Facebook เผยใช้วิธีแปลภาษาแบบใหม่แม่นกว่าเดิม พร้อมเปิดตัว RNN ใน Caffe2

Facebook ได้ออกมาเผยถึงการเลือกใช้วิธีการใหม่ในการทำ Neural Machine Translation เพื่อแปลภาษาให้ได้แม่นยำกว่าเดิม และยังเปิด Open Source ให้กับระบบ Recurrent Neural Network (RNN) ใน Caffe2 ที่ใช้ในการพัฒนาระบบการแปลภาษาครั้งนี้ด้วย

Credit: Facebook

 

Facebook ได้เปรียบระบบการแปลภาษาจาก Phrase-based กลายมาเป็น Context-based แทนด้วยการใช้ RNN แบบ Sequence-to-Sequence Long Short-Term Memory (LSTM) with Attention แทน ทำให้การวิเคราะห์ผลการแปลนั้นเกิดจากการอ่านทั้งประโยครวมกับเนื้อหาก่อนหน้าทั้งหมด และมีความแม่นยำสูงขึ้นถึง 11% จากการเทียบผลการแปลตามมาตรฐาน BLEU

ส่วนคำแปลที่ Facebook ไม่รู้จักนั้น Facebook ก็จะมีวิธีการอื่นๆ ในการค้นหาคำที่ไม่รู้จักแทนจากข้อมูลที่ใช้ในการ Training เพื่อนำมาเทียบและหาคำที่น่าจะเป็นที่สุด ทำให้ผลการแปลมีความแม่นยำสูงขึ้น เช่น สามารถแปลคำวส่า tmrw ซึ่งย่อจาก tomorrow ได้ถูกต้อง เป็นต้น อีกทั้งยังมีการใช้เทคนิค Vocabulary Reduction เพื่อลดปริมาณของคำที่เกิดขึ้นในระหว่างการแปล เพื่อลดปริมาณ Computing Power และเวลาที่ต้องใช้ในการแปลลงได้มหาศาลโดยไม่ทำให้คุณภาพการแปลลดลง พร้อมทั้งยังใช้ FBLearning Flow Platform ช่วยในการปรับแต่งค่าของ Hyperparameter ต่างๆ ในระบบ Neural Network ทำให้ความแม่นยำในการแปลจากภาษาอังกฤษไปยังภาษาสเปนสูงขึ้นอีก 3.7% ด้วย

สำหรับ RNN ใน Caffe2 นี้ถูกเปิด Open Source อยู่ที่ https://github.com/caffe2/caffe2 โดยมีจุดเด่นคือสามารถทำงานได้แบบ Zero Overhead, สามารถนำ Cell ต่างๆ มาเชื่อมต่อกันภายใต้ความสามารถ MultiRNNCell ได้อย่างยืดหยุ่น, มีการจัดการ Memory แบบใหม่ทำให้รองรับ Batch Size ต่อ GPU ได้มากขึ้น อีกทั้งยังรองรับการทำ Static RNN ได้อีกด้วย

Credit: Facebook

 

ที่มา: https://code.facebook.com/posts/289921871474277/transitioning-entirely-to-neural-machine-translation/https://caffe2.ai/blog/2017/08/03/caffe2-adds-RNN-support.html


About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

SD-WAN กำลังส่งผลกระทบต่อกลยุทธ์ WAN ขององค์กรทั่วโลกอย่างไร

ตั้งแต่ที่ตลาด SD-WAN เกิดขึ้นในช่วงระยะการปรับใช้ตอนต้นและเข้าสู่ระยะเติบโตในปี 2017 การปรับใช้ SD-WAN ก็ได้รับความนิยมทั่วโลกจากข้อมูลการสำรวจตลาดผู้ใช้ปลายทางทั่วโลกของ Frost & Sullivan ที่สนับสนุนโดยซิลเวอร์ พีค  

Red Hat แจกฟรี E-Book แนะนำพื้นฐานเทคโนโลยี Service Mesh ด้วย Istio

Red Hat ได้ออกมาประกาศแจก E-Book ฟรีที่เล่าถึงพื้นฐานของแนวคิดด้าน Service Mesh ด้วยการใช้ Istio เพื่อให้เหล่านักพัฒนา Software, DevOps และเหล่าผู้ดูแลระบบได้นำไปศึกษา เตรียมก้าวเข้าสู่โลกของ Cloud-Native Application อย่างเต็มตัวกันในปี 2019