Black Hat Asia 2023

Facebook เผยใช้วิธีแปลภาษาแบบใหม่แม่นกว่าเดิม พร้อมเปิดตัว RNN ใน Caffe2

Facebook ได้ออกมาเผยถึงการเลือกใช้วิธีการใหม่ในการทำ Neural Machine Translation เพื่อแปลภาษาให้ได้แม่นยำกว่าเดิม และยังเปิด Open Source ให้กับระบบ Recurrent Neural Network (RNN) ใน Caffe2 ที่ใช้ในการพัฒนาระบบการแปลภาษาครั้งนี้ด้วย

Credit: Facebook

 

Facebook ได้เปรียบระบบการแปลภาษาจาก Phrase-based กลายมาเป็น Context-based แทนด้วยการใช้ RNN แบบ Sequence-to-Sequence Long Short-Term Memory (LSTM) with Attention แทน ทำให้การวิเคราะห์ผลการแปลนั้นเกิดจากการอ่านทั้งประโยครวมกับเนื้อหาก่อนหน้าทั้งหมด และมีความแม่นยำสูงขึ้นถึง 11% จากการเทียบผลการแปลตามมาตรฐาน BLEU

ส่วนคำแปลที่ Facebook ไม่รู้จักนั้น Facebook ก็จะมีวิธีการอื่นๆ ในการค้นหาคำที่ไม่รู้จักแทนจากข้อมูลที่ใช้ในการ Training เพื่อนำมาเทียบและหาคำที่น่าจะเป็นที่สุด ทำให้ผลการแปลมีความแม่นยำสูงขึ้น เช่น สามารถแปลคำวส่า tmrw ซึ่งย่อจาก tomorrow ได้ถูกต้อง เป็นต้น อีกทั้งยังมีการใช้เทคนิค Vocabulary Reduction เพื่อลดปริมาณของคำที่เกิดขึ้นในระหว่างการแปล เพื่อลดปริมาณ Computing Power และเวลาที่ต้องใช้ในการแปลลงได้มหาศาลโดยไม่ทำให้คุณภาพการแปลลดลง พร้อมทั้งยังใช้ FBLearning Flow Platform ช่วยในการปรับแต่งค่าของ Hyperparameter ต่างๆ ในระบบ Neural Network ทำให้ความแม่นยำในการแปลจากภาษาอังกฤษไปยังภาษาสเปนสูงขึ้นอีก 3.7% ด้วย

สำหรับ RNN ใน Caffe2 นี้ถูกเปิด Open Source อยู่ที่ https://github.com/caffe2/caffe2 โดยมีจุดเด่นคือสามารถทำงานได้แบบ Zero Overhead, สามารถนำ Cell ต่างๆ มาเชื่อมต่อกันภายใต้ความสามารถ MultiRNNCell ได้อย่างยืดหยุ่น, มีการจัดการ Memory แบบใหม่ทำให้รองรับ Batch Size ต่อ GPU ได้มากขึ้น อีกทั้งยังรองรับการทำ Static RNN ได้อีกด้วย

Credit: Facebook

 

ที่มา: https://code.facebook.com/posts/289921871474277/transitioning-entirely-to-neural-machine-translation/https://caffe2.ai/blog/2017/08/03/caffe2-adds-RNN-support.html


About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

องค์กรของคุณควบคุมค่าใช้จ่ายคลาวด์แล้วหรือยัง เริ่มต้นวันนี้ด้วยเครื่องมือ FinOps จาก VMware Aria

รายจ่ายเป็นเรื่องใหญ่เสมอสำหรับทุกองค์กร และมักเป็นคำถามสำคัญในทุกการประชุมจากเหล่าผู้บริหารว่าวันนี้ทีมของคุณจัดการค่าใช้จ่ายได้ดีเพียงใด เหมาะสมแล้วหรือไม่ คุ้มค่าหรือยัง อย่างไรก็ดีองค์กรที่ไม่ได้มีการเตรียมพร้อมมักยากที่จะตอบคำถามนี้ได้ โดยเฉพาะการใช้งาน Multi-cloud ที่มีความซับซ้อนสูง เพราะคลาวด์ได้เปลี่ยนพฤติกรรมการใช้จ่ายขององค์กรให้ติดตามได้ยาก จึงนำไปสู่แนวคิดใหม่ของหน้าที่ที่เรียกว่า FinOpsในบทความนี้ท่านจะได้เรียนรู้กับหน้าที่ของ FinOps และแนวทางปฏิบัติที่จะทำให้แนวคิดนี้ประสบความสำเร็จ รวมถึงผลประโยชน์ที่องค์กรจะได้รับหากมีการจัดการต้นทุนของคลาวด์ที่ดี อนึ่ง …

T3 Technology ได้ก่อตั้งบริษัทย่อย Enterprise T3 IDC [Guest Post]

เปิดตัวด้วยการเป็นพันธมิตรกับบริษัทยักษ์ใหญ่ระดับโลกอย่าง Inspur Information ผู้นำด้านเซิร์ฟเวอร์ระดับโลก เพื่อบรรลุเป้าหมายสู่การเป็นผู้นำด้านไอทีแพลตฟอร์มระดับชาติ