Breaking News

Facebook เผยงานวิจัยแปลภาษาด้วย Neural Network เร็วกว่าเดิม 9 เท่า

Facebook Artificial Intelligence Research (FAIR) ทำการตีพิมพ์งานวิจัยใช้ Convolutional Neural Network (CNN) ในการแปลภาษาซึ่งได้ผลลัพธ์เทียบเท่าวิธีการในปัจจุบันแต่เร็วกว่าถึง 9 เท่า

โดยทั่วไปนั้น Neural Network ที่นิยมใช้ในงานแปลภาษาคือ Recurrent Neural Network (RNN) เนื่องจากมีความแม่นยำในการแปลภาษาที่เหนือกว่า แต่ RNN นั้นทำงานด้วยการประมวลผลคำศัพท์ทีละคำตามลำดับ ซึ่งเป็นการทำงานที่ขัดกับธรรมชาติของฮาร์ดแวร์ GPU แบบคู่ขนานที่ใช้กันในปัจจุบัน และทำให้ไม่สามารถประมวลผลแบบคู่ขนานได้อย่างเต็มที่ ในทางกลับกัน CNN มีความสามารถในการประมวลผลทุกๆส่วนไปพร้อมกัน จึงสามารถใช้ประโยชน์จากฮาร์ดแวร์ได้เต็มที่ อีกทั้งยังสามารถทำการประมวลผลเป็นขั้นลำดับซึ่งจะช่วยในการค้นพบโครงสร้างที่ซับซ้อนภายในข้อมูลได้ดียิ่งขึ้น

องค์ประกอบที่สำคัญของระบบแปลภาษาในครั้งนี้คือ multi-hop attention ที่ทำงานโดยการแบ่งประโยคออกเป็นส่วนๆ แปล แล้วกลับไป“มอง”ประโยคอีกครั้งเพื่อเลือกว่าจะแปลคำไหนต่อไป คล้ายกับการที่มนุษย์มองหาคีย์เวิร์ดในการแปลภาษา โดยระบบจะเลือกคำที่เกี่ยวข้องมาแปลต่อ เช่นการเลือกคำกริยาช่วยหลังจากทำการแปลคำกริยาแล้ว

ภาพด้านล่างนี้แสดงถึงการทำงานของกลไกดังกล่าวในการแปลประโยคภาษา (encoding) ฝรั่งเศสเป็นภาษาอังกฤษ​ (decoding) ในขั้นแรกระบบจะทำการแปลงประโยคเริ่มต้นเป็น vector โดยมี attention ทำหน้าที่เลือกคำที่เกี่ยวข้องกับคำแปลมากที่สุดมาให้ decoder ทำการแปลต่อไป เส้นสีเขียวแสดงถึงความสนใจของ network ต่อแต่ละคำในแต่ละขั้นตอน

Credit: FAIR

 

อีกหนึ่งส่วนที่สำคัญของระบบนี้คือ gating กลไกการควบคุมข้อมูลที่เข้ามายัง neural network เพื่อให้การแปลภาษาเป็นได้อย่างมีประสิทธิภาพมากขึ้น เช่นในการประมวลผลคำแปลที่ผ่านมาของการแปลประโยค gating อาจออกคำสั่งให้ network มุ่งความสนใจไปยังคำๆนึงหรือทั้งประโยค แล้วแต่สถานการณ์ในขณะนั้น

ระบบการแปลภาษาด้วย CNN ของ FAIR นี้ได้สร้างบรรทัดฐานใหม่ให้กับการแปลภาษาด้วย Neural Network เมื่อทดสอบกับชุดข้อมูลจาก Conference on Machine Translation (WMT) ที่นิยมใช้เปรียบเทียบการทำงานของระบบแปลภาษา พบว่าในการแปลข้อมูลคู่ภาษาอังกฤษ-ฝรั่งเศส WMT 2014 มีความแม่นยำมากกว่าระบบเดิม 1.5 BLEU (bilingual evaluation understudy – ขั้นตอนวิธีในการประเมิณคุณภาพของข้อความ) คู่ภาษาอังกฤษ-เยอรมัน WMT 2014 ดีขึ้น 0.5 BLEU และคู่ภาษาอังกฤษ-โรมาเนียน 1.8 BLEU

โมเดล FAIR CNN ดังกล่าวมีการประมวลผลที่มีประสิทธิภาพสูงและเร็วกว่าระบบ RNN ถึง 9 เท่า ซึ่งยังสามารถเพิ่มความเร็วขึ้นไปได้อีกด้วยเทคนิคการเพิ่มความเร็วในกับ neural network เช่น การ quantize weights หรือการทำ distillation

FAIR เปิดให้ผู้สนใจเข้าอ่านเปเปอร์ตัวเต็มของระบบไว้ที่นี่ และยังได้เปิดโอเพ่นซอร์ส source code ของ toolkit ของโมเดลนี้ไว้ใน GitHub เพื่อให้ผู้สนใจทำการศึกษาต่อไปด้วย

 

ที่มา: https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/



Check Also

NS-Siam พร้อม Transform ธุรกิจโรงงานด้วย RPA เพิ่มประสิทธิภาพการทำงานได้ถึง 90%

บริษัท เอ็นเอส– สยาม ยูไนเน็ต สตีล จำกัด (NS-Siam United Steel Co., Ltd.)  ผู้ผลิตแผ่นเหล็กรีดเย็น ได้นำ RPA ของ …

Microsoft เปิดตัว Open Service Mesh, จะปล่อยให้เป็นโอเพ่นซอร์สกับ CNCF

เมื่อสัปดาห์ที่ผ่านมา Microsoft ได้ทำการเปิดตัว Service mesh แบบ Opensource ที่มีชื่อว่า Open Service Mesh (OSM) และประกาศถึงแผนการมอบโปรเจกต์นี้ให้กับ Cloud Native …