Facebook เผยงานวิจัยแปลภาษาด้วย Neural Network เร็วกว่าเดิม 9 เท่า

Facebook Artificial Intelligence Research (FAIR) ทำการตีพิมพ์งานวิจัยใช้ Convolutional Neural Network (CNN) ในการแปลภาษาซึ่งได้ผลลัพธ์เทียบเท่าวิธีการในปัจจุบันแต่เร็วกว่าถึง 9 เท่า

โดยทั่วไปนั้น Neural Network ที่นิยมใช้ในงานแปลภาษาคือ Recurrent Neural Network (RNN) เนื่องจากมีความแม่นยำในการแปลภาษาที่เหนือกว่า แต่ RNN นั้นทำงานด้วยการประมวลผลคำศัพท์ทีละคำตามลำดับ ซึ่งเป็นการทำงานที่ขัดกับธรรมชาติของฮาร์ดแวร์ GPU แบบคู่ขนานที่ใช้กันในปัจจุบัน และทำให้ไม่สามารถประมวลผลแบบคู่ขนานได้อย่างเต็มที่ ในทางกลับกัน CNN มีความสามารถในการประมวลผลทุกๆส่วนไปพร้อมกัน จึงสามารถใช้ประโยชน์จากฮาร์ดแวร์ได้เต็มที่ อีกทั้งยังสามารถทำการประมวลผลเป็นขั้นลำดับซึ่งจะช่วยในการค้นพบโครงสร้างที่ซับซ้อนภายในข้อมูลได้ดียิ่งขึ้น

องค์ประกอบที่สำคัญของระบบแปลภาษาในครั้งนี้คือ multi-hop attention ที่ทำงานโดยการแบ่งประโยคออกเป็นส่วนๆ แปล แล้วกลับไป“มอง”ประโยคอีกครั้งเพื่อเลือกว่าจะแปลคำไหนต่อไป คล้ายกับการที่มนุษย์มองหาคีย์เวิร์ดในการแปลภาษา โดยระบบจะเลือกคำที่เกี่ยวข้องมาแปลต่อ เช่นการเลือกคำกริยาช่วยหลังจากทำการแปลคำกริยาแล้ว

ภาพด้านล่างนี้แสดงถึงการทำงานของกลไกดังกล่าวในการแปลประโยคภาษา (encoding) ฝรั่งเศสเป็นภาษาอังกฤษ​ (decoding) ในขั้นแรกระบบจะทำการแปลงประโยคเริ่มต้นเป็น vector โดยมี attention ทำหน้าที่เลือกคำที่เกี่ยวข้องกับคำแปลมากที่สุดมาให้ decoder ทำการแปลต่อไป เส้นสีเขียวแสดงถึงความสนใจของ network ต่อแต่ละคำในแต่ละขั้นตอน

Credit: FAIR

 

อีกหนึ่งส่วนที่สำคัญของระบบนี้คือ gating กลไกการควบคุมข้อมูลที่เข้ามายัง neural network เพื่อให้การแปลภาษาเป็นได้อย่างมีประสิทธิภาพมากขึ้น เช่นในการประมวลผลคำแปลที่ผ่านมาของการแปลประโยค gating อาจออกคำสั่งให้ network มุ่งความสนใจไปยังคำๆนึงหรือทั้งประโยค แล้วแต่สถานการณ์ในขณะนั้น

ระบบการแปลภาษาด้วย CNN ของ FAIR นี้ได้สร้างบรรทัดฐานใหม่ให้กับการแปลภาษาด้วย Neural Network เมื่อทดสอบกับชุดข้อมูลจาก Conference on Machine Translation (WMT) ที่นิยมใช้เปรียบเทียบการทำงานของระบบแปลภาษา พบว่าในการแปลข้อมูลคู่ภาษาอังกฤษ-ฝรั่งเศส WMT 2014 มีความแม่นยำมากกว่าระบบเดิม 1.5 BLEU (bilingual evaluation understudy – ขั้นตอนวิธีในการประเมิณคุณภาพของข้อความ) คู่ภาษาอังกฤษ-เยอรมัน WMT 2014 ดีขึ้น 0.5 BLEU และคู่ภาษาอังกฤษ-โรมาเนียน 1.8 BLEU

โมเดล FAIR CNN ดังกล่าวมีการประมวลผลที่มีประสิทธิภาพสูงและเร็วกว่าระบบ RNN ถึง 9 เท่า ซึ่งยังสามารถเพิ่มความเร็วขึ้นไปได้อีกด้วยเทคนิคการเพิ่มความเร็วในกับ neural network เช่น การ quantize weights หรือการทำ distillation

FAIR เปิดให้ผู้สนใจเข้าอ่านเปเปอร์ตัวเต็มของระบบไว้ที่นี่ และยังได้เปิดโอเพ่นซอร์ส source code ของ toolkit ของโมเดลนี้ไว้ใน GitHub เพื่อให้ผู้สนใจทำการศึกษาต่อไปด้วย

 

ที่มา: https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/



Check Also

VMware ประกาศเข้าซื้อกิจการ ‘Nyansa’ เสริมความสามารถ Network Analytics

เมื่อวานนี้ทาง VMware ได้มีการประกาศเข้าซื้อกิจการ Nyansa ผู้ให้บริการแพลตฟอร์ม AIOps สำหรับการทำ Network Analytics และ IoT Security โดยคาดว่าจะปิดดีลได้ในสิ้นไตรมาสแรกของ VMware

NTT พร้อมเปิดให้บริการ Data Center เฟสใหม่ ที่ NTT Bangkok 2 Data Center แล้ว รองรับ AI Workload ได้ด้วยกำลังไฟ 6kW –40kW ต่อ Rack

หลังจากปี 2019 ที่ผ่านมา ทาง NTT ได้ประกาศลงทุนเพิ่มอีก 500 ล้านบาท สำหรับการขยายเฟส 3 ที่ NTT Bangkok 2 Data Center ภายใต้แบรนด์ Nexcenter เพื่อให้บริการ Data Center สำหรับธุรกิจองค์กรมาตรฐานสูง ขณะนี้ทาง NTT พร้อมให้บริการในเฟส 3 แล้ว ด้วยความสามารถรูปแบบใหม่ที่ออกแบบมาเพื่อรองรับ Workload ที่ต้องใช้พลังงานในการประมวลผลสูง อย่าง AI (Artificial Intelligence) หรือ (HPC) High Performance Computing ได้เป็นอย่างดี