SUSE by Ingram

Google เผยงานวิจัยโชว์เทคนิคการ Train AI Model ที่มี 1.6 ล้านล้าน Parameter ได้อย่างรวดเร็ว

นักวิจัยจาก Google ได้ออกมาเผยถึงความสำเร็จในการคิดค้นวิธีการ Train AI Model ทางด้านภาษาที่มี Parameter มากกว่า 1.6 ล้านล้านรายการได้สำเร็จ โดยตั้งชื่อเทคนิคนี้ว่า Switch Transformers

Credit: Google

ทีมนักวิจัยระบุว่า Switch Transformers นี้สามารถทำการ Train AI Model ที่ระดับ 1.6 ล้านล้าน Parameter นี้ได้ และยังทำความเร็วได้สูงกว่า Language Model ที่ Google เคยพัฒนาเอาไว้ก่อนหน้าอย่าง T5-XXL ได้ถึง 4 เท่า ในขณะที่ผลลัพธ์นั้นมีความถูกต้องแม่นยำสูง อีกทั้งยังประมวลผลได้มีประสิทธิภาพดียิ่งกว่า

เบื้องหลังของ Switch Transformers นี้ประกอบไปด้วยแนวทางในการสร้าง AI Model ที่หลากหลายซึ่งมีความแม่นยำกับงานเฉพาะอย่างแตกต่างกันไปซึ่งแต่ละหน่วยจะถูกเรียกว่า Expert โดยมีสิ่งที่เรียกว่า Gating Network คอยช่วยเลือกให้ว่าจะใช้ AI Model ย่อยส่วนไหนกับข้อมูลใด ในขณะที่การออกแบบระบบโดยรวมนั้นก็คำนึงถึงการกระจายงานให้ GPU และ TPU อย่างมีประสิทธิภาพ ทำให้สามารถใช้งานพลังประมวลผลและหน่วยความจำบนแต่ละอุปกรณ์ย่อยภายในระบบได้อย่างเหมาะสม

ในการทดสอบ นักวิจัยได้ทำการใช้ Switch Transformer ในการ Train AI Model หลากหลายงานด้วยการใช้ 32 TPU Core รวมกับข้อมูล Colossal Clean Crawled Corpus ซึ่งเป็น Dataset ที่รวมข้อมูลจาก Reddit, Wikipeidia และเว็บอื่นๆ ขนาดรวมกันกว่า 750GB เพื่อให้โมเดลนี้ทำการทำนายว่าคำที่หายไปในประโยคควรจะเป็นคำใด รวมถึงยังได้ทดลองใช้กับงานอื่นๆ ในอีกหลายรูปแบบ ซึ่งผลลัพธ์นั้นก็มีความแม่นยำสูงกว่า AI Model ที่มีขนาดเล็กกว่าเป็นส่วนใหญ่

นักวิจัยจาก Google ระบุว่าถึงแม้งานวิจัยนี้จะมุ่งเน้นที่การสร้าง Model ขนาดใหญ่เป็นหลัก แต่สำหรับ Model ขนาดเล็กนั้นเทคนิคนี้ก็ยังสามารถถูกนำไปใช้เพื่อเพิ่มประสิทธิภาพและลดทรัพยากรที่ต้องใช้ในการ Train ลงได้ อีกทั้งยังสามารถปรับแต่ง Model ให้มีความแม่นยำมากขึ้นดว้ยการเปลี่ยนจาก Sparse Model ให้กลายเป็น Dense Model ได้อีกด้วย

สำหรับในอนาคต งานวิจัยนี้จะถูกต่อยอดไปใช้กับข้อมูลที่เป็นภาพและข้อความร่วมกัน โดยทีมวิจัยเชื่อว่าแนวทางนี้จะสามารถนำไปประยุกต์ใช้ได้อย่างหลากหลาย

สำหรับเปเปอร์ Switch Transformers ฉบับเต็ม สามารถอ่านได้ที่ https://arxiv.org/pdf/2101.03961.pdf นะครับ

ที่มา: https://venturebeat.com/2021/01/12/google-trained-a-trillion-parameter-ai-language-model/

About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

Cisco เผยแผนเข้าซื้อกิจการ Dashbase เสริมความสามารถ AppDynamics ติดตามวิเคราะห์ข้อมูล Real-Time Communication

Cisco ได้ออกมาเผยถึงเจตนาในการเข้าซื้อกิจการของ Dashbase ผู้พัฒนาโซลูชันวิเคราะห์ทราฟฟิกสำหรับระบบ Voice, Video และ Chat โดยเฉพาะ เพื่อนำความสามารถของ Dashbase ไปเสริมให้กับ Cisco AppDynamics โดยเฉพาะ

Cisco เผยแผนพัฒนา Co-Packaged Optics ความเร็ว 800Gbps ที่ประหยัดพลังงาน คาดพร้อมใช้งานได้ปี 2024

Cisco ได้ออกมาเผยถึงความร่วมมือกับ Inphi ในการพัฒนา Co-Packaged Optics (CPO) สำหรับใช้ใน Switch รุ่นที่รองรับความเร็ว 51.2Tbps ในอนาคตซึ่งจะมี Interface 800Gbps แบบ Pluggable โดยคาดว่าการพัฒนานี้จะแล้วเสร็จและพร้อมนำเทคโนโลยีออกสู่ตลาดได้ในปี 2024