Tencent เปิดตัว Hunyuan Large เคลมเหนือ Llama 3.1 70B และ 405B

Tencent บริษัทยักษ์ใหญ่สัญชาติจีน ล่าสุดได้เปิดตัวโมเดล Open Source ใหม่ภายใต้ชื่อ Hunyuan Large ขนาด 389B พารามิเตอร์ ที่รองรับ Context ยาวถึง 256,000 Token ซึ่งเคลมว่าเหนือกว่า Llama 3.1 70B และ 405B 

ล่าสุด Tencent ได้เปิดตัวโมเดล LLM ใหม่ภายใต้ชื่อ Hunyuan Large ในขนาด 389B ซึ่งเคลมว่ามีประสิทธิภาพที่เหนือกว่า Llama 3.1 70B และ 405B ในหลาย ๆ Benchmark ทั้งภาษาอังกฤษและภาษาจีน 

ที่น่าสนใจคือสามารถเหนือกว่าโมเดลเรือธงของ Llama 3.1 ในหลาย ๆ งาน เช่น การเข้าใจภาษา การเขียนโปรแกรม คณิตศาสตร์ และการให้เหตุผลเชิงตรรกะ

โดยจุดต่างของ Hunyuan Large กับ Llama 3.1 405B ส่วนหนึ่งคือ โมเดลจาก Tencent นี้ไม่ใช่โมเดลที่หนาแน่น (Dense) แต่เป็นการใช้ Mixture of Experts (MoE) เพื่อหาจุดที่สมดุลระหว่างขนาดโมเดล ปริมาณข้อมูล และประสิทธิภาพการทำงาน

สำหรับผู้ที่สนใจโมเดล Hunyuan Large ของ Tencent ที่ Open Source ออกมาสามารถเข้าไปดูเพิ่มเติมได้ที่ GitHub หรือ Hugging Face หรืองานตีพิมพ์ได้ที่นี่

ที่มา: https://analyticsindiamag.com/ai-news-updates/tencent-launches-hunyuan-large-outperforms-llama-3-1-70b-405b/