จีนเทรนโมเดล AI ขนาด 100B ในโครงสร้างพื้นฐานตัวเอง

ตามมาอย่างต่อเนื่องกับเทคโนโลยี AI ในฝั่งจีน ล่าสุด AI Research Institute ของ China Telecom เคลมว่าบริษัทเทรนโมเดล AI ขนาด 100B พารามิเตอร์ผ่านหน่วยประมวลผลโครงสร้างพื้นฐานของตัวเอง

โมเดลดังกล่าวมีชื่อว่า TeleChat2-115B ซึ่งโมเดลดังกล่าวได้มีการเผยแพร่ข้อมูลต่าง ๆ ไว้บน GitHub และมีการเคลมว่าเป็นโมเดลตัวแรกที่เทรนด้วยหน่วยประมวลผลภายในประเทศและ Open Source ด้วย

โดยตามข้อมูลจากหน้าเว็บ GitHub โมเดล TeleChat2-115B นี้ได้ถูกเทรนกับข้อมูลที่เป็นภาษาจีนและภาษาอังกฤษที่มีคุณภาพสูงขนาด 10 ล้านล้าน Token ซึ่งแหล่งข่าว The Register ชี้ว่า China Telecom ได้ดำเนินการเทรนโมเดลอย่างไร และชิปที่ใช้ประมวลผลนั้นอาจเป็นของทาง Huawei

ในแง่ของประสิทธิภาพ TeleChat2 นี้จะมีประสิทธิภาพที่เรียกได้ว่าเหนือกว่าโมเดลชั้นนำในหลากหลายชุด Benchmark ซึ่งแม้ว่าจำนวนพารามิเตอร์อาจจะไม่ได้บ่งบอกถึงประสิทธิภาพที่จะได้มา แต่ก็ถือได้ว่าเป็นอีกจุดที่ต้องติดตามเทคโนโลยี Generative AI ของทางจีนที่อาจจะมีพัฒนาการก้าวกระโดดในอนาคตอันใกล้นี้ โดยที่ใช้โครงสร้างพื้นฐานต่าง ๆ ของตัวเองทั้งหมด

ที่มา: https://www.theregister.com/2024/10/02/china_telecom_model_trained_local_tech/