Microsoft ปล่อยโมเดลภาษาขนาดเล็ก Phi-4 เป็นโอเพนซอร์สแล้ว

Microsoft ได้เผยแพร่โค้ดของ Phi-4 ซึ่งเป็นโมเดลภาษาขนาดเล็กที่สามารถสร้างข้อความและแก้ปัญหาคณิตศาสตร์ได้ ทำให้ Phi-4 เข้าร่วมกลุ่มโมเดลภาษาโอเพนซอร์สขนาดเล็กจากบริษัทเทคโนโลยีรายใหญ่ที่กำลังเติบโตขึ้นเรื่อย ๆ โดยสามารถดาวน์โหลดได้แล้วผ่าน Hugging Face Phi-4 เป็นเวอร์ชันที่สี่ในซีรีส์โมเดลภาษาขนาดเล็กที่ Microsoft เปิดตัวครั้งแรกในปี 2023 โดยมีพารามิเตอร์จำนวน 14 พันล้านตัว ซึ่งเป็นค่ากำหนดที่ใช้ในการประมวลผลข้อมูลของโครงข่ายประสาทเทียม ทีมวิจัยของ Microsoft ได้เทรน Phi-4 ด้วยหน่วยประมวลผลกราฟิก H100 จำนวน 1,920 ตัวจาก Nvidia เป็นเวลา 21 วัน โมเดลนี้อิงตามสถาปัตยกรรม Transformer ซึ่งเป็นมาตรฐานในอุตสาหกรรมและเป็นพื้นฐานของโมเดลภาษาขนาดใหญ่ส่วนใหญ่ เมื่อโมเดลได้รับคำสั่งจากผู้ใช้งานก็จะวิเคราะห์คำในคำสั่งและความหมายโดยอ้างอิงจากข้อความรอบข้าง และเน้นส่วนที่มีความเกี่ยวข้องมากที่สุด Phi-4 ใช้รูปแบบเฉพาะของสถาปัตยกรรม Transformer ที่เรียกว่า “decoder-only” โดยโมเดลประเภทนี้จะเน้นวิเคราะห์เฉพาะข้อความก่อนหน้าคำที่กำหนดโดยไม่สนใจข้อความที่ตามมา ซึ่งช่วยลดปริมาณข้อมูลที่ต้องประมวลผลและลดต้นทุนการใช้งาน ในงานวิจัย Microsoft ระบุว่าได้ปรับปรุงคุณภาพผลลัพธ์ของ Phi-4 ด้วยเทคนิคการปรับแต่งหลังการเทรนสองวิธี ได้แก่ direct preference optimization และ … Continue reading Microsoft ปล่อยโมเดลภาษาขนาดเล็ก Phi-4 เป็นโอเพนซอร์สแล้ว