TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
AWS ประกาศเปิดให้ใช้งานโมเดลภาษา Llama 3.3 70B จาก Meta บนแพลตฟอร์ม Amazon SageMaker JumpStart โดยโมเดลใหม่นี้มีประสิทธิภาพใกล้เคียงกับ Llama 3.1 405B แต่ใช้ทรัพยากรน้อยกว่าถึง 5 เท่า
โมเดล Llama 3.3 70B ได้รับการพัฒนาโดยใช้สถาปัตยกรรม Transformer ที่ได้รับการปรับแต่งจาก Meta พร้อมกลไก Attention Mechanism ที่ปรับปรุงใหม่ ช่วยลดต้นทุนการประมวลผลได้อย่างมีนัยสำคัญ โมเดลผ่านการฝึกฝนด้วยข้อมูลขนาดใหญ่กว่า 15 ล้านล้านโทเค็น รวมถึงตัวอย่างสังเคราะห์กว่า 25 ล้านตัวอย่าง ผลการทดสอบพบว่าสามารถทำงานได้ใกล้เคียงกับ Llama 3.1 405B โดยมีผลต่างน้อยกว่า 2% ในการทดสอบ 6 จาก 10 รายการ
ผู้ใช้งานสามารถเริ่มใช้งาน Llama 3.3 70B บน SageMaker JumpStart หรือใช้ SageMaker Python SDK นอกจากนี้ยังรองรับฟีเจอร์ขั้นสูงของ SageMaker AI เช่น Fast Model Loader สำหรับโหลดโมเดลเร็วขึ้น, Container Caching เพื่อเพิ่มประสิทธิภาพการปรับขนาด และ Scale to Zero เพื่อประหยัดค่าใช้จ่ายเมื่อไม่มีการใช้งาน
