ServiceNow ปล่อย Fast-LLM ชุด Open Source Library ช่วยเทรน AI เร็วขึ้น 20% 

เพราะการเทรนโมเดล LLM แต่ละครั้งต้องมีค่าใช้จ่ายที่สูงและใช้เวลาพอสมควรสำหรับองค์กร หากแต่ชุด Library ใหม่ของ ServiceNow ที่ปล่อยออกมาจะช่วยแก้ไขปัญหาดังกล่าวได้อย่างมีนัยสำคัญ โดย ServiceNow ได้ปล่อย Fast-LLM ให้เป็น Open Source Library ที่สามารถเทรนได้เร็วขึ้น 20%

ล่าสุด ServiceNow ได้ปล่อยชุด Library ออกมาใหม่ให้เป็น Open Source ภายใต้ชื่อ Fast-LLM ที่จะช่วยทำให้องค์กรสามารถเทรนโมเดล LLM ได้เร็วขึ้นราว 20% รวมทั้งมีความยืดหยุ่นและสามารถ Scale ได้ง่ายขึ้น

 โดย Fast-LLM นี้คือชุด Library ที่พัฒนาโดย Foundation Models Lab ของ ServiceNow Research ที่จะเน้นในเรื่องความเร็วและความยืดหยุ่นในการเทรน LLM โดยเฉพาะ เพื่อสนับสนุนงานวิจัยในด้าน AI/ML ทั้งภาคการศึกษาและอุตสาหกรรม รวมทั้งการพัฒนาผลิตภัณฑ์ระดับองค์กร ผ่านกระบวนการที่ทำให้การเทรนโมเดล LLM เป็นไปได้โดยง่าย ไม่ว่าจะเป็นการสนับสนุนสถาปัตยกรรมโมเดลที่หลากหลาย พร้อมกับรูปแบบการเทรน และการประมวลผลข้อมูล

จากเดโมภายใน GitHub ได้ชี้ให้เห็นว่า Fast-LLM ของ ServiceNow นี้ สามารถเทรนด์ Mistral-7B ได้เร็วกว่า Library อื่น ๆ ซึ่งคาดว่าน่าจะสามารถได้ Throughput ถึง 9,800 โทเคนต่อวินาทีต่อการ์ด H100 (Tokens/s/H100) บน 4-Node Cluster ที่มี H100 32 ตัว 

สำหรับรายละเอียดอื่น ๆ ของ Fast-LLM จาก ServiceNow สามารถอ่านได้ที่บล็อกโพสหรือ GitHub ที่น่าจะช่วยทำให้การเทรนโมเดล LLM ขององค์กรเร็วขึ้นและประหยัดค่าใช้จ่ายได้มากขึ้นกว่าเดิม

ที่มา: https://venturebeat.com/ai/servicenow-open-sources-fast-llm-in-a-bid-to-help-enterprises-train-ai-models-20x-quicker/