Ampere จับมือ Qualcomm พัฒนาโซลูชันฮาร์ดแวร์สำหรับทำ AI Inference

Ampere จับมือ Qualcomm พัฒนาโซลูชันฮาร์ดแวร์สำหรับทำ AI Inference แบบประหยัดพลังงาน

Ampere และ Qualcomm ได้ออกมาประกาศความร่วมมือในการพัฒนาโซลูชันฮาร์ดแวร์รุ่นใหม่สำหรับทำ AI Inferencing ตอบโจทย์งาน LLM ที่ส่วนใหญ่แล้วจำเป็นต้องใช้ GPU ในการประมวลผล โดยเป้าหมายของความร่วมมือกันในครั้งนี้คือ การรวม Arm-based CPU ของ Ampere เข้ากับ Qualcomm Cloud AI 100 Ultra ซึ่งเป็น AI Inference Chip เข้าด้วยกัน สร้างเป็นโซลูชันฮาร์ดแวร์สำหรับการทำ AI Inferencing ที่ประหยัดพลังงานแต่ยังคงให้ประสิทธิภาพเทียบเท่ากับการใช้งาน GPU ได้

ปัจจุบัน Meta มีการใช้งาน Ampere CPU สำหรับรัน Llama 3 แล้วบน Oracle Cloud ใช้การประมวลผลบน Ampere Altra CPU ขนาด 128 คอร์ ซึ่งไม่มี GPU ให้ประสิทธิภาพเทียบกับกับการใช้งาน NVIDIA A10 GPU คู่กับ x86 CPU ขณะที่ใช้พลังงานเหลือเพียงแค่หนึ่งในสามเท่านั้น

Ampere ยังมีแผนที่จะปล่อย 12-channel AmpereOne CPU ตัวใหม่ ซึ่งเป็น Arm-based CPU มาพร้อม 256 คอร์ ผลิตภัณฑ์ด้วยสถาปัตยกรรม N3 process node รุ่นใหม่ออกมาในเร็วๆนี้ ซึ่งให้ประสิทธิภาพดีกว่า CPU ที่มีอยู่ในตลาดขณะนี้ถึง 40%

ที่มา: https://amperecomputing.com/press/ampere-scales-ampereone-to-256-cores