IBM Flashsystem

NVIDIA เปิดตัว TensorRT-LLM ช่วยเร่งความเร็วการทำ Inference สำหรับ Large Language Model

NVIDIA เปิดตัว TensorRT-LLM ช่วยเร่งความเร็วการทำ Inference สำหรับ Large Language Model บน NVIDIA H100 GPU

Credit: NVIDIA

NVIDIA ได้ประกาศเปิดตัว TensorRT-LLM เครื่องมือ Open-source ตัวใหม่ที่ช่วยให้การทำ Inference สำหรับงาน Large Language Model บน NVIDIA H100 GPU มีประสิทธิภาพมากขึ้น การใช้งาน Large Language Model ขนาดใหญ่มักเกิดปัญหาความล่าช้าเมื่อต้องทำ Inference ข้อมูลที่ต้องแบ่งการทำงานกระจายไปในหลาย GPU พร้อมกัน โดย TensorRT-LLM จะเข้ามาแก้ไขปัญหาจุดนี้ด้วยการใช้ Tensor Parallelism เพื่อให้การทำ Inference ในระบบขนาดใหญ่มีประสิทธิภาพยิ่งขึ้น ปัจจุบันรองรับการใช้งานบนโมเดลหลายตัว เช่น Llama 2, GPT-2, GPT-3, Falcon, MosaicMPT และ BLOOM นอกจากนี้ยังมีกระบวนการทำ In-flight batching เพื่อช่วยกระจายงานหลายรูปแบบในระบบ AI ให้มีประสิทธิภาพมากขึ้นอีกด้วย ช่วยตอบโจทย์ระบบ AI Chatbot ที่ต้องรองรับการป้อนคำสั่งหลายรูปแบบได้พร้อมกัน

TensorRT-LLM ช่วยเพิ่มความเร็วในการทำ Inference ได้ถึง 2 เท่าบน NVIDIA H100 GPU เมื่อนำมาใช้กับงานประเภท Article Summarization ส่วนผลทดสอบบนโมเดล GPT-J-6B ก็ดีกว่า A100 GPU ถึง 8 เท่าเลยทีเดียว ปัจจุบัน NVIDIA ได้เปิดให้นักพัฒนาได้ทดสอบ TensorRT-LLM Software Suite ผ่านทาง NVIDIA Developer Program แบบ Early Access แล้ว และเตรียมจะเพิ่มลงใน NeMo framework ซึ่งอยู่ภายใต้ NVIDIA AI Enterprise ในช่วงเดือนหน้า

ที่มา: https://siliconangle.com/2023/09/08/nvidia-unveils-tensorrt-llm-boost-ai-inference-performance-h100-gpus/

About เด็กฝึกงาน TechTalkThai หมายเลข 1

นักเขียนผู้มีความสนใจใน Enterprise IT ด้วยประสบการณ์กว่า 10 ปีในไทย ปัจจุบันใช้ชีวิตอยู่ที่ Cupertino, CA แต่ยังคงมุ่งมั่นในการแบ่งปันความรู้และประสบการณ์ด้านเทคโนโลยีให้กับทุกคน

Check Also

Synology เปิดตัว DiskStation DS925+ โซลูชันจัดเก็บข้อมูลแรงจัดเต็ม ขยายได้ถึง 180TB ตอบโจทย์องค์กรยุคใหม่ที่ต้องการความเร็ว เสถียรภาพ และการขยายตัวในอนาคต [PR]

Synology เปิดตัว DiskStation DS925+ รุ่นใหม่ล่าสุดในตระกูล Plus Series โดดเด่นด้วยประสิทธิภาพระดับมืออาชีพ รองรับความต้องการของทั้งผู้ใช้งานทั่วไป องค์กรธุรกิจ และสภาพแวดล้อมสำนักงานสาขา ด้วยขนาดกะทัดรัดแต่ทรงพลัง และขยายพื้นที่จัดเก็บได้สูงสุดถึง 180TB ออกแบบมาสำหรับงานหนัก …

องค์กรที่ขับเคลื่อนด้วย Data และ AI ได้เปรียบกว่าเสมอ! ร่วมเรียนรู้วิธีสร้างกลยุทธ์ด้วย AI และ Machine Learning เพื่อสร้างผลลัพธ์ที่วัดได้จริงในโลกธุรกิจ ไปกับ 2 หลักสูตรที่น่าสนใจ จากวิทยากรผู้เชี่ยวชาญตัวจริง [Guest Post]

ขอเชิญเข้าร่วมอบรม 2 หลักสูตร “กลยุทธ์การนำ AI & Machine Learning ไปใช้อย่างเป็นระบบ” (Deploying AI & Machine Learning for …