TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Chat with RTX เป็นเครื่องมือใหม่ล่าสุดจาก NVidia ที่ช่วยให้ผู้ใช้มี Chatbot AI ที่สามารถปรับจูนความสามารถได้เอง ที่สำคัญคือทั้งหมดสามารถรันอยู่บนเครื่องส่วนตัวของท่านได้ หากใช้ Geforce RTX 30 หรือ 40 Series โดยต้องมี VRAM อย่างน้อย 8GB ขึ้นไป
Chat with RTX มีองค์ประกอบภายใน 3 เรื่องคือ Retrieval-augmented generation (RAG), NVidia TensorRT-LLM Software และ RTX acceleration เพื่อนำโมเดล Generative AI มารันบนเครื่องส่วนตัว ทั้งนี้ผู้ใช้สามารถเชื่อมต่อข้อมูลเพื่อป้อนให้โมเดลเรียนรู้ได้หลายรูปแบบ เช่น ไฟล์ในเครื่อง หรือแม้กระทั่งวีดีโอบนยูทูป นอกจากนี้ยังรองรับไฟล์ได้หลายชนิดทั้ง .txt, .pdf, .doc/.docx และ .xml ซึ่งโมเดล Large Language แบบโอเพ่นซอร์สที่ใช้ก็คือ Mistral และ LIama (Meta)
เมื่อเรียนรู้แล้วท่านอาจถามแชทบอทเกี่ยวกับข้อมูลที่เรียนรู้มาจากแหล่งข้อมูลของท่าน แต่ไม่สามารถจดจำความเชื่อมโยงย้อนกลับไปมาแบบต่อเนื่องได้ (context) อย่างไรก็ดีนอกจากต้องเป็นลูกค้า NVidia แล้ว ยังต้องใช้งาน Windows 10 หรือ 11 พร้อมกับมีไดร์ฟเวอร์การ์ดจอล่าสุดด้วย
แม้ ณ ตอนนี้อาจจะเป็นเพียงแค่ของเล่นสนุกๆเท่านั้น แต่นี่คือการพิสูจน์ว่า Generative AI เป็นเรื่องที่เกิดขึ้นได้บนเครื่องส่วนตัวแล้ว ข้อดีคือไม่ต้องเปิดเผยข้อมูลส่วนตัว และประมวลผลอยู่ภายในเครื่องได้ไม่ง้อสัญญาณอินเทอร์เน็ต นอกจากนี้ทาง NVidia เองยังสนับสนุนให้นักพัฒนาลองสร้างแอปพลิเคชันในแบบของตัวเองได้ โดยสามารถศึกษาเพิ่มเติมได้ที่โปรเจ็ค TensorRT-LLM RAG
ที่มา : https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/ และ https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
