Microsoft เพิ่มฟีเจอร์คุมเข้ม Prompt และ AI Hallucination ในเครื่องมือ Azure AI Studio

Azure AI Studio เป็นเครื่องมือระดับองค์กรเพื่อสร้างนวัตกรรม AI จากข้อมูลองค์กรที่ตนมี เช่น บอท เครื่องมือค้นหา ผู้ช่วย AI ในการทำงานด้านต่างๆ โดยถูกประกาศออกมาในช่วงพฤศจิกายนปี 2023

ล่าสุด Microsoft ได้เพิ่มฟีเจอร์ใหม่และแผนในอนาคตที่จะช่วยควบคุมการทำงานของโมเดล AI เหล่านั้น

ฟีเจอร์ที่ถูกปล่อยออกมาพร้อมทดลองแล้วคือ Prompt Shields ว่าด้วยเรื่องของการควบคุมคำสั่งที่มีข้อกังวลแล้วว่าผู้ไม่หวังดีอาจส่งคำสั่งบางอย่างที่ทำให้ AI เผยถึงข้อมูลที่ไม่พึงประสงค์หรือไม่เหมาะสมตามวัตถุประสงค์การใช้งาน โดยนักพัฒนาสามารถควบคุม input การใช้งาน prompt หรือปิดบังข้อมูล input ที่นำเข้ามาได้

อาการหลอนของโมเดล LLM (Hallucination) อาจนำไปสู่ผลลัพธ์ที่ไม่ได้มาจากข้อมูลที่เรียนรู้มา ซึ่งไม่ควรนำข้อมูลไปใช้งานต่อ โดยฟีเจอร์ groundedness detection จะเปิดทางให้นักพัฒนาสามารถทดสอบโมเดลของตนเพื่อวัดค่าที่เรียกว่า ‘groundedness metrics’ ก่อนนำไปใช้จริงได้ นอกจากนี้ฟีเจอร์ยังมีการให้ความน่าเชื่อถือของผลลัพธ์ที่ออกมา ประกอบการตัดสินใจของผู้ใช้ก่อนนำไปใช้ได้

ยังมีอีกหลายฟีเจอร์ที่ Microsoft คาดว่าจะเปิดตัวในอนาคต เช่น การทำให้นักพัฒนากำหนดความสามารถของโมเดลถึงขอบเขตที่สนใจ หรือสร้างตัวอย่างการใช้งานให้ผู้ใช้ โดยความสามารถนี้เรียกว่า System Message Framework

หากองค์กรต้องการประเมินติดตามความเสี่ยงของโมเดล AI ทาง Microsoft ยังนำเสนอเครื่องมือที่เรียกว่า Safety Evaluation และ Risk & Safety Monitoring โดยหวงให้นักพัฒนาทราบถึง input ที่น่าจะสร้างปัญหา นำไปสู่อาการหลอนหรือเนื้อหาที่ไม่พึงประสงค์เพื่อจะได้หาทางป้องกัน

ที่มา : https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai และ https://www.scmagazine.com/brief/new-azure-ai-security-tools-unveiled