NIST เปิดโอเพ่นซอร์สเครื่องมือตรวจความปลอดภัยของโมเดล AI ตาม Risk Management Framework

NIST ได้ประกาศออกโอเพ่นซอร์สที่ชื่อว่า Dioptra ซึ่งสามารถช่วยทดสอบด้านความปลอดภัยของโมเดล Machine Learning ถึงการโจมตีประเภทต่างๆ โดยได้รับแรงสนับสนุนมาจากคำสั่งของประธานธิบดีโจ ไบเดน ก่อนหน้านี้

Dioptra ถูกพัฒนามาตั้งแต่ปี 2022 แล้วซึ่งยังอยู่ในสถานะทดสอบจนกระทั่งเมื่อ 26 ก.ค. ที่ผ่านมา โดยติดตามได้ที่ GitHub โดยตัวล่าสุดได้มีการอัปเดตเรื่อง Web Front End พร้อมการพิสูจน์ตัวตนของผู้ใช้ ตลอดจนความสามารถในการติดตามผลลัพธ์ได้ว่าเกิดขึ้นได้อย่างไร เพื่อให้สร้างการทดสอบซ้ำและตรวจสอบได้

ทั้งนี้ Dioptra สามารถช่วยผู้สนใจวัดฟังก์ชันของโมเดล AI ตาม AI Risk Management Framework ของ NIST ซึ่งนำเสนอการโจมตีต่อโมเดลเป็น 3 รูปแบบคือ

• Evasion – ทำให้เกิดความไม่แม่นยำของโมเดลโดยการปั่นป่วนข้อมูลที่ใช้นำเข้า เช่น การเพิ่ม noise เข้า
• Poisioning – ขัดขวางความแม่นยำด้วยการแก้ไขข้อมูลที่นำเข้าไปเทรนด์ที่นำไปสู่ความไม่ถูกต้อง
• Oracle – ทำการ Reverse Engineering เพื่อรู้เกี่ยวกับข้อมูลที่ถูกเทรนหรือพารามิเตอร์

โดย Dioptra ถูกริเริ่มด้วยการใช้สำหรับโมเดลด้าน image classification ออต่ก็สามารถปรับปรุงไปสู่โมเดลประเภท Speech Recognition ได้เช่นกัน ซึ่งอย่างที่กล่าวไปคือเป็นการช่วยวัดความรุนแรงต่อการโจมตีข้างต้นว่ามีการจัดการข้อมูลดีพอหรือยัง หรือปรับปรุงการเรียนรู้ของโมเดลให้ดีขึ้น

Dioptra สามารถต่อยอดกับปลั๊กอิน Python เพื่อเพิ่มความสามารถได้ โดยมาพร้อมกับคู่มือและตัวอย่างการใช้มาให้ อย่างไรก็ดีการใช้โมเดลก็ต้องการทรัพยากรไม่เบาเหมือนกัน โดยมีการทดสอบกับ NVIDIA DGX ที่มาพร้อมกับ GPU 4 ตัว

ที่มา : https://www.scmagazine.com/news/nist-releases-open-source-platform-for-ai-safety-testing