TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
NIST ได้ประกาศออกโอเพ่นซอร์สที่ชื่อว่า Dioptra ซึ่งสามารถช่วยทดสอบด้านความปลอดภัยของโมเดล Machine Learning ถึงการโจมตีประเภทต่างๆ โดยได้รับแรงสนับสนุนมาจากคำสั่งของประธานธิบดีโจ ไบเดน ก่อนหน้านี้
Dioptra ถูกพัฒนามาตั้งแต่ปี 2022 แล้วซึ่งยังอยู่ในสถานะทดสอบจนกระทั่งเมื่อ 26 ก.ค. ที่ผ่านมา โดยติดตามได้ที่ GitHub โดยตัวล่าสุดได้มีการอัปเดตเรื่อง Web Front End พร้อมการพิสูจน์ตัวตนของผู้ใช้ ตลอดจนความสามารถในการติดตามผลลัพธ์ได้ว่าเกิดขึ้นได้อย่างไร เพื่อให้สร้างการทดสอบซ้ำและตรวจสอบได้
ทั้งนี้ Dioptra สามารถช่วยผู้สนใจวัดฟังก์ชันของโมเดล AI ตาม AI Risk Management Framework ของ NIST ซึ่งนำเสนอการโจมตีต่อโมเดลเป็น 3 รูปแบบคือ
- Evasion – ทำให้เกิดความไม่แม่นยำของโมเดลโดยการปั่นป่วนข้อมูลที่ใช้นำเข้า เช่น การเพิ่ม noise เข้า
- Poisioning – ขัดขวางความแม่นยำด้วยการแก้ไขข้อมูลที่นำเข้าไปเทรนด์ที่นำไปสู่ความไม่ถูกต้อง
- Oracle – ทำการ Reverse Engineering เพื่อรู้เกี่ยวกับข้อมูลที่ถูกเทรนหรือพารามิเตอร์
โดย Dioptra ถูกริเริ่มด้วยการใช้สำหรับโมเดลด้าน image classification ออต่ก็สามารถปรับปรุงไปสู่โมเดลประเภท Speech Recognition ได้เช่นกัน ซึ่งอย่างที่กล่าวไปคือเป็นการช่วยวัดความรุนแรงต่อการโจมตีข้างต้นว่ามีการจัดการข้อมูลดีพอหรือยัง หรือปรับปรุงการเรียนรู้ของโมเดลให้ดีขึ้น
Dioptra สามารถต่อยอดกับปลั๊กอิน Python เพื่อเพิ่มความสามารถได้ โดยมาพร้อมกับคู่มือและตัวอย่างการใช้มาให้ อย่างไรก็ดีการใช้โมเดลก็ต้องการทรัพยากรไม่เบาเหมือนกัน โดยมีการทดสอบกับ NVIDIA DGX ที่มาพร้อมกับ GPU 4 ตัว
ที่มา : https://www.scmagazine.com/news/nist-releases-open-source-platform-for-ai-safety-testing
