นักวิจัยเสนอให้ใช้เกม Overcooked เป็นตัวชี้วัดประสิทธิภาพของระบบ Collaborative AI

ระบบ Deep Reinforcement Learning นั้นถือเป็นหนึ่งในระบบ AI หนึ่งที่มีประโยชน์มากโดยเฉพาะอย่างยิ่งในการนำไปประยุตก์ใช้งานร่วมกันหุ่นยนต์ อย่างไรก็ดี ระบบเหล่านี้มักมีปัญหาที่ไม่เคยพบมาก่อนและคาดไม่ถึงในขั้นตอนการพัฒนาเมื่อนำมาใช้งานจริง ทำให้เหล่านักวิจัยต้องมองหาแนวทางในการประเมินศักยภาพของระบบเหล่านี้ และได้เสนอให้ใช้เกม Overcooked เป็นตัวชี้วัดประสิทธิภาพนั่นเอง

Overcooked คือเกมที่จะให้ผู้เล่นหลายคนสวมบทบาทเป็นพ่อครัวและช่วยกันทำอาหาร โดยในการทำอาหารนั้นก็จะมีขั้นตอนมากมายตั้งแต่การรวบรวมวัตถุดิบ การปรุง ไปจนถึงการเสิร์ฟ ในขณะที่ภายในครัวนั้นก็จะมีอุปสรรคเพื่อให้ท้าทายต่อการทำอาหาร เช่น ครัวที่เคลื่อนที่ได้ พื้นที่ขยับได้ ในขณะที่พฤติกรรมของผู้เล่นเองนั้นก็มีได้หลากหลายในการเอาชนะแต่ละด่าน และหากผู้เล่นคนใดไม่ทำหน้าที่ของตนเอง คนอื่นๆ ก็ต้องเข้ามาช่วยในส่วนนี้เพื่อให้บรรลุเป้าหมายในแต่ละด่านให้ได้

นักวิจัยจาก Microsoft, University of California, Berkeley และ University of Nottingham ได้ร่วมกันพัฒนาแนวทางที่จะใช้ทดสอบความสามารถของระบบ Human-AI Collaboration หรือระบบ AI สำหรับช่วยงานมนุษย์ได้อย่างชาญฉลาด โดยทำการทดสอบ AI นั้นๆ ด้วยเกม Overcooked นั่นเอง

ทีมวิจัยนั้นพบว่าระบบ AI สำหรับช่วยเหลือที่ถูกสร้างขึ้นโดย Deep Reinforcement Learning ในทุกวันนี้ เมื่อนำมาทดสอบด้วยเกม Overcooked แล้วก็ไม่มีระบบใดที่ได้คะแนนเกินกว่า 65% ในการเล่นเกมนี้เลย ดังนั้นการใช้ Overcooked มาช่วยชี้วัดนี้ก็อาจเป็นอีกหนทางหนึ่งที่จะช่วยให้ระบบสามารถทำงานได้ถูกต้องและมีประสิทธิภาพมากขึ้น เนื่องจากภายในเกม Overcooked นั้นจะมีเหตุการณ์ที่ไม่คาดฝันมากมายทั้งจากตัวเกมเองและจากผู้เล่นคนอื่นๆ ให้ AI ได้ลองเรียนรู้อย่างต่อเนื่อง

สำหรับงานวิจัยดังกล่าวนี้ สามารถอ่านฉบับเต็มได้ที่ https://arxiv.org/pdf/2101.05507.pdf

ที่มา: https://venturebeat.com/2021/01/15/researchers-propose-using-the-game-overcooked-to-benchmark-collaborative-ai-systems/