นักวิจัยประสบผลสำเร็จในการใช้ Deep Learning เปลี่ยนวีดีโอธรรมดาให้เลียนแบบผลงานศิลปะระดับโลก

ทีมนักวิจัยจากมหาวิทยาลัยไฟรบูร์ก ประเทศเยอรมนี (University of Freiburg) ได้เปิดเผยผลงานพัฒนาชิ้นใหม่ ซึ่งเป็นการเปลี่ยนวีดีโอปกติให้ออกมามีรูปแบบเทียบเท่าภาพงานศิลปะระดับโลกได้ ด้วยการใช้ Deep Learning

ทีมวิจัยได้คิดค้นวิธีการเปลี่ยนภาพแบบใหม่ขึ้นมา โดยใช้ Deep Neural Networks ในการแกะรายละเอียดจากภาพงานศิลปะระดับโลก เช่น ผลงาน The Starry Night ของศิลปิน Vincent Van Gogh หลังจากนั้นนำมาประติดประต่อเข้ากับวีดีโอที่เตรียมไว้ ให้ผลเป็นวีดีโอที่มีรูปแบบคล้ายกับภาพต้นฉบับ

โดยผลงานวิจัยก่อนหน้านี้จะเป็นการใช้ Deep Neural Network ในการประมวลผลเฉพาะภาพนิ่งเท่านั้น แต่หากเปลี่ยนเป็นวีดีโอแล้ว จะทำให้ภาพเคลื่อนไหวนั้นดูไม่ต่อเนื่องกัน ทำให้ทีมพัฒนาพบความท้าทาย 3 ข้อหลักๆ ได้แก่

• ต้องตรวจจับวัตถุหรือตัวละครในภาพได้ และทำการเปลี่ยนรูปแบบเส้นหรือสีให้เหมือนเดิมเสมอ
• ต้องทำให้ทัศนวิสัยการมองเห็นที่เปลี่ยนไปในแต่ละเฟรมเป็นไปตามวีดีโอต้นฉบับ
• เวลาที่ตัวละครเคลื่อนที่ผ่านในฉาก ต้องทำให้พื้นหลังเป็นแบบเดิมเสมอ

ซึ่งทีมวิจัยก็ได้ออกแบบอัลกอริทึมขึ้นมาจนสำเร็จ ด้วยการใช้ Long Term Memory เข้ามาช่วยในการวิเคราะห์และแก้ไขภาพในทุกๆเฟรมของวีดีโอ โดยทีมวิจัยได้ใช้ NVIDIA GeForce GTX TITAN X เข้ามาช่วยในการประมวลผล ใน 1 เฟรมใช้เวลาประมวลผลประมาณ 8 ถึง 10 นาที ซึ่งไวกว่าใช้ CPU ปกติถึง 20 เท่า นอกจากนี้ยังใช้ซอฟต์แวร์ที่รองรับ NVIDIA CUDA Deep Neural Network library (cuDNN) ช่วยลดหน่วยความจำที่ต้องใช้ในการประมวลผลลงไปด้วย โดยงานวิจัยนี้อาจถูกนำไปต่อยอดในการสร้างสรรค์ผลงานที่จะออกมาในอนาคตก็เป็นได้

ที่มา : https://blogs.nvidia.com/blog/2016/05/25/deep-learning-paints-videos/