นักวิจัยประสบผลสำเร็จในการใช้ Deep Learning เปลี่ยนวีดีโอธรรมดาให้เลียนแบบผลงานศิลปะระดับโลก

artistic-style-transfer

ทีมนักวิจัยจากมหาวิทยาลัยไฟรบูร์ก ประเทศเยอรมนี (University of Freiburg) ได้เปิดเผยผลงานพัฒนาชิ้นใหม่ ซึ่งเป็นการเปลี่ยนวีดีโอปกติให้ออกมามีรูปแบบเทียบเท่าภาพงานศิลปะระดับโลกได้ ด้วยการใช้ Deep Learning

ทีมวิจัยได้คิดค้นวิธีการเปลี่ยนภาพแบบใหม่ขึ้นมา โดยใช้ Deep Neural Networks ในการแกะรายละเอียดจากภาพงานศิลปะระดับโลก เช่น ผลงาน The Starry Night ของศิลปิน Vincent Van Gogh หลังจากนั้นนำมาประติดประต่อเข้ากับวีดีโอที่เตรียมไว้ ให้ผลเป็นวีดีโอที่มีรูปแบบคล้ายกับภาพต้นฉบับ

โดยผลงานวิจัยก่อนหน้านี้จะเป็นการใช้ Deep Neural Network ในการประมวลผลเฉพาะภาพนิ่งเท่านั้น แต่หากเปลี่ยนเป็นวีดีโอแล้ว จะทำให้ภาพเคลื่อนไหวนั้นดูไม่ต่อเนื่องกัน ทำให้ทีมพัฒนาพบความท้าทาย 3 ข้อหลักๆ ได้แก่

  • ต้องตรวจจับวัตถุหรือตัวละครในภาพได้ และทำการเปลี่ยนรูปแบบเส้นหรือสีให้เหมือนเดิมเสมอ
  • ต้องทำให้ทัศนวิสัยการมองเห็นที่เปลี่ยนไปในแต่ละเฟรมเป็นไปตามวีดีโอต้นฉบับ
  • เวลาที่ตัวละครเคลื่อนที่ผ่านในฉาก ต้องทำให้พื้นหลังเป็นแบบเดิมเสมอ

ซึ่งทีมวิจัยก็ได้ออกแบบอัลกอริทึมขึ้นมาจนสำเร็จ ด้วยการใช้ Long Term Memory เข้ามาช่วยในการวิเคราะห์และแก้ไขภาพในทุกๆเฟรมของวีดีโอ โดยทีมวิจัยได้ใช้ NVIDIA GeForce GTX TITAN X เข้ามาช่วยในการประมวลผล ใน 1 เฟรมใช้เวลาประมวลผลประมาณ 8 ถึง 10 นาที ซึ่งไวกว่าใช้ CPU ปกติถึง 20 เท่า นอกจากนี้ยังใช้ซอฟต์แวร์ที่รองรับ NVIDIA CUDA Deep Neural Network library (cuDNN) ช่วยลดหน่วยความจำที่ต้องใช้ในการประมวลผลลงไปด้วย โดยงานวิจัยนี้อาจถูกนำไปต่อยอดในการสร้างสรรค์ผลงานที่จะออกมาในอนาคตก็เป็นได้

ที่มา : https://blogs.nvidia.com/blog/2016/05/25/deep-learning-paints-videos/


About เด็กฝึกงาน TechTalkThai หมายเลข 1

นักเขียนมือใหม่ผู้หลงใหลใน Enterprise IT และซูชิ

Check Also

[Guest Post] งานแถลงข่าวกลุ่มย่อย ในหัวข้อ “The Culture of Innovation” การสร้างวัฒนธรรมของสตาร์ทอัพ กุญแจสู่การสร้างวัฒนธรรมด้านนวัตกรรม ของ อะเมซอน เว็บ เซอร์วิสเซส (ประเทศไทย)

วันที่ 28 มิถุนายน 2565 : Amazon เป็นแพลตฟอร์มที่สร้างสตาร์ทอัพที่ประสบความสำเร็จระดับโลกมากมาย เช่น Netflix, Stripe และ Airbnb ไปจนถึงสตาร์ทอัพในภูมิภาคเอเชียแปซิฟิค ไม่ว่าจะเป็น Grab, …

Tech Refresh & Data Migration ลดต้นทุน Tech Operation ผลักดันสู่ความท้าทายใหม่ในอนาคต | Tangerine x SVI

บริษัท แทนเจอรีน จำกัด เป็นผู้เชี่ยวชาญในการให้คำปรึกษาและบริการด้านไอทีครอบคลุมทั้งระบบธุรกิจ ตั้งแต่ Infrastructure, Data Center, Network, Security และ ERP ให้มีประสิทธิภาพยิ่งขึ้น อีกทั้งได้รับความไว้วางใจจากบริษัท เอสวีไอ …