TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Google DeepMind เปิดตัว SL2T โมเดล AI สำหรับแปลภาษามือเป็นข้อความที่รองรับภาษามือมากกว่า 50 ภาษา และเริ่มให้บริการจริงบน Gboard และ Live Transcribe ของ Pixel 11 ด้วยการแปลจาก ASL เป็นภาษาอังกฤษ
Google DeepMind ระบุว่าความก้าวหน้าของ AI ในช่วงที่ผ่านมายังกระจุกตัวอยู่ที่ภาษาพูด และยังไม่ครอบคลุมภาษามือที่มีอยู่มากกว่า 200 ภาษาทั่วโลก รวมถึงผู้ใช้งานที่เป็นคนหูหนวกและผู้มีปัญหาทางการได้ยินซึ่งประเมินไว้ราว 70 ล้านคน การเปิดตัว SL2T (sign-language-to-text) จึงเป็นครั้งแรกที่ Google นำ AI ด้านภาษามือเข้าสู่ผลิตภัณฑ์สำหรับผู้ใช้งานทั่วไป โดยผนวกเข้ากับฟีเจอร์ sign-to-text dictation บน Gboard และแอป Live Transcribe บน Pixel 11 ผู้ใช้งานสามารถใช้ภาษามือเพื่อค้นหาข้อมูลบนเว็บ ร่างข้อความและเอกสาร สั่งงาน Gemini หรือตอบกลับบทสนทนาใน Live Transcribe ได้โดยไม่ต้องสลับไปพิมพ์ ทั้งหมดนี้ไม่มีค่าใช้จ่ายเพิ่มเติม และจะขยายไปยังอุปกรณ์และภาษาอื่นในลำดับถัดไป
ในด้านเทคนิค SL2T ได้รับการฝึกด้วยข้อมูลมากกว่า 100,000 ชั่วโมง ครอบคลุมภาษามือมากกว่า 50 ภาษา โดยราวหนึ่งในสี่เป็น ASL การฝึกร่วมกันข้ามภาษา ข้ามสำเนียง และข้ามระดับความชำนาญของผู้ใช้ภาษามือ ทำให้โมเดลเรียนรู้โครงสร้างที่ใช้ร่วมกันได้ และให้ผลลัพธ์ดีกว่าโมเดลที่ฝึกแยกเป็นภาษาเดียวในการทดลองของทีมวิจัย ในด้านความเป็นส่วนตัว โมเดลไม่ได้ประมวลผลวิดีโอโดยตรง แต่รับเป็นพิกัด pose landmark ที่ได้จาก MediaPipe Holistic ซึ่งทำงานแบบ on-device เพื่อติดตามจุดต่าง ๆ บนร่างกาย แล้วส่งเฉพาะพิกัดทางเรขาคณิตขึ้นเซิร์ฟเวอร์ ส่วนวิดีโอต้นฉบับจะถูกทิ้งทันที นอกจากนี้ SL2T ยังแปลลำดับ landmark เป็นข้อความโดยตรง ไม่ผ่านการกำกับ gloss แบบงานวิจัยยุคก่อนซึ่งมักทำให้องค์ประกอบที่ไม่ได้มาจากมือและการสื่อความหมายเชิงพื้นที่ตกหล่นไป ทำให้ไม่ติดเพดานคลังคำศัพท์ และคุณภาพเพิ่มขึ้นตามปริมาณข้อมูล ในการทดสอบบนชุดข้อมูล FLEURS-ASL โมเดลทำคะแนนได้ 70 BLEURT แบบ zero-shot สูงกว่าคะแนนที่เคยมีรายงานมาก่อนอย่างชัดเจน
ความยากของงานนี้ต่างจากการถอดเสียงพูดเป็นข้อความในสองประเด็นหลัก ข้อแรกคือเป็นงานแปลภาษาอย่างแท้จริง ไม่ใช่การถอดความ เพราะภาษามือเป็นภาษาธรรมชาติที่มีไวยากรณ์และคลังคำศัพท์ของตัวเอง ไม่ใช่การแทนคำต่อคำจากภาษาอังกฤษ ข้อที่สองคือโมเดลต้องมองเห็นการเคลื่อนไหวที่เกิดขึ้นพร้อมกันของมือ แขน ลำตัว ศีรษะ และใบหน้า ซึ่งเป็นโจทย์ computer vision ที่ต้องประมวลผลที่ frame rate สูงและกินทรัพยากรมาก ด้วยเหตุนี้ แนวทางเดิมอย่างถุงมือแปลภาษามือจึงมีข้อจำกัดในเชิงหลักการ ทีมวิจัยยังระบุว่าการนำไปใช้งานจริงต้องแก้โจทย์วิศวกรรมนอกเหนือจากคะแนน benchmark ทั้งการลด latency ของการประมวลผลแบบ streaming การป้องกัน hallucination เมื่อภาพที่รับเข้ามาไม่ใช่การใช้ภาษามือ ความเป็นธรรมสำหรับผู้ใช้ภาษามือที่ถนัดมือซ้ายซึ่งมีอยู่ราว 10% และการรองรับการใช้ภาษามือด้วยมือเดียวสำหรับกรณีที่อีกมือถือโทรศัพท์อยู่ ข้อผิดพลาดที่ยังเหลืออยู่ได้แก่คำศัพท์ที่พบไม่บ่อย การสะกดนิ้วมืออย่างรวดเร็ว ประโยค passive การบรรยายด้วย classifier ที่ตกหล่น และการระบุ tense เมื่อไม่มีบริบทเพียงพอ
Google DeepMind วางกรอบการพัฒนา SL2T ให้เป็นการทำงานร่วมกับชุมชนคนหูหนวก ตั้งแต่ขั้นเริ่มต้นโครงการ การเก็บข้อมูลร่วมกับพาร์ตเนอร์ การทำ user study ไปจนถึงการประเมินผลกระทบร่วมกับผู้เชี่ยวชาญ พร้อมจัดตั้ง AI Sign Language Advisory Committee (AISLAC) ที่ประกอบด้วยองค์กรคนหูหนวกระดับโลกและผู้เชี่ยวชาญเฉพาะทาง เพื่อเป็นกลไกกำกับดูแลแบบมีส่วนร่วม และเผยแพร่ joint impact report สำหรับ SL2T 1.0 ที่ระบุทั้งความสามารถและข้อจำกัดของโมเดล โดยจะทำแนวทางเดียวกันกับการเปิดตัวโมเดลภาษามือรุ่นหลัก ๆ ในอนาคต ทิศทางถัดไปคือการเพิ่มจำนวนภาษามือที่รองรับ การสร้างภาษามือ (sign language generation) และการต่อยอดด้วยความสามารถ AI ระดับ frontier เพื่อให้ภาษามือได้รับการรองรับเทียบเท่าภาษาพูดและภาษาเขียน
ที่มา: https://deepmind.google/blog/putting-sign-language-ai-into-users-hands/
