Blockdit Logo (Mobile)
Sertis
•
9 ธ.ค. 2021 เวลา 09:00 • ข่าว
เอไอช่วยแปลภาษามือ ช่วยสื่อสารกับผู้ป่วยหูหนวกได้สะดวกสบายขึ้น
รัฐบาลท้องถิ่นญี่ปุ่นได้จัดทำโครงการให้ The University of Electro-Communications (UEC) ในโตเกียว และบริษัท Softbank พัฒนา ‘Sure Talk’ อุปกรณ์เอไอที่ช่วยแปลภาษามือของผู้พิการทางการได้ยินให้เป็นภาษาเขียน เพื่อให้ผู้ป่วยสามารถสื่อสารได้ง่ายขึ้น
ในการสาธิตการใช้งาน ผู้สาธิตซึ่งเป็นผู้พิการทางการได้ยินนั่งลงหน้ากล้อง และเริ่มต้นทำมือเป็นสัญลักษณ์ภาษามือเพื่อถามทางไปห้องน้ำ จากนั้นระบบเอไอได้ทำการวิเคราะห์รูปแบบการขยับร่างกาย เช่น มือ แขน นิ้ว เพื่อแปลความหมายของท่าทาง สามวินาทีต่อมาข้อความดังกล่าวในรูปแบบของภาษาเขียนก็ปรากฏขึ้นบนหน้าจอคอมพิวเตอร์ของพนักงาน จากนั้นพนักงานก็จะพิมพ์ตอบเป็นตัวอักษร ซึ่งจะปรากฏบนหน้าจอคอมพิวเตอร์ให้ผู้พิการทางการได้ยินอ่านเช่นกัน
ทีมพัฒนาได้สร้างเทคโนโลยีนี้ขึ้นโดยใช้เอไอด้านการตรวจจับภาพ หรือ Image recognition และเทรนโมเดลโดยการป้อนข้อมูลรูปภาพของสัญลักษณ์ภาษามือต่าง ๆ จากคนหลายร้อยคน ถึงแม้ปัจจุบันระบบจะสามารถจดจำและแปลสัญลักษณ์ภาษามือเป็นคำในภาษาญี่ปุ่นได้ถึง 1,500 คำแล้ว แต่อย่างไรก็ตามทีมนักพัฒนาก็ยังคงต้องการข้อมูลสัญลักษณ์ภาษามือใหม่ ๆ เพื่อนำมาเทรนโมเดลให้สมบูรณ์ที่สุด
หลายคนอาจมองว่าการสื่อสารกับผู้พิการทางการได้ยินด้วยการเขียนตอบโต้กันก็เป็นวิธีที่ดีอยู่แล้ว อย่างไรก็ตามเทคโนโลยีการแปลภาษามือแบบเรียลไทม์นี้ ช่วยให้การสื่อสารระหว่างผู้พิการทางการได้ยินและบุคคลอื่น ๆ ที่อาจไม่มีความรู้เรื่องสัญลักษณ์ภาษามือทำได้สะดวก รวดเร็ว และลื่นไหลขึ้น
เป้าหมายหลักของเทคโนโลยีนี้คือการอำนวยความสะดวกให้ผู้พิการทางการได้ยินสามารถสื่อสารกับเจ้าหน้าที่ตามที่สาธารณะ อาทิ โรงพยาบาล ร้านขายยา หรือสถานที่ท่องเที่ยว ได้สะดวกยิ่งขึ้น ถึงแม้ว่าปัจจุบันเทคโนโลยีดังกล่าวจะอยู่ในรูปแบบของอุปกรณ์ขนาดใหญ่ แต่รัฐบาลมีเป้าหมายจะพัฒนาเทคโนโลยีดังกล่าวต่อให้กลายเป็นแอปพลิเคชันบนสมาร์ตโฟนให้ได้ เพื่อเพิ่มความสะดวกให้กลุ่มคนเหล่านี้ในชีวิตประจำวัน
AI being employed to translate sign language to help deaf people
Local governments in Japan are turning to artificial intelligence to improve communication with people who are deaf or hard of hearing, by converting sign-language gestures into written text, in which the system is jointly developed by the University of Electro-Communications in Tokyo and SoftBank Corp., called “Sure Talk”.
During the demonstration, a woman with a hearing disability asked directions to the restroom using sign language while standing in front of a camera. An AI then analyses the movement from hands, arms, and fingers to translate those movements into a text translation that appears on a staff member's computer display after about three seconds. The spoken response then appeared as text on the screen in front of the woman, making for smooth interaction.
The team of developers uses image recognition technology that analyses the skeletal movements of several areas of the body, such as fingers and arms, to convert signs into Japanese. Sign images of hundreds of people were digitised to develop the system. Although it can now translate gestures into about 1,500 Japanese words, there is room for improvements as a huge amount of sign language data is needed to build a model for accurate translations of signs into Japanese text.
Although conversations with people who are deaf are carried out best in writing, the AI sign language system is able to work much smoother because the translation takes place in real-time and that some people are incapable of using sign language.
The aim of this system is to improve the environment in hospitals, pharmacies, tourist sites, and other places, so that people who are deaf or hard of hearing can make inquiries anywhere they go. Currently, the system requires a big camera setting, the government has their plan to continue uplifting the system into an application for smartphones, to become an effective means for deaf citizens to communicate in public on a daily basis.
บทความโดย: ทีม Sertis
โฆษณา