Система автоматичного сурдоперекладу з використанням нейромережних технологій та 3D-анімації

Анотація

Упровадження програмних засобів автоматичного сурдоперекладу в процес соціальної інклюзії людей з вадами слуху є важливим завданням. Соціальна інклюзія для осіб із вадами слуху є нагальною проблемою, яку необхідно вирішувати з огляду на розвиток IT-технологій та законодавчі ініціативи, що забезпечують права людей з інвалідністю та їхні рівні можливості. Сказане обґрунтовує актуальність дослідження асистивних технологій у контексті програмних засобів, таких як процес соціального залучення людей з важкими порушеннями слуху в суспільство. Предметом дослідження є методи автоматизованого сурдоперекладу із застосуванням інтелектуальних технологій. Мета роботи – розроблення та дослідження  методів автоматизації сурдоперекладу для поліпшення якості життя людей з вадами слуху відповідно до «Цілей сталого розвитку України» (в частині «Скорочення нерівності»). Основними завданнями дослідження є розроблення й тестування методів перетворення жестової мови в текст, перетворення тексту в жестову мову, а також автоматизації перекладу з однієї жестової мови іншою жестовою мовою із застосуванням сучасних інтелектуальних технологій. Для розв’язання цих завдань використовувались методи нейромережного моделювання та 3D-анімації. Унаслідок дослідження здобуто такі результати:  виявлено основні проблеми й завдання соціальної інклюзії для людей з вадами слуху; здійснено порівняльний аналіз сучасних методів і програмних платформ автоматичного сурдоперекладу; запропоновано й досліджено систему, що об’єднує метод SL-to-Text; метод Text-to-SL з використанням 3D-анімації для генерації концептів жестової мови; метод генерації 3D-анімованого жесту з відеозаписів; метод  реалізації технології Sign Language1 to Sign Language2. Для розпізнавання жестів застосовано модель згорткової нейронної мережі, що навчається за допомогою імпортованих і згенерованих системою датасетів відеожестів. Навчена модель має високу точність розпізнавання (98,52 %). Створення 3D-моделі для відображення жесту на екран і його оброблення відбувалися у середовищі Unity 3D. Структура проєкту, виконавчих і допоміжних файлів, що застосовуються для побудови 3D-анімації для генерації концептів жестової мови містить: файли обробників подій; результати відображення, що мають інформацію про положення відслідкованих точок тіла; файли, що зберігають характеристики матерій, які були додані до тих чи інших точок відображення тіла. Висновки: запропоновані методи автоматизованого перекладу мають практичну значущість, що підтверджують демоверсії програмних застосунків Sign Language to Text і Text to Sign Language. Перспективним напрямом подальших досліджень з окресленої теми є вдосконалення методів SL1-to-SL2, створення відкритих датасетів відеожестів, залучення науковців і розробників для наповнення словників концептами різних жестових мов.