Розробка гібридної моделі CNN-RNN для покращеного розпізнавання динамічних жестів у казахській жестовій мові

Анотація

Для близько 1 % населення Республіки Казахстан, яке має порушення слуху, Казахська жестова мова набуває великого значення як засіб спілкування між громадянами держави. Обмеження інструментів для Казахської жестової мови (КЖМ) створюють значні виклики для людей із порушеннями слуху в освіті, працевлаштуванні та повсякденному житті, обмежуючи їх можливості для повноцінної участі в суспільному житті. Це дослідження вирішує ці проблеми через розробку автоматизованої системи розпізнавання жестів Казахської жестової мови, спрямованої на підвищення доступності та інклюзивності спілкування за допомогою штучного інтелекту. Підхід використовує передові методи машинного навчання, зокрема згорткові нейронні мережі (CNN) для розпізнавання просторових моделей жестів і рекурентні нейронні мережі (RNN) для обробки часових послідовностей. Об'єднавши ці методи, система розпізнає як жести рук, так і вирази обличчя, забезпечуючи двопотокову модель, яка перевершує однопотокові системи розпізнавання жестів, зосереджені лише на рухах рук. Для дослідження було створено спеціальний датасет за допомогою Mediapipe Holistic — інструмента з відкритим кодом, який визначає 543 ключові точки на руках, обличчі та позах, точно і надійно охоплюючи багатогранну природу жестової мови. Результати показали, що гібридна модель значно перевершує окремі моделі CNN та RNN, досягаючи точності до 96 %. Це свідчить, що інтеграція виразів обличчя з жестами рук значно підвищує точність розпізнавання жестової мови. Ця система має величезний потенціал для покращення інклюзивності, доступності та якості спілкування в різних сферах Республіки Казахстан, сприяючи ефективному спілкуванню людей із порушеннями слуху та відкриваючи широкі можливості для розширення досліджень і застосувань в інших жестових мовах