Ефективність використання алгоритмів і методів штучних технологій розпізнавання жестової мови для людей з обмеженими можливостями
DOI:
https://doi.org/10.15587/1729-4061.2022.262509Ключові слова:
модель нейронної мережі, згорткова нейронна мережа, LSTM-модуль, згортка, жестова моваАнотація
За даними ВООЗ, кількість людей з обмеженими можливостями у світі перевищила 1 мільярд. При цьому 80 відсотків проживають в країнах, що розвиваються. У зв'язку з цим попит на використання додатків для людей з обмеженими можливостями зростає з кожним днем. У роботі для визначення жестової мови людей з обмеженими можливостями розглядаються нейромережеві методи, такі як MediaPipe Holistic та LSTM-модуль. Завдяки вбудованим засобам моніторингу MediaPipe продемонстрував безпрецедентно низьку затримку і високу точність відстеження в реальних умовах. Тому у даній роботі використовувався MediaPipe Holistic, що поєднує в собі управління позою, руками і обличчям з деталізованими рівнями.
Основною метою статті є показати ефективність алгоритму HAR для розпізнавання фізичної активності людини, заснованого на архітектурі глибокого навчання для класифікації дій за сімома різними класами.
Головним завданням даної роботи є високий рівень розпізнавання жестової мови людей з обмеженими можливостями при реалізації їхньої роботи у кросплатформних додатках, веб-додатках і соціальних мережах, що полегшують повсякденне життя людей з обмеженими можливостями та взаємодіють із суспільством. Для вирішення цього завдання використовувався алгоритм, що поєднує в собі архітектуру згорткової нейронної мережі (CNN) і довгої короткочасної пам'яті (LSTM) для вивчення просторових і тимчасових можливостей за тривимірними скелетними даними, взятими тільки з камери Microsoft Kinect. Така комбінація дозволяє використовувати переваги LSTM при моделюванні часових даних і CNN при моделюванні просторових даних.
Результати, отримані на основі розрахунків, виконаних додаванням нового шару до існуючої моделі, показали більш високу точність, ніж розрахунки, проведені за існуючою моделлю.
Посилання
- Rastgoo, R., Kiani, K., Escalera, S. (2021). Sign Language Recognition: A Deep Survey. Expert Systems with Applications, 164, 113794. doi: https://doi.org/10.1016/j.eswa.2020.113794
- Chuikov, A. V., Vulfin, A. M. (2017). Gesture recognition system. Vestnik UGATU, 21 (3 (77)), 113–122. Available at: https://cyberleninka.ru/article/n/sistema-raspoznavaniya-zhestov-na-osnove-neyrosetevyh-tehnologiy
- Wang, M., Lyu, X.-Q., Li, Y.-J., Zhang, F.-L. (2020). VR content creation and exploration with deep learning: A survey. Computational Visual Media, 6 (1), 3–28. doi: https://doi.org/10.1007/s41095-020-0162-z
- Murlin, A. G., Piotrovskiy, D. L., Rudenko, E. A., Yanaeva, M. V. (2014). Algorithms and methods for detection and recognition of hand gestures on video in real time. Politematicheskiy setevoy elektronniy nauchnyy zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta, 97, 626–635. Available at: https://www.elibrary.ru/item.asp?id=21527334
- Rautaray, S. S., Agrawal, A. (2012). Vision based hand gesture recognition for human computer interaction: a survey. Artificial Intelligence Review, 43 (1), 1–54. doi: https://doi.org/10.1007/s10462-012-9356-9
- Bae, S. H., Choi, I. K., Kim, N. S. (2016). Acoustic Scene Classification Using Parallel Combination of LSTM and CNN. Detection and Classification of Acoustic Scenes and Events. Available at: https://dcase.community/documents/workshop2016/proceedings/Bae-DCASE2016workshop.pdf
- Lee, D.-H., Hong, K.-S. (2010). A Hand gesture recognition system based on difference image entropy. In 2010 6th International Conference on Advanced Information Management and Service (IMS), 410–413.
- Chen, Y., Luo, B., Chen, Y.-L., Liang, G., Wu, X. (2015). A real-time dynamic hand gesture recognition system using kinect sensor. 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO). doi: https://doi.org/10.1109/robio.2015.7419071
- Korchenko, A., Tereykovskiy, I., Karpinskiy, N., Tynymbaev, S. (2016). Neyrosetevye modeli, metody i sredstva otsenki parametrov bezopasnosti internet-orientirovannykh informatsionnykh sistem. Kyiv: TOV "Nash Format".
- Top 10 Deep Learning Algorithms You Should Know in 2022. Available at: https://www.simplilearn.com/tutorials/deep-learning-tutorial/deep-learning-algorithm
- Liu, N., Lovell, B. C. (2003). Gesture classification using hidden markov models and viterbi path counting. In VII-th Digital image computing: techniques and Applications. Available at: https://www.researchgate.net/publication/37616560_Gesture_Classification_Using_Hidden_Markov_Models_and_Viterbi_Path_Counting
- Phan, N. H., Bui, T. T. T., Spitsyn, V. G. (2013). Real-time hand gesture recognition base on Viola-Jones method, algorithm CAMShift, wavelet transform and principal component analysis. Upravlenie, vychislitel'naya tekhnika i informatika, 2 (23), 102–111. Available at: https://cyberleninka.ru/article/n/raspoznavanie-zhestov-na-videoposledovatelnosti-v-rezhime-realnogo-vremeni-na-osnove-primeneniya-metoda-violy-dzhonsa-algoritma
- Tkhang, N. T., Spitsyn, V. G. (2012). Algoritmicheskoe i programmnoe obespechenie dlya raspoznavaniya formy ruki v real'nom vremeni s ispol'zovaniem surfcdeskriptorov i neyronnoy seti. Izvestiya Tomskogo politekhnicheskogo universiteta. Inzhiniring georesursov, 320 (5), 48–54.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2022 Aigulim Bayegizova, Gulden Murzabekova, Aisulu Ismailova, Ulzada Aitimova, Ayagoz Mukhanova, Zhanar Beldeubayeva, Aliya Ainagulova, Akgul Naizagarayeva
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
