Розпізнавання дактільної мови жестів на основі алгоритмів машинного навчання
DOI:
https://doi.org/10.15587/1729-4061.2021.239253Ключові слова:
розпізнавання жестів, мова жестів, витяг ознак, відстеження рук, оцінка алгоритмівАнотація
У процесі дослідницької роботи були проаналізовані американська, російська і турецька мови жестів. Реалізована програма розпізнавання казахської дактильної мови жестів із застосуванням методів машинного навчання. Сформовано датасет з 5000 зображення для кожного жесту, застосовані алгоритми з розпізнавання жестів, такі як Random Forest, Support Vector Machine, Extreme Gradient Boosting, при цьому поєднані два типи даних в одну базу, що викликало зміну архітектури системи в цілому. Також була проведена оцінка якості алгоритмів.
Дослідницька робота проведена в зв'язку тим, що наукові роботи в області розробки системи розпізнавання казахської мови жестових дактилів в даний час є недостатніми для повного розуміння мови. У казахській мові є специфічні літери, через особливості правопису виникають проблеми при розробці систем розпізнавання казахської мови жестів.
Результати роботи показали, що алгоритми Support Vector Machine і Extreme Gradient Boosting лідують за продуктивністю в реальному режимі часу, але алгоритм Random Forest має високу точність розпізнавання. В результаті точність алгоритмів класифікації склала 98,86% для Random Forest, 98,68% для Support Vector Machine і 98,54% для Extreme Gradient Boosting. Так само оцінки якості роботи класичних алгоритмів мають високі показники.
Практична значимість полягає в тому, що наукові дослідження в області розпізнавання жестів з оновленим алфавітом казахської мови досі не проводилися і результати цієї роботи можуть бути використані іншими дослідниками для проведення подальших досліджень, пов'язаних з розпізнаванням казахської дактильної мови жестів, а також дослідниками, які займаються розвитком міжнародної мови жестів.
Посилання
- Ahmed, M. A., Zaidan, B. B., Zaidan, A. A., Salih, M. M., Lakulu, M. M. bin. (2018). A Review on Systems-Based Sensory Gloves for Sign Language Recognition State of the Art between 2007 and 2017. Sensors, 18 (7), 2208. doi: http://doi.org/10.3390/s18072208
- Bilgin, M., Mutludogan, K. (2019). American Sign Language Character Recognition with Capsule Networks. 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT). Ankara. doi: http://doi.org/10.1109/ismsit.2019.8932829
- Kudubayeva, S., Zhussupova, B., Aliyeva, G. (2019). Features of the representation of the Kazakh sign language with the use of gestural notation. Proceedings of the 5th International Conference on Engineering and MIS. doi: http://doi.org/10.1145/3330431.3330440
- Luqman, H., El-Alfy, E.-S. M., BinMakhashen, G. M. (2020). Joint space representation and recognition of sign language fingerspelling using Gabor filter and convolutional neural network. Multimedia Tools and Applications, 80 (7), 10213–10234. doi: http://doi.org/10.1007/s11042-020-09994-0
- Saykol, E., Türe, H. T., Sirvanci, A. M., Turan, M. (2016). Posture labeling based gesture classification for Turkish sign language using depth values. Kybernetes, 45 (4), 604–621. doi: http://doi.org/10.1108/k-04-2015-0107
- Van Houdt, G., Mosquera, C., Nápoles, G. (2020). A review on the long short-term memory model. Artificial Intelligence Review, 53 (8), 5929–5955. doi: http://doi.org/10.1007/s10462-020-09838-1
- Makarov, I., Chertkov, M., Veldyaykin, N., Pokoev, A. (2019). American and Russian sign language dactyl recognition. ACM International Conference Proceeding Series, 204–210. doi: http://doi.org/10.1109/tsp.2019.8768868
- Artyukhin, S. G., Mestetskiy, L. M. (2015). Dactyl alphabet gesture recognition in a video sequence using microsoft kinect. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-5/W6, 83–86. doi: http://doi.org/10.5194/isprsarchives-xl-5-w6-83-2015
- Oktekin, B. (2018). Development of Turkish sign language recognition application. Nicosia.
- Wadhawan, A., Kumar, P. (2019). Sign Language Recognition Systems: A Decade Systematic Literature Review. Archives of Computational Methods in Engineering, 28 (3), 785–813. doi: http://doi.org/10.1007/s11831-019-09384-2
- Munib, Q., Habeeb, M., Takruri, B., Al-Malik, H. A. (2007). American sign language (ASL) recognition based on Hough transform and neural networks. Expert Systems with Applications, 32 (1), 24–37. doi: http://doi.org/10.1016/j.eswa.2005.11.018
- Oz, C., Leu, M. C. (2007). Linguistic properties based on American Sign Language isolated word recognition with artificial neural networks using a sensory glove and motion tracker. Neurocomputing, 70 (16-18), 2891–2901. doi: http://doi.org/10.1016/j.neucom.2006.04.016
- Oz, C., Leu, M. C. (2011). American Sign Language word recognition with a sensory glove using artificial neural networks. Engineering Applications of Artificial Intelligence, 24 (7), 1204–1213. doi: http://doi.org/10.1016/j.engappai.2011.06.015
- Sun, C., Zhang, T., Bao, B.-K., Xu, C., Mei, T. (2013). Discriminative Exemplar Coding for Sign Language Recognition With Kinect. IEEE Transactions on Cybernetics, 43 (5), 1418–1428. doi: http://doi.org/10.1109/tcyb.2013.2265337
- Chuan, C.-H., Regina, E., Guardino, C. (2014). American Sign Language Recognition Using Leap Motion Sensor. 2014 13th International Conference on Machine Learning and Applications, 541–544. doi: http://doi.org/10.1109/icmla.2014.110
- Tangsuksant, W., Adhan, S., Pintavirooj, C. (2014). American Sign Language recognition by using 3D geometric invariant feature and ANN classification. The 7th 2014 Biomedical Engineering International Conference. doi: http://doi.org/10.1109/bmeicon.2014.7017372
- Zamani, M., Kanan, H. R. (2014). Saliency based alphabet and numbers of American sign language recognition using linear feature extraction. 2014 4th International Conference on Computer and Knowledge Engineering (ICCKE), 398–403. doi: http://doi.org/10.1109/iccke.2014.6993442
- Savur, C., Sahin, F. (2016). American Sign Language Recognition system by using surface EMG signal. 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2872–2877. doi: http://doi.org/10.1109/smc.2016.7844675
- Saha, S., Lahiri, R., Konar, A., Nagar, A. K. (2016). A novel approach to American sign language recognition using Madaline neural network. 2016 IEEE Symposium Series on Computational Intelligence (SSCI). doi: http://doi.org/10.1109/ssci.2016.7850121
- Kudubayeva, S. A., Ryumin, D. A., Kalzhanov, M. U. (2016). The method of basis vectors for recognition sign languageby using sensor KINECT, KazNU Bulletin. Mathematics, Mechanics, Computer Science Series, 3 (91), 86–96.
- Gupta, R., Bhatnagar, A. S. (2021). Multi-stage Indian sign language classification with Sensor Modality Assessment. 2021 7th International Conference on Advanced Computing and Communication Systems (ICACCS). doi: http://doi.org/10.1109/icaccs51430.2021.9441906
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2021 Chingiz Kenshimov, Zholdas Buribayev, Yedilkhan Amirgaliyev, Aisulyu Ataniyazova, Askhat Aitimov
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
