Розпізнавання жестів за допомогою згорткової нейронної мережі
DOI:
https://doi.org/10.32782/2225-6733.43.2021.1Ключові слова:
мова жестів, згорткова нейронна мережа, розпізнавання об’єктів, YOLOv5, програмне забезпеченняАнотація
В статті наведено матеріал стосовно розпізнавання жестів за допомогою згорткової нейронної мережі. Нейрона мережа була натренована, щоб у режимі реального часу виявляти жести мови жестів та ідентифікувати їх. В рамках роботи було проведено аналіз наукових публікації, існуючих методів розпізнавання та вилучення об’єктів на зображенні. Для розпізнавання жестів була побудована математична модель згорнутої нейронної мережі. Після чого вона була натренована на обраному датасеті. Для тренування було створено набір фотографій, що складається з 4000 фотографій для 50 жестів, це для кожного жесту було створено 80 фотографій. Програмне забезпечення було написано на мові Python, використовувались ряд бібліотек, а сам YOLOv5, NumPy, PyTorch, OpenCV. В експериментальних дослідженнях було проведено порівняння результатів розпізнавання на навчальній вибірці жестів та на тестовій вибірці. Для визначення адекватності роботи розробленої згорнутої нейронної мережі було проведено тестування на визначення помилок при розпізнавання жестів
Посилання
Boppana L. Assistive Sign Language Converter for Deaf and Dumb / L. Boppana, R. Ahamed // 2019 International Conference on Internet of Things and IEEE Green Computing and Communications and IEEE Cyber, Physical and Social Computing and IEEE Smart Data. – 2019. – Pр. 2-4. – Mode of access: https://doi.org/10.1109/iThings/GreenCom/CPSCom/SmartData.2019.00071.
RGB-D datasets using microsoft Kinect or similar sensors: a survey / Z. Cai, J. Han, Li Liu, L. Shao // Multimedia Tools and Applications. – 2016. – Vol. 75. – Pp. 1-43. – Mode of access: https://doi.org/10.1007/s11042-016-3374-6.
Chaudhury K.N. Acceleration of the shiftable o(1) algorithm for bilateral filtering and non-local means / K.N. Chaudhury // IEEE Transactions on Image Processing. – 2013. – Vol. 22. – Pp. 1291-1300. – Mode of access: https://doi.org/10.1109/TIP.2012.2222903.
Dong C. American sign language alphabet recognition using microsoft Kinect / C. Dong, M. Leu, Z. Yin // IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2015. – Pp. 44-52. – Mode of access: https://doi.org/10.1109/CVPRW.2015.7301347.
Kuznetsova A. Real-time sign language recognition using a consumer depth camera / A. Kuznetsova, L. Leal-Taixe, B. Rosenhahn // 2013 IEEE International Conference on Computer Vision Workshops. – 2013. – Pp. 83-90. – Mode of access: https://doi.org/10.1109/ICCVW.2013.18.
Ohn-Bar E. Hand gesture recognition in real time for automotive interfaces: A multimodal vision-based approach and evaluations / E. Ohn-Bar, M. Manubhai Trivedi // IEEE Transactions on Intelligent Transportation Systems. – 2014. – Vol. 15, iss. 6. – Pp. 2368-2377. – Mode of access: https://doi.org/10.1109/TITS.2014.2337331.
Pandey P. An efficient algorithm for sign language recognition / P. Pandey, V. Jain // International Journal of Computer Science and Information Technologies (IJCSIT). – 2015. – Vol. 6. – Pp. 5565-5571. - Mode of access: https://api.semanticscholar.org/CorpusID:198962089.
Wang C. Superpixel-based hand gesture recognition with Kinect depth camera / C. Wang, Z. Liu, S. Chan // IEEE Transactions on Multimedia. – 2015. – Vol. 17, iss. 1. – Pp. 29-39. – Mode of access: https://doi.org/10.1109/TMM.2014.2374357.
Hand gesture recognition with multiscale weighted histogram of contour direction normalization for wearable applications / Y. Ren, X. Xie, G. Li, Z. Wang // IEEE Transactions on Circuits and Systems for Video Technology. – 2018. – Vol. 28, iss. 2. – Pp. 364-377. – Mode of access: https://doi.org/10.1109/TCSVT.2016.2608837.
Towards robust ego-centric hand gesture analysis for robot control / H. Song, W. Feng, N. Guan, X. Huang, Z. Luo // IEEE International Conference on Signal and Image Processing (ICSIP). – 2016. – Pp. 661-666. – Mode of access: https://doi.org/10.1109/SIPROCESS.2016.7888345.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Журнал "Вісник Приазовського державного технічного університету. Серія: Технічні науки" видається під ліцензією СС-BY (Ліцензія «Із зазначенням авторства»).
Дана ліцензія дозволяє поширювати, редагувати, поправляти і брати твір за основу для похідних навіть на комерційній основі із зазначенням авторства. Це найзручніша з усіх пропонованих ліцензій. Рекомендується для максимального поширення і використання неліцензійних матеріалів.
Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, яка дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи в цьому журналі.
2. Автори мають право укладати самостійні додаткові угоди, які стосуються неексклюзивного поширення роботи в тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи в цьому журналі.
