Дослідження мобільних платформ машинного навчання для розпізнавання жестів людини у системах людино-машинної взаємодії

Автор(и)

  • Олеся Юріївна Барковська Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0001-7496-4353
  • Ігор Вікторович Рубан Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0002-4738-3286
  • Дар'я Олександрівна Тимошенко Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0001-5514-7075
  • Олександр Сергійович Головченко Харківський національний університет радіоелектроніки, Україна https://orcid.org/0009-0002-7582-1746
  • Олександр Аркадійович Янковський Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0002-1268-0029

DOI:

https://doi.org/10.15587/2706-5448.2025.325423

Ключові слова:

людино-машинна взаємодія, HMI, Create ML, Google Cloud AI Platform, обробка зображень, безконтактне управління, ML-платформи

Анотація

Об’єктом дослідження є мобільні платформи машинного навчання для розпізнавання жестів людини у системах людино-машинної взаємодії, зокрема в управлінні елементами розумного будинку.

Одним із ключових викликів розпізнавання жестів є забезпечення високої точності, ефективності та стійкості алгоритмів у реальних умовах експлуатації. Проблема полягає у виборі оптимальних платформ машинного навчання, здатних забезпечити баланс між локальними та хмарними обчисленнями, швидкістю обробки та адаптивністю до змінних умов навколишнього середовища.

В роботі проведено порівняльний аналіз ML-платформ Create ML (Apple) та Google Cloud AI Platform, які застосовуються для детектування та розпізнавання жестів у системах управління розумним будинком. Отримані результати демонструють, що Create ML забезпечує точність 95.81 %, тоді як Google Cloud AI Platform – 89.43 %, що обґрунтовує їх вибір для подальших досліджень. Крім того, експериментальне тестування впливу топології розташування сенсорів показало, що діагональне розміщення камер підвищує точність на 0.62 % у порівнянні з паралельним.

Підвищена ефективність Create ML зумовлена його здатністю до локальної обробки, що зменшує затримки та залежність від інтернет-з’єднання. Натомість Google Cloud AI Platform використовує хмарні ресурси, що дозволяє обробляти великі обсяги даних, але створює залежність від швидкості передачі інформації.

Запропоновані алгоритми жестового управління можуть бути використані для підвищення доступності технологій для людей із обмеженими можливостями, зокрема в реабілітаційних центрах. Також результати дослідження можуть знайти застосування у безконтактних інтерфейсах у медичних установах та громадських місцях, що зменшить необхідність фізичної взаємодії з поверхнями та підвищить рівень гігієни. Використання мобільних ML-платформ у таких сценаріях дозволяє оптимізувати обчислювальні ресурси та забезпечити ефективну інтеграцію жестового управління у сучасні людино-машинні системи.

Біографії авторів

Олеся Юріївна Барковська, Харківський національний університет радіоелектроніки

Кандидат технічних наук, доцент

Кафедра електронних обчислювальних машин

Ігор Вікторович Рубан, Харківський національний університет радіоелектроніки

Доктор технічних наук, перший проректор

Дар'я Олександрівна Тимошенко, Харківський національний університет радіоелектроніки

Асистент

Кафедра електронних обчислювальних машин

Олександр Сергійович Головченко, Харківський національний університет радіоелектроніки

Кафедра електронних обчислювальних машин

Олександр Аркадійович Янковський, Харківський національний університет радіоелектроніки

Кандидат технічних наук, доцент

Кафедра електронних обчислювальних машин

Посилання

  1. Pangarkar, T. (2025). Smart Home Statistics 2025 By Technology, Features, Security. Scoop Market. Available at: https://scoop.market.us/smart-home-statistics/ Last accessed: 07.02.2025
  2. Taiwo, O., Ezugwu, A. E., Oyelade, O. N., Almutairi, M. S. (2022). Enhanced Intelligent Smart Home Control and Security System Based on Deep Learning Model. Wireless Communications and Mobile Computing, 2022, 1–22. https://doi.org/10.1155/2022/9307961
  3. Netinant, P., Utsanok, T., Rukhiran, M., Klongdee, S. (2024). Development and Assessment of Internet of Things-Driven Smart Home Security and Automation with Voice Commands. IoT, 5 (1), 79–99. https://doi.org/10.3390/iot5010005
  4. Prieto González, L., Fensel, A., Gómez Berbís, J. M., Popa, A., de Amescua Seco, A. (2021). A Survey on Energy Efficiency in Smart Homes and Smart Grids. Energies, 14 (21), 7273. https://doi.org/10.3390/en14217273
  5. Touqeer, H., Zaman, S., Amin, R., Hussain, M., Al-Turjman, F., Bilal, M. (2021). Smart home security: challenges, issues and solutions at different IoT layers. The Journal of Supercomputing, 77 (12), 14053–14089. https://doi.org/10.1007/s11227-021-03825-1
  6. Malik, S., Shafqat, W., Lee, K.-T., Kim, D.-H. (2021). A Feature Selection-Based Predictive-Learning Framework for Optimal Actuator Control in Smart Homes. Actuators, 10 (4), 84. https://doi.org/10.3390/act10040084
  7. Aksak, N. H., Barkovska, O. Yu., Ivashchenko, H. S. (2017). Development of the hand gesture recognition system on the basis of clonal selection model. Systemy Obrobky Informatsii, 3 (149), 76–80. https://doi.org/10.30748/soi.2017.149.15
  8. Barkovska, O., Serdechnyi, V. (2024). Intelligent assistance system for people with visual impairments. Innovative technologies and scientific solutions for industries, 2 (28), 6–16. https://doi.org/10.30837/2522-9818.2024.28.006
  9. Barkovska, O., Oliinyk, D., Sorokin, A., Zabroda, I., Sedlaček, P. (2024). A System for monitoring the progress of rehabilitation of patients with musculoskeletal disorder. Advanced Information Systems, 8 (3), 13–24. https://doi.org/10.20998/2522-9052.2024.3.02
  10. Ahmed, S., Kallu, K. D., Ahmed, S., Cho, S. H. (2021). Hand Gestures Recognition Using Radar Sensors for Human-Computer-Interaction: A Review. Remote Sensing, 13 (3), 527. https://doi.org/10.3390/rs13030527
  11. Bhushan, S., Alshehri, M., Keshta, I., Chakraverti, A. K., Rajpurohit, J., Abugabah, A. (2022). An Experimental Analysis of Various Machine Learning Algorithms for Hand Gesture Recognition. Electronics, 11 (6), 968. https://doi.org/10.3390/electronics11060968
  12. Indriani, Harris, Moh., Agoes, A. S. (2021). Applying Hand Gesture Recognition for User Guide Application Using MediaPipe. Proceedings of the 2nd International Seminar of Science and Applied Technology (ISSAT 2021). https://doi.org/10.2991/aer.k.211106.017
  13. Mujahid, A., Awan, M. J., Yasin, A., Mohammed, M. A., Damaševičius, R., Maskeliūnas, R., Abdulkareem, K. H. (2021). Real-Time Hand Gesture Recognition Based on Deep Learning YOLOv3 Model. Applied Sciences, 11 (9), 4164. https://doi.org/10.3390/app11094164
  14. Sahoo, J. P., Prakash, A. J., Pławiak, P., Samantray, S. (2022). Real-Time Hand Gesture Recognition Using Fine-Tuned Convolutional Neural Network. Sensors, 22 (3), 706. https://doi.org/10.3390/s22030706
  15. Jiang, S., Kang, P., Song, X., Lo, B., Shull, P. (2022). Emerging Wearable Interfaces and Algorithms for Hand Gesture Recognition: A Survey. IEEE Reviews in Biomedical Engineering, 15, 85–102. https://doi.org/10.1109/rbme.2021.3078190
  16. Guo, L., Lu, Z., Yao, L. (2021). Human-Machine Interaction Sensing Technology Based on Hand Gesture Recognition: A Review. IEEE Transactions on Human-Machine Systems, 51 (4), 300–309. https://doi.org/10.1109/thms.2021.3086003
  17. Liu, H., Zhu, X., Lei, Z., Cao, D., Li, S. Z. (2021). Fast Adapting Without Forgetting for Face Recognition. IEEE Transactions on Circuits and Systems for Video Technology, 31 (8), 3093–3104. https://doi.org/10.1109/tcsvt.2020.3035890
  18. Uddin, Md. S., Slany, W., Hasan, K. J. (2024). On-Device Neural Network for Object Train and Recognition using Mobile. International Journal of Interactive Mobile Technologies (IJIM), 18 (12), 99–111. https://doi.org/10.3991/ijim.v18i12.47895
  19. Van der Vlist, F., Helmond, A., Ferrari, F. (2024). Big AI: Cloud infrastructure dependence and the industrialisation of artificial intelligence. Big Data & Society, 11 (1). https://doi.org/10.1177/20539517241232630
  20. Patel, D., Raut, G., Cheetirala, S. N., Nadkarni, G. N., Freeman, R., Glicksberg, B. S. et al. (2024). Cloud Platforms for Developing Generative AI Solutions: A Scoping Review of Tools and Services. arXiv preprint arXiv:2412.06044. https://doi.org/10.48550/arXiv.2412.06044
  21. Chornenkyi, V. Ya., Kazymyra, I. Ya. (2023). Research of the models for sign gesture recognition using 3D convolutional neural networks and visual transformers. Ukrainian Journal of Information Technology, 5 (2), 33–40. https://doi.org/10.23939/ujit2023.02.033
  22. Zhang, G., Ma, N., Li, J., Jiang, B., Wu, Z. (2021). Gesture Recognition Algorithm Based on Lightweight 3DCNN Network. 2021 17th International Conference on Computational Intelligence and Security (CIS), 217–221. https://doi.org/10.1109/cis54983.2021.00053
  23. Osman Hashi, A., Zaiton Mohd Hashim, S., Bte Asamah, A. (2024). A Systematic Review of Hand Gesture Recognition: An Update From 2018 to 2024. IEEE Access, 12, 143599–143626. https://doi.org/10.1109/access.2024.3421992
  24. Openja, M., Nikanjam, A., Yahmed, A. H., Khomh, F., Jiang, Z. M. J. (2022). An Empirical Study of Challenges in Converting Deep Learning Models. 2022 IEEE International Conference on Software Maintenance and Evolution (ICSME), 13–23. https://doi.org/10.1109/icsme55016.2022.00010
  25. Wakchaure, A., Kanawade, P., Jawale, M. A., William, P., Pawar, A. B. (2022). Face Mask Detection in Realtime Environment using Machine Learning based Google Cloud. 2022 International Conference on Applied Artificial Intelligence and Computing (ICAAIC), 557–561. https://doi.org/10.1109/icaaic53929.2022.9793201
  26. Abdul-Al, M., Kyeremeh, G., Qahwaji, R., Abd-Alhameed, R. (2022). The Impacts of Depth Camera and Multi-Sensors for Face and Fingerprint Recognition in 2D and 3D – A Case Study. Proceedings of 2nd International Multi-Disciplinary Conference Theme: Integrated Sciences and Technologies, IMDC-IST 2021. Sakarya. https://doi.org/10.4108/eai.7-9-2021.2314977
  27. Matilainen, M., Sangi, P., Holappa, J., Silven, O. (2016). OUHANDS database for hand detection and pose recognition. 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA). Oulu, 1–5. https://doi.org/10.1109/ipta.2016.7821025
Research on mobile machine learning platforms for human gesture recognition in human-machine interaction systems

##submission.downloads##

Опубліковано

2025-03-28

Як цитувати

Барковська, О. Ю., Рубан, І. В., Тимошенко, Д. О., Головченко, О. С., & Янковський, О. А. (2025). Дослідження мобільних платформ машинного навчання для розпізнавання жестів людини у системах людино-машинної взаємодії. Technology Audit and Production Reserves, 2(2(82), 6–14. https://doi.org/10.15587/2706-5448.2025.325423

Номер

Том 2 № 2(82) (2025): Інформаційно-керуючі системи

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2025 Olesia Barkovska, Ihor Ruban, Daria Tymoshenko, Oleksandr Holovchenko, Oleksandr Yankovskyi

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.