Керування роботом-маніпулятором за допомогою сигналів поверхневої електроміографії.
DOI:
https://doi.org/10.30837/2522-9818.2025.3.203Ключові слова:
електроміографія; керування жестами; роботизований маніпулятор; згорткова нейронна мережа; ResNet; нормалізація даних; біонічні протези; управління в реальному часі.Анотація
Предметом дослідження є методи керування роботизованим маніпулятором на основі сигналів поверхневої електроміографії (ЕМГ) із застосуванням індивідуалізованої нормалізації та класифікації жестів згортковою нейронною мережею (CNN). Мета роботи – створення системи управління, що поєднує попередню нормалізацію ЕМГ-сигналів та глибоке навчання для підвищення точності розпізнавання жестів і стабільності в реальному часі. Для досягнення поставленої мети виконано такі завдання: здійснено збір ЕМГ-сигналів за допомогою міобраслета Myo Armband, проведено їх попереднє оброблення з використанням мінімакс-нормалізації та нормалізації з нульовим середнім, реалізовано перетворення сигналів у зображення за допомогою ковзного вікна, після чого побудовано та навчено згорткову нейронну мережу на основі архітектури ResNet з оптимізацією алгоритмом Adam, а також проаналізовано та порівняно точність CNN та класичних моделей машинного навчання (SVM і Random Forest). Досягнуті результати показали точність класифікації 97,27% у тестовому середовищі та 91,71% – у реальному часі. Модель CNN перевищила традиційні методи на 18–19%, а нормалізація нульового середнього підвищила точність на 2,34% порівняно з мінімакс-нормалізацією. Система зберігала стабільність навіть за умови варіацій положення браслета завдяки індивідуальній нормалізації. Висновки. Запропонована система продемонструвала високу точність, надійність і адаптивність у реальному часі. Наукова новизна полягає в поєднанні індивідуалізованої нормалізації ЕМГ-сигналів із ResNet, що забезпечує стабільність і перевищує точність традиційних алгоритмів. У майбутньому заплановано розширення набору жестів, дослідження більш складних умов та оптимізація нейронних мереж для вбудованих систем.
Посилання
Список літератури
Guo B., Ma Y., Yang J., Wang Z., Zhang X. Lw-CNN-Based Myoelectric Signal Recognition and Real-Time Control of Robotic Arm for Upper-Limb Rehabilitation. Computational Intelligence and Neuroscience, 2020, 8846021 р. DOI: https://doi.org/10.1155/2020/8846021
Wan Y., Han Z., Zhong J., Chen G. (2018). Pattern recognition and bionic manipulator driving by surface electromyography signals using convolutional neural network. Advances in Mechanical Engineering, 10 (10), Р. 1–11. 2018. DOI: https://doi.org/10.1177/1729881418802138
Bao T., Zaidi S. A. R., Xie S., Yang P., Zhang Z. A CNN-LSTM Hybrid Framework for Wrist Kinematics Estimation Using Surface Electromyography. IEEE Transactions on Instrumentation and Measurement. 82 р. 2019. DOI: https://doi.org/10.1109/TIM.2020.3036654
Real-time Bionic Arm Control Via CNN-based EMG Recognition. URL: https://www.hackster.io/emgarm/real-time-bionic-arm-control-via-cnn-based-emg-recognition-b013d3
Meng Q., Yue Y., Li S., Yu H. Electromyogram-based motion compensation control for the upper limb rehabilitation robot in active training. Mechanical Sciences, 13(2), 2022. Р. 675–685. DOI: https://doi.org/10.5194/ms-13-675-2022
Atzori M., Gijsberts A., Castellini C., Caputo B., Mittaz Hager A.G., Elsig S., Giatsidis G., Bassetto F., Müller H. Electromyography data for non-invasive naturally-controlled robotic hand prostheses. Scientific Data, № 1, 140053 р. 2014. DOI: https://doi.org/10.1038/sdata.2014.53
Banzi M., Shiloh M. Getting Started with Arduino: The Open Source Electronics Prototyping Platform. Maker Media. 2014. URL: https://www.sarcnet.org/files/Getting%20Started%20With%20Arduino.pdf
Patel S., Patel V. A study on normalization techniques in data mining. International Journal of Computer Applications, 179(14), 2018. Р. 1-4. DOI: https://doi.org/10.5120/ijca2018917759
Bhandari P. The Standard Normal Distribution Calculator, Examples & Uses. Scribbr. 2020. URL: https://www.scribbr.com/statistics/standard-normal-distribution/
He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. Р. 770-778. DOI: https://doi.org/10.1109/CVPR.2016.90
Kingma D. P., Ba J. Adam: A method for stochastic optimization. In Proceedings of the International Conference on Learning Representations (ICLR). 2014. DOI: https://doi.org/10.48550/arXiv.1412.6980
Abadi M., Barham P., Chen J., Chen Z., Davis A., Dean J., Devin M., Ghemawat S., Irving G., Isard M., Kudlur M., Levenberg J., Monga R., Moore S., Murray D., Steiner B., Zheng X. Tensor Flow: A system for large-scale machine learning. In Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI), 2016. Р. 265–283. URL: https://www.usenix.org/conference/osdi16/technical-sessions/presentation/abadi
Dianchun Bai, Tie Liu, Xinghua Han, Hongyu Yi. Application Research on Optimization Algorithm of sEMG Gesture Recognition Based on Light CNN+LSTM Model. Cyborg and Bionic Systems. Vol 2021. 2021. DOI:10.34133/2021/9794610
Silva А. D., Perera M. V., Wickramasinghe K., Naim A. M., Dulantha Lalitharatne, Kappel S. L. Real-Time Hand Gesture Recognition Using Temporal Muscle Activation Maps of Multi-Channel Semg Signals, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2020, Р. 1299–1303, DOI: 10.1109/ICASSP40776.2020.9054227
Asif A.R., Waris A., Gilani S.O., Jamil M., Ashraf H., Shafique M., Niazi I.K. Performance Evaluation of Convolutional Neural Network for Hand Gesture Recognition Using EMG. Sensors 2020, № 20, 1642 р. DOI: https://doi.org/10.3390/s20061642
Gopal P., Gesta A., Mohebbi A. A Systematic Study on Electromyography-Based Hand Gesture Recognition for Assistive Robots Using Deep Learning and Machine Learning Models. Sensors 2022, № 22, 3650 р. DOI: https://doi.org/10.3390/s22103650
Yu G., Deng Z., Bao Z., Zhang Y., He B. Gesture Classification in Electromyography Signals for Real-Time Prosthetic Hand Control Using a Convolutional Neural Network-Enhanced Channel Attention Model. Bioengineering 2023, № 10, 1324 р. DOI: https://doi.org/10.3390/bioengineering10111324
References
Guo, B., Ma, Y., Yang, J., Wang, Z., Zhang, X. (2020), "Lw-CNN-Based Myoelectric Signal Recognition and Real-Time Control of Robotic Arm for Upper-Limb Rehabilitation". Computational Intelligence and Neuroscience, 2020, 8846021 р. DOI: https://doi.org/10.1155/2020/8846021
Wan, Y., Han, Z., Zhong, J., & Chen, G. (2018), "Pattern recognition and bionic manipulator driving by surface electromyography signals using convolutional neural network". Advances in Mechanical Engineering, Vol. 10(10), Р. 1–11. DOI: https://doi.org/10.1177/1729881418802138
Bao, T., Zaidi, S. A. R., Xie, S., Yang, P., Zhang, Z. (2019), "A CNN-LSTM Hybrid Framework for Wrist Kinematics Estimation Using Surface Electromyography". IEEE Transactions on Instrumentation and Measurement. 82 р. 2019. DOI: https://doi.org/10.1109/TIM.2020.3036654
"Real-time Bionic Arm Control Via CNN-based EMG Recognition". available at: https://www.hackster.io/emgarm/real-time-bionic-arm-control-via-cnn-based-emg-recognition-b013d3
Meng, Q., Yue, Y., Li, S., Yu, H. (2022), "Electromyogram-based motion compensation control for the upper limb rehabilitation robot in active training". Mechanical Sciences, 13(2), Р. 675–685. DOI: https://doi.org/10.5194/ms-13-675-2022
Atzori, M., Gijsberts, A., Castellini, C., Caputo, B., Mittaz Hager, A.G., Elsig, S., Giatsidis, G., Bassetto, F., Müller, H. (2014), "Electromyography data for non-invasive naturally-controlled robotic hand prostheses". Scientific Data, № 1, 140053 р. DOI: https://doi.org/10.1038/sdata.2014.53
Banzi, M., Shiloh, M. (2014), "Getting Started with Arduino: The Open Source Electronics Prototyping Platform. Maker Media", available at: https://www.sarcnet.org/files/Getting%20Started%20With%20Arduino.pdf
Patel, S., Patel, V. (2018), "A study on normalization techniques in data mining". International Journal of Computer Applications, № 179(14), Р. 1–4. DOI: https://doi.org/10.5120/ijca2018917759
Bhandari, P. (2020), "The Standard Normal Distribution | Calculator, Examples & Uses. Scribbr". available at: https://www.scribbr.com/statistics/standard-normal-distribution/
He, K., Zhang, X., Ren, S., Sun, J. (2016), "Deep residual learning for image recognition". In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Р. 770-778. DOI: https://doi.org/10.1109/CVPR.2016.90
Kingma, D. P., Ba, J. (2014), "Adam: A method for stochastic optimization". In Proceedings of the International Conference on Learning Representations (ICLR). DOI: https://doi.org/10.48550/arXiv.1412.6980
Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., Kudlur, M., Levenberg, J., Monga, R., Moore, S., Murray, D., Steiner, B., Zheng, X. (2016), "TensorFlow: A system for large-scale machine learning". In Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI), Р. 265-283. available at: https://www.usenix.org/conference/osdi16/technical-sessions/presentation/abadi
Dianchun, Bai, Tie, Liu, Xinghua, Han, Hongyu, Yi. (2021), "Application Research on Optimization Algorithm of sEMG Gesture Recognition Based on Light CNN+LSTM". Cyborg and Bionic Systems. Vol 2021. 2021. DOI:10.34133/2021/9794610
Silva, А.D., Perera, M.V., Wickramasinghe, K., Naim, A.M., Dulantha, Lalitharatne, Kappel, S. L. (2020), "Real-Time Hand Gesture Recognition Using Temporal Muscle Activation Maps of Multi-Channel Semg Signals," ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2020, Р. 1299-1303, DOI: 10.1109/ICASSP40776.2020.9054227
Asif, A.R.; Waris, A.; Gilani, S.O.; Jamil, M.; Ashraf, H.; Shafique, M.; Niazi, I.K. (2020), "Performance Evaluation of Convolutional Neural Network for Hand Gesture Recognition Using EMG". Sensors. № 20, 1642 р. DOI: https://doi.org/10.3390/s20061642
Gopal, P.; Gesta, A.; Mohebbi, A. (2022), "A Systematic Study on Electromyography-Based Hand Gesture Recognition for Assistive Robots Using Deep Learning and Machine Learning Models". Sensors. № 22, 3650 р. DOI: https://doi.org/10.3390/s22103650
Yu, G.; Deng, Z.; Bao, Z.; Zhang, Y.; He, B. (2023), "Gesture Classification in Electromyography Signals for Real-Time Prosthetic Hand Control Using a Convolutional Neural Network-Enhanced Channel Attention Model". Bioengineering. № 10, 1324 р. https://doi.org/10.3390/bioengineering10111324
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
