Удосконалення моделі детектування об'єктів на аерофотознімках і відео в безпілотних авіаційних комплексах

Автор(и)

  • Вадим Іванович Слюсар Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0002-2912-3149
  • Михайло Михайлович Проценко Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0001-5057-6145
  • Антон Андрійович Чернуха Національний університет цивільного захисту України, Україна https://orcid.org/0000-0002-0365-3205
  • Василь Володимирович Мелькін Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0002-9345-3396
  • Олег Олександрович Білобородов Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0003-3166-2659
  • Микола Олександрович Самойленко Миколаївський національний аграрний університет, Україна https://orcid.org/0000-0002-3292-9717
  • Олена Олександрівна Кравченко Миколаївський національний аграрний університет, Україна https://orcid.org/0000-0003-3453-0280
  • Галина Іванівна Калиниченко Миколаївський національний аграрний університет, Україна https://orcid.org/0000-0002-0909-0044
  • Антон Іванович Роговий Національний технічний університет «Харківський політехнічний інститут», Україна https://orcid.org/0000-0002-8178-4585
  • Михайло Миколайович Солощук Національний технічний університет «Харківський політехнічний інститут», Україна https://orcid.org/0000-0003-0031-5101

DOI:

https://doi.org/10.15587/1729-4061.2022.252876

Ключові слова:

нейронна мережа, детектування об'єктів, VisDrone 2021, Microsoft COCO, YOLOv5x, безпілотний авіаційний комплекс

Анотація

Розглянуто модель детектування об'єктів на аерофотознімках та відео з використанням нейронної мережі у безпілотних авіаційних комплексах. Розвиток систем штучного інтелекту та комп'ютерного зору безпілотних систем (дронів, роботів) потребує удосконалення моделей детектування (виявлення), розпізнавання об'єктів на зображеннях та у відеопотоку. Результати відео та аерофотозйомки в безпілотних авіаційних комплексах обробляються оператором у ручному режимі, але є об'єктивні труднощі, пов'язані з обробкою оператором великої кількості відео та аерофотознімків, тому доцільно цей процес автоматизувати. Аналіз моделей нейронних мереж показав, що для виконання завдання детектування об'єктів на аерофотознімках та відео, як базова модель, найбільш підходить модель YOLOv5x (США). Для навчання цієї моделі використовується набір Microsoft COCO (США). Цей набір містить понад 200000 зображень за 80 категоріями. Для вдосконалення моделі YOLOv5x проведено навчання нейронної мережі набором зображень VisDrone 2021 (Китай) з вибором оптимальних параметрів навчання: алгоритм оптимізації – SGD; початкова швидкість навчання (крок) – 0,0005, число епох – 25. В результаті отримано нову модель детектування об'єктів на аерофотознімках та відео із запропонованою назвою VisDroneYOLOv5x. Проведено дослідження ефективності удосконаленої моделі з використанням аерофотознімків та відео з набору VisDrone 2021. Для оцінки ефективності моделі в якості основних показників обрано: точність; чутливість; оцінка усередненої точності. Використання згорткової нейронної мережі дозволило автоматизувати процес детектування об'єктів на аерофотознімках та відео у безпілотних авіаційних комплексах

Біографії авторів

Вадим Іванович Слюсар, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Доктор технічних наук, професор

Група головних наукових співробітників з наукового керівництва досліджень

Михайло Михайлович Проценко, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Кандидат технічних наук, старший науковий співробітник

Управління спеціальних військ

Антон Андрійович Чернуха, Національний університет цивільного захисту України

Кандидат технічних наук, доцент

Кафедра пожежної та рятувальної підготовки

Василь Володимирович Мелькін, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Кандидат історичних наук

Науково-організаційний відділ

Олег Олександрович Білобородов, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Доктор технічних наук

Науково-дослідний відділ

Микола Олександрович Самойленко, Миколаївський національний аграрний університет

Доктор сільськогосподарських наук, професор

Кафедра виноградарства та плодоовочівництва

Олена Олександрівна Кравченко, Миколаївський національний аграрний університет

Кандидат сільськогосподарських наук, доцент

Кафедра генетики, годівлі тварин та біотехнології

Галина Іванівна Калиниченко, Миколаївський національний аграрний університет

Кандидат сільськогосподарських наук, доцент

Кафедра технології виробництва продукції тваринництва

Антон Іванович Роговий, Національний технічний університет «Харківський політехнічний інститут»

Кандидат технічних наук

Кафедра стратегічного управління

Михайло Миколайович Солощук, Національний технічний університет «Харківський політехнічний інститут»

Кандидат технічних наук

Кафедра інформатики та інтелектуальної власності

Посилання

  1. Kuznetsova, Y., Somochkin, M. (2021). The concept of creating an intellectual core of an integrated information and analytical system for action in emergencies of man-made nature. Innovative Technologies and Scientific Solutions for Industries, 4 (18), 40–49. doi: https://doi.org/10.30837/itssi.2021.18.040
  2. Peng, F., Zheng, L., Cui, X., Wang, Z. (2021). Traffic flow statistics algorithm based on YOLOv3. 2021 International Conference on Communications, Information System and Computer Engineering (CISCE). doi: https://doi.org/10.1109/cisce52179.2021.9445932
  3. Bin Zuraimi, M. A., Kamaru Zaman, F. H. (2021). Vehicle Detection and Tracking using YOLO and DeepSORT. 2021 IEEE 11th IEEE Symposium on Computer Applications & Industrial Electronics (ISCAIE). doi: https://doi.org/10.1109/iscaie51753.2021.9431784
  4. Fedosov, V. P., Ibadov, S. R., Ibadov, R. R., Kucheryavenko, S. V. (2021). Method For Detecting Violation at a Pedestrian Crossing Using a Convolutional Neuaral Network. 2021 Radiation and Scattering of Electromagnetic Waves (RSEMW). doi: https://doi.org/10.1109/rsemw52378.2021.9494089
  5. Sindhu, V. S. (2021). Vehicle Identification from Traffic Video Surveillance Using YOLOv4. 2021 5th International Conference on Intelligent Computing and Control Systems (ICICCS). doi: https://doi.org/10.1109/iciccs51141.2021.9432144
  6. Kim, J., Koh, J., Lee, B., Yang, S., Choi J. (2021). Video Object Detection Using Object's Motion Context and Spatio-Temporal Feature Aggregation. 2020 25th International Conference on Pattern Recognition (ICPR). doi: https://doi.org/10.1109/icpr48806.2021.9412715
  7. Ahmed, A. A., Echi, M. (2021). Hawk-Eye: An AI-Powered Threat Detector for Intelligent Surveillance Cameras. IEEE Access, 9, 63283–63293. doi: https://doi.org/10.1109/access.2021.3074319
  8. Zhao, Z.-Q., Zheng, P., Xu, S.-T., Wu, X. (2019). Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems, 30 (11), 3212–3232. doi: https://doi.org/10.1109/tnnls.2018.2876865
  9. Redmon, J., Divvala, S., Girshick, R., Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2016.91
  10. Slyusar, V., Protsenko, M., Chernukha, A., Gornostal, S., Rudakov, S., Shevchenko, S. et. al. (2021). Construction of an advanced method for recognizing monitored objects by a convolutional neural network using a discrete wavelet transform. Eastern-European Journal of Enterprise Technologies, 4 (9 (112)), 65–77. doi: https://doi.org/10.15587/1729-4061.2021.238601
  11. Redmon, J., Farhadi, A. (2017). YOLO9000: Better, Faster, Stronger. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2017.690
  12. Knysh, B., Kulyk, Y. (2021). Improving a model of object recognition in images based on a convolutional neural network. Eastern-European Journal of Enterprise Technologies, 3 (9 (111)), 40–50. doi: https://doi.org/10.15587/1729-4061.2021.233786
  13. Huang, Z., Wang, J., Fu, X., Yu, T., Guo, Y., Wang, R. (2020). DC-SPP-YOLO: Dense connection and spatial pyramid pooling based YOLO for object detection. Information Sciences, 522, 241–258. doi: https://doi.org/10.1016/j.ins.2020.02.067
  14. Bochkovskiy, A., Wang, C.-Y., Liao, M. (2020). YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv.org. Available at: https://arxiv.org/pdf/2004.10934.pdf
  15. Xu, R., Lin, H., Lu, K., Cao, L., Liu, Y. (2021). A Forest Fire Detection System Based on Ensemble Learning. Forests, 12 (2), 217. doi: https://doi.org/10.3390/f12020217
  16. Everingham, M., Eslami, S. M. A., Van Gool, L., Williams, C. K. I., Winn, J., Zisserman, A. (2014). The Pascal Visual Object Classes Challenge: A Retrospective. International Journal of Computer Vision, 111 (1), 98–136. doi: https://doi.org/10.1007/s11263-014-0733-5 5
  17. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D. et. al. (2014). Microsoft COCO: Common Objects in Context. Lecture Notes in Computer Science, 740–755. doi: https://doi.org/10.1007/978-3-319-10602-1_48
  18. Zhu, P., Wen, L., Bian, X., Ling, H., Hu, Q. (2018). Vision meets drones: A challenge. arXiv.org. Available at: https://arxiv.org/pdf/1804.07437.pdf
  19. Ultralytics Yolov5 and Vision AI. Available at: https://github.com/ultralytics/yolov5
  20. Slyusar, V., Protsenko, M., Chernukha, A., Kovalov, P., Borodych, P., Shevchenko, S. et. al. (2021). Improvement of the model of object recognition in aero photographs using deep convolutional neural networks. Eastern-European Journal of Enterprise Technologies, 5 (2 (113)), 6–21. doi: https://doi.org/10.15587/1729-4061.2021.243094
  21. Slyusar, V., Protsenko, M., Chernukha, A., Melkin, V., Petrova, O., Kravtsov, M. et. al. (2021). Improving a neural network model for semantic segmentation of images of monitored objects in aerial photographs. Eastern-European Journal of Enterprise Technologies, 6 (2 (114)), 86–95. doi: https://doi.org/10.15587/1729-4061.2021.248390

##submission.downloads##

Опубліковано

2022-02-28

Як цитувати

Слюсар, В. І., Проценко, М. М., Чернуха, А. А., Мелькін, В. В., Білобородов, О. О., Самойленко, М. О., Кравченко, О. О., Калиниченко, Г. І., Роговий, А. І., & Солощук, М. М. (2022). Удосконалення моделі детектування об’єктів на аерофотознімках і відео в безпілотних авіаційних комплексах. Eastern-European Journal of Enterprise Technologies, 1(9(115), 24–34. https://doi.org/10.15587/1729-4061.2022.252876

Номер

Том 1 № 9(115) (2022): Інформаційно-керуючі системи

Розділ

Інформаційно-керуючі системи

Ліцензія

Авторське право (c) 2022 Vadym Slyusar, Mykhailo Protsenko, Anton Chernukha, Vasyl Melkin, Oleh Biloborodov, Mykola Samoilenko, Olena Kravchenko, Halyna Kalynychenko, Anton Rohovyi, Mykhaylo Soloshchuk

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.