Вдосконалення моделі розпізнавання об'єктів на аерофотознімках з використанням глибокої згорткової нейронної мережі

Автор(и)

  • Вадим Іванович Слюсар Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0002-2912-3149
  • Михайло Михайлович Проценко Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України , Україна https://orcid.org/0000-0001-5057-6145
  • Антон Андрійович Чернуха Національний університет цивільного захисту України, Україна https://orcid.org/0000-0002-0365-3205
  • Павло Анатолійович Ковальов Національний університет цивільного захисту України, Україна https://orcid.org/0000-0002-2817-5393
  • Павло Юрійович Бородич Національний університет цивільного захисту України, Україна https://orcid.org/0000-0001-9933-8498
  • Сергій Миколайович Шевченко Національний університет цивільного захисту України, Україна https://orcid.org/0000-0002-6740-9252
  • Олександр Вікторович Черніков Харківський національний автомобільно-дорожній університет, Україна https://orcid.org/0000-0002-6636-4566
  • Сергій Едуардович Важинський Харківський Національний університет Повітряних Сил ім. І. Кожедуба, Україна https://orcid.org/0000-0002-1671-3684
  • Олег Ігоревич Богатов Харківський національний автомобільно-дорожній університет, Україна https://orcid.org/0000-0001-7342-7556
  • Кирило Львович Хрустальов Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0002-0687-5153

DOI:

https://doi.org/10.15587/1729-4061.2021.243094

Ключові слова:

розпізнавання об'єктів, глибока згорткова нейронна мережа, аерофотознімок, безпілотній літальний апарат

Анотація

Основним завданням, яке вирішують системи комп'ютерного зору, є виявлення і розпізнавання об'єктів на зображенні. В рамках вирішення даного завдання вдосконалена модель розпізнавання об'єктів на аерофотознімках, отриманих з безпілотного літального апарату. Проведено дослідження розпізнавання об’єктів на аерофотознімках глибокими згортковими нейронними мережами. Аналіз можливих реалізацій показав, що для виконання даного завдання найбільше підходить модель AlexNet 2012 (Канада), яка навчена набором зображень ImageNet (Китай). Дану модель використано за базову. Помилка розпізнавання об'єктів для даної моделі на тестовому наборі зображень ImageNet склала 15 %. Для вирішення завдання підвищення ефективності розпізнавання об’єктів на аерофотознімках за 10 класами проведено модифікацію вихідного повнозв'язного шару з 1000 до 10 нейронів та двоетапне додаткове навчання отриманої моделі. На першому етапі зазначене донавчання нової мережі здійснювалося набором зображень, підготовленим з аерофотознімків, а на другому етапі – набором зображень VisDrone 2021 (Китай). Обрані оптимальні параметри навчання: швидкість (крок) – 0,0001, число епох – 100. В результаті отримано нову модель с запропонованою назвою AlexVisDrone.

Перевірка ефективності запропонованої моделі проводилася на тестовому наборі з 100 зображень за кожним класом, загальна кількість класів – 10. В якості основних показників ефективності нейронної мережі обрано точність і чутливість. В результаті отримано підвищення точності розпізнавання від 7 % (для зображень з аерофотознімків) до 9 % (для набора VisDrone 2021), що показує правильність вибору архітектури нейронної мережі, параметрів навчання. Використання запропонованої моделі дозволяє автоматизувати процес розпізнавання об’єктів на аерофотознімках.

Доцільно використовувати дану модель: на наземному пункті управління безпілотного авіаційного комплексу, при обробці аерофотознімків, отриманих з безпілотного літального апарату; в роботизованих системах; в комплексах відеоспостереження; при створенні систем безпілотного транспорту.

Біографії авторів

Вадим Іванович Слюсар, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Доктор технічних наук, професор

Група головних наукових співробітників з наукового керівництва досліджень

Михайло Михайлович Проценко, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Кандидат технічних наук, старший науковий співробітник

Управління спеціальних військ

Антон Андрійович Чернуха, Національний університет цивільного захисту України

Кандидат технічних наук

Кафедра пожежної та рятувальної підготовки

Павло Анатолійович Ковальов, Національний університет цивільного захисту України

Кандидат технічних наук, доцент

Кафедра пожежної та рятувальної підготовки

Павло Юрійович Бородич, Національний університет цивільного захисту України

Кандидат технічних наук, доцент

Кафедра пожежної та рятувальної підготовки

Сергій Миколайович Шевченко, Національний університет цивільного захисту України

Кандидат технічних наук

Кафедра пожежної тактики та аварійно-рятувальних робіт

Олександр Вікторович Черніков, Харківський національний автомобільно-дорожній університет

Доктор технічних наук, професор

Кафедра інженерної та комп’ютерної графіки

Сергій Едуардович Важинський, Харківський Національний університет Повітряних Сил ім. І. Кожедуба

Кандидат технічних наук, доцент

Науковий центр Повітряних Сил

Олег Ігоревич Богатов, Харківський національний автомобільно-дорожній університет

Кандидат технічних наук, доцент

Кафедра метрології та безпеки життєдіяльності

Кирило Львович Хрустальов, Харківський національний університет радіоелектроніки

Кандидат технічних наук, доцент

Кафедра комп'ютерно-інтегрованих технологій, автоматизації та мехатроніки

Посилання

  1. Yang, X., Lin, D., Zhang, F., Song, T., Jiang, T. (2019). High Accuracy Active Stand-off Target Geolocation Using UAV Platform. 2019 IEEE International Conference on Signal, Information and Data Processing (ICSIDP). doi: http://doi.org/10.1109/icsidp47821.2019.9172919
  2. Pospelov, B., Andronov, V., Rybka, E., Krainiukov, O., Maksymenko, N., Meleshchenko, R. et. al. (2020). Mathematical model of determining a risk to the human health along with the detection of hazardous states of urban atmosphere pollution based on measuring the current concentrations of pollutants. Eastern-European Journal of Enterprise Technologies, 4 (10 (106)), 37–44. doi: http://doi.org/10.15587/1729-4061.2020.210059
  3. Chernukha, A., Teslenko, A., Kovalov, P., Bezuglov, O. (2020). Mathematical Modeling of Fire-Proof Efficiency of Coatings Based on Silicate Composition. Materials Science Forum, 1006, 70–75. doi: http://doi.org/10.4028/www.scientific.net/msf.1006.70
  4. Vambol, S., Vambol, V., Kondratenko, O., Suchikova, Y., Hurenko, O. (2017). Assessment of improvement of ecological safety of power plants by arranging the system of pollutant neutralization. Eastern-European Journal of Enterprise Technologies, 3 (10 (87)), 63–73. doi: http://doi.org/10.15587/1729-4061.2017.102314
  5. Vambol, S., Vambol, V., Kondratenko, O., Koloskov, V., Suchikova, Y. (2018). Substantiation of expedience of application of high-temperature utilization of used tires for liquefied methane production. Journal of Achievements in Materials and Manufacturing Engineering, 2 (87), 77–84. doi: http://doi.org/10.5604/01.3001.0012.2830
  6. Teslenko, A., Chernukha, A., Bezuglov, O., Bogatov, O., Kunitsa, E., Kalyna, V. et. al. (2019). Construction of an algorithm for building regions of questionable decisions for devices containing gases in a linear multidimensional space of hazardous factors. Eastern-European Journal of Enterprise Technologies, 5 (10 (101)), 42–49. doi: http://doi.org/10.15587/1729-4061.2019.181668
  7. Semko, A., Rusanova, O., Kazak, O., Beskrovnaya, M., Vinogradov, S., Gricina, I. (2015). The use of pulsed high-speed liquid jet for putting out gas blow-out. The International Journal of Multiphysics, 9 (1), 9–20. doi: http://doi.org/10.1260/1750-9548.9.1.9
  8. Pospelov, B., Andronov, V., Rybka, E., Popov, V., Semkiv, O. (2018). Development of the method of frequency­temporal representation of fluctuations of gaseous medium parameters at fire. Eastern-European Journal of Enterprise Technologies, 2 (10 (92)), 44–49. doi: http://doi.org/10.15587/1729-4061.2018.125926
  9. Pospelov, B., Rybka, E., Meleshchenko, R., Borodych, P., Gornostal, S. (2019). Development of the method for rapid detection of hazardous atmospheric pollution of cities with the help of recurrence measures. Eastern-European Journal of Enterprise Technologies, 1 (10 (97)), 29–35. doi: http://doi.org/10.15587/1729-4061.2019.155027
  10. Slyusar, V., Protsenko, M., Chernukha, A., Gornostal, S., Rudakov, S., Shevchenko, S. et. al. (2021). Construction of an advanced method for recognizing monitored objects by a convolutional neural network using a discrete wavelet transform. Eastern-European Journal of Enterprise Technologies, 4 (9 (112)), 65–77. doi: http://doi.org/10.15587/1729-4061.2021.238601
  11. Sermanet, P., Kavukcuoglu, K., Chintala, S., Lecun, Y. (2013). Pedestrian Detection with Unsupervised Multi-stage Feature Learning. 2013 IEEE Conference on Computer Vision and Pattern Recognition, 3626–3633. doi: http://doi.org/10.1109/cvpr.2013.465
  12. Lu, X., Ma, C., Ni, B., Yang, X. (2021). Adaptive Region Proposal With Channel Regularization for Robust Object Tracking. IEEE Transactions on Circuits and Systems for Video Technology, 31 (4), 1268–1282. doi: http://doi.org/10.1109/tcsvt.2019.2944654
  13. Li, J., Weinmann, M., Sun, X., Diao, W., Feng, Y., Fu, K. (2021). Random Topology and Random Multiscale Mapping: An Automated Design of Multiscale and Lightweight Neural Network for Remote-Sensing Image Recognition. IEEE Transactions on Geoscience and Remote Sensing, 1–17. doi: http://doi.org/10.1109/tgrs.2021.3102988
  14. Zhang, Z., Zhang, L., Wang, Y., Feng, P., He, R. (2021). ShipRSImageNet: A Large-Scale Fine-Grained Dataset for Ship Detection in High-Resolution Optical Remote Sensing Images. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 8458–8472. doi: http://doi.org/10.1109/jstars.2021.3104230
  15. Fan, J., Lee, J., Lee, Y. (2021). Image Classification Using Fusion of Multiple Neural Networks. 2021 36th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC). doi: http://doi.org/10.1109/itc-cscc52171.2021.9501468
  16. Wu, C., Shao, S., Tunc, C., Hariri, S. (2020). Video Anomaly Detection using Pre-Trained Deep Convolutional Neural Nets and Context Mining. 2020 IEEE/ACS 17th International Conference on Computer Systems and Applications (AICCSA). doi: http://doi.org/10.1109/aiccsa50499.2020.9316538
  17. Lian, D., Hu, L., Luo, W., Xu, Y., Duan, L., Yu, J., Gao, S. (2019). Multiview Multitask Gaze Estimation With Deep Convolutional Neural Networks. IEEE Transactions on Neural Networks and Learning Systems, 30 (10), 3010–3023. doi: http://doi.org/10.1109/tnnls.2018.2865525
  18. Scott, G. J., Marcum, R. A., Davis, C. H., Nivin, T. W. (2017). Fusion of Deep Convolutional Neural Networks for Land Cover Classification of High-Resolution Imagery. IEEE Geoscience and Remote Sensing Letters, 14 (9), 1638–1642. doi: http://doi.org/10.1109/lgrs.2017.2722988
  19. Li, H., Li, J., Han, X. (2019). Robot Vision Model Based on Multi-Neural Network Fusion. 2019 IEEE 3rd Information Technology Networking Electronic and Automation Control Conference (ITNEC), 2571–2577. doi: http://doi.org/10.1109/itnec.2019.8729210
  20. Knysh, B., Kulyk, Y. (2021). Improving a model of object recognition in images based on a convolutional neural network. Eastern-European Journal of Enterprise Technologies, 3 (9 (111)), 40–50. doi: http://doi.org/10.15587/1729-4061.2021.233786
  21. Krizhevsky, A., Sutskever, I., Hinton, G. E. (2017). ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60 (6), 84–90. doi: http://doi.org/10.1145/3065386
  22. Sugoniaev, A. (2018). Iskusstvennye neironnye seti. Funktsiia poter. Saint-Petersburg. Available at: https://ppt-online.org/338631
  23. Slyusar, V. (2021). Neural Networks Models based on the tensor-matrix theory. Problems of the development of promising micro- and nanoelectronic systems (MNS-2021), 23–28. doi: http://doi.org/10.31114/2078-7707-2021-2-23-28
  24. Slyusar, V. I. (1999). A family of face products of matrices and its properties. Cybernetics and Systems Analysis, 35 (3), 379–384. doi: http://doi.org/10.1007/bf02733426
  25. Shchegolev, A. (2020). Development of an element base for superconducting artificial neural networks based on macroscopic quantum effects. Moscow. Available at: https://istina.msu.ru/download/321964642/1kGL1g:Naktuv1mMyFA6kEvKTBPEfux51U/
  26. Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., Salakhutdinov, R., (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 15 (56), 1929–1958. Available at: http://jmlr.org/papers/v15/srivastava14a.html

##submission.downloads##

Опубліковано

2021-10-31

Як цитувати

Слюсар, В. І., Проценко, М. М., Чернуха, А. А. ., Ковальов, П. А., Бородич, П. Ю., Шевченко, С. М., Черніков, О. В., Важинський, С. Е., Богатов, О. І., & Хрустальов, К. Л. (2021). Вдосконалення моделі розпізнавання об’єктів на аерофотознімках з використанням глибокої згорткової нейронної мережі. Eastern-European Journal of Enterprise Technologies, 5(2 (113), 6–21. https://doi.org/10.15587/1729-4061.2021.243094

Номер

Том 5 № 2 (113) (2021): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2021 Vadym Slyusar, Mykhailo Protsenko, Anton Chernukha, Pavlo Kovalov, Pavlo Borodych, Serhii Shevchenko, Oleksandr Chernikov, Serhii Vazhynskyi, Oleg Bogatov, Kirill Khrustalev

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.