Вдосконалення моделі нейронної мережі для семантичної сегментації зображень об’єктів моніторингу на аерофотознімках

Автор(и)

  • Вадим Іванович Слюсар Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0002-2912-3149
  • Михайло Михайлович Проценко Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0001-5057-6145
  • Антон Андрійович Чернуха Національний університет цивільного захисту України, Україна https://orcid.org/0000-0002-0365-3205
  • Василь Володимирович Мелькін Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0002-9345-3396
  • Олена Іванівна Петрова Миколаївський національний аграрний університет, Україна https://orcid.org/0000-0001-8612-3981
  • Михайло Миколайович Кравцов Харківський національний автомобільно-дорожній університет, Україна https://orcid.org/0000-0002-3218-2182
  • Світлана Володимирівна Вельма Національний фармацевтичний університет , Україна https://orcid.org/0000-0003-1264-9643
  • Наталія Вікторівна Косенко Харківський національний університет міського господарства імені О. М. Бекетова, Україна https://orcid.org/0000-0002-5942-3150
  • Ольга Володимирівна Сидоренко Національний технічний університет "Харківський політехнічний інститут", Україна https://orcid.org/0000-0003-2806-624X
  • Максим Олегович Соболь Національний технічний університет "Харківський політехнічний інститут", Україна https://orcid.org/0000-0002-7853-4390

DOI:

https://doi.org/10.15587/1729-4061.2021.248390

Ключові слова:

семантична сегментація зображень, згорткова нейронна мережа, аерофотознімок, безпілотний літальний апарат

Анотація

Розглянуто модель нейронної мережі для семантичної сегментації зображень об'єктів моніторингу на аерофотознімках. Безпілотні літальні апарати здійснюють моніторинг об'єктів шляхом аналізу (обробки) аерофотознімків та відеопотоку. Результати аерофотозйомки обробляються оператором у ручному режимі, але є об'єктивні труднощі, пов'язані з обробкою оператором великої кількості аерофотознімків, тому доцільно цей процес автоматизувати. Аналіз моделей показав, що для виконання завдання семантичної сегментації зображень об'єктів моніторингу на аерофотознімках в якості базової моделі найбільш підходить модель U-Net (Німеччина), яка є нейронною мережею. Дану модель вдосконалено шляхом використання вейвлет шару та застосуванням оптимальних значень параметрів навчання моделі: швидкість (крок) – 0,001, число епох – 60, алгоритм оптимізації – Adam. Навчання проводилось набором сегментованих зображень, які підготовлені з аерофотознімків (роздільною здатністю 6000×4000 пікселів) програмою Image Labeler середовища математичного моделювання MATLAB R2020b (США). В результаті отримано нову модель семантичної сегментації зображень об'єктів моніторингу на аерофотознімках із запропонованою назвою U-NetWavelet.

Проведено дослідження ефективності вдосконаленої моделі на прикладі обробки 80 аерофотознімків. В якості показників ефективності моделі обрані: точність; чутливість; помилка сегментації. Використання модифікованого вейвлету шару дозволило адаптувати розмір аерофотознімка до параметрів вхідного шару нейронної мережі, підвищити оперативність сегментації зображень на аерофотознімках, а застосування згорткової нейронної мережі дозволило автоматизувати даний процес

Біографії авторів

Вадим Іванович Слюсар, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Доктор технічних наук, професор

Група головних наукових співробітників з наукового керівництва досліджень

Михайло Михайлович Проценко, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Кандидат технічних наук, старший науковий співробітник

Управління спеціальних військ

Антон Андрійович Чернуха, Національний університет цивільного захисту України

Кандидат технічних наук

Кафедра пожежної та рятувальної підготовки

Василь Володимирович Мелькін, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

Кандидат історичних наук

Науково-організаційний відділ

Олена Іванівна Петрова, Миколаївський національний аграрний університет

Кандидат сільськогосподарських наук, доцент

Кафедра технології переробки, стандартизації і сертифікації продукції тваринництва

Михайло Миколайович Кравцов, Харківський національний автомобільно-дорожній університет

Кандидат технічних наук, доцент

Кафедра метрології та безпеки життєдіяльності

Світлана Володимирівна Вельма, Національний фармацевтичний університет

Кафедра освітніх та інформаційних технологій

Наталія Вікторівна Косенко, Харківський національний університет міського господарства імені О. М. Бекетова

Кандидат технічних наук

Кафедра управління проектами в міському господарстві і будівництві

Ольга Володимирівна Сидоренко, Національний технічний університет "Харківський політехнічний інститут"

Кандидат юридичних наук

Кафедра інформатики та інтелектуальної власності

Максим Олегович Соболь, Національний технічний університет "Харківський політехнічний інститут"

Кандидат технічних наук

Кафедра інформатики та інтелектуальної власності

Посилання

  1. Pospelov, B., Andronov, V., Rybka, E., Krainiukov, O., Maksymenko, N., Meleshchenko, R. et. al. (2020). Mathematical model of determining a risk to the human health along with the detection of hazardous states of urban atmosphere pollution based on measuring the current concentrations of pollutants. Eastern-European Journal of Enterprise Technologies, 4 (10 (106)), 37–44. doi: https://doi.org/10.15587/1729-4061.2020.210059
  2. Semko, A. N., Beskrovnaya, M. V., Vinogradov, S. A., Hritsina, I. N., Yagudina, N. I. (2014). The usage of high speed impulse liquid jets for putting out gas blowouts. Journal of Theoretical and Applied Mechanics, 52 (3), 655–664.
  3. Chernukha, A., Teslenko, A., Kovalov, P., Bezuglov, O. (2020). Mathematical Modeling of Fire-Proof Efficiency of Coatings Based on Silicate Composition. Materials Science Forum, 1006, 70–75. doi: https://doi.org/10.4028/www.scientific.net/msf.1006.70
  4. Vambol, S., Vambol, V., Kondratenko, O., Suchikova, Y., Hurenko, O. (2017). Assessment of improvement of ecological safety of power plants by arranging the system of pollutant neutralization. Eastern-European Journal of Enterprise Technologies, 3 (10 (87)), 63–73. doi: https://doi.org/10.15587/1729-4061.2017.102314
  5. Vambol, S., Vambol, V., Sobyna, V., Koloskov, V., Poberezhna, L. (2018). Investigation of the energy efficiency of waste utilization technology, with considering the use of low-temperature separation of the resulting gas mixtures. Energetika, 64 (4), 186–195. doi: https://doi.org/10.6001/energetika.v64i4.3893
  6. Pospelov, B., Rybka, E., Meleshchenko, R., Borodych, P., Gornostal, S. (2019). Development of the method for rapid detection of hazardous atmospheric pollution of cities with the help of recurrence measures. Eastern-European Journal of Enterprise Technologies, 1 (10 (97)), 29–35. doi: https://doi.org/10.15587/1729-4061.2019.155027
  7. Dadashov, I., Loboichenko, V., Kireev, A. (2018). Analysis of the ecological characteristics of environment friendly fire fighting chemicals used in extinguishing oil products. Pollution Research, 37 (1), 63–77. Available at: http://repositsc.nuczu.edu.ua/handle/123456789/6849
  8. Holla, A., Pai, M., Verma, U., Pai, R. M. (2020). Efficient Vehicle Counting by Eliminating Identical Vehicles in UAV aerial videos. 2020 IEEE International Conference on Distributed Computing, VLSI, Electrical Circuits and Robotics (DISCOVER), 246–251. doi: https://doi.org/10.1109/discover50404.2020.9278095
  9. Deng, H., Zhang, Y., Li, R., Hu, C., Feng, Z., Li, H. (2022). Combining residual attention mechanisms and generative adversarial networks for hippocampus segmentation. Tsinghua Science and Technology, 27 (1), 68–78. doi: https://doi.org/10.26599/tst.2020.9010056
  10. Jing, W., Jin, T., Xiang, D. (2021). Fast Superpixel-Based Clustering Algorithm for SAR Image Segmentation. IEEE Geoscience and Remote Sensing Letters, 1–1. doi: https://doi.org/10.1109/lgrs.2021.3124071
  11. Xin, L., Chao, L., He, L. (2021). Malicious code detection method based on image segmentation and deep residual network RESNET. 2021 International Conference on Computer Engineering and Application (ICCEA), 473–480. doi: https://doi.org/10.1109/ICCEA53728.2021.00099
  12. Xie, B., Yang, Z., Yang, L., Luo, R., Wei, A., Weng, X., Li, B. (2021). Multi-Scale Fusion With Matching Attention Model: A Novel Decoding Network Cooperated With NAS for Real-Time Semantic Segmentation. IEEE Transactions on Intelligent Transportation Systems, 1–11. doi: https://doi.org/10.1109/tits.2021.3115705
  13. Yang, S., Hou, J., Jia, Y., Mei, S., Du, Q. (2021). Superpixel-Guided Discriminative Low-Rank Representation of Hyperspectral Images for Classification. IEEE Transactions on Image Processing, 30, 8823–8835. doi: https://doi.org/10.1109/tip.2021.3120675
  14. Peng, C., Zhang, K., Ma, Y., Ma, J. (2021). Cross Fusion Net: A Fast Semantic Segmentation Network for Small-Scale Semantic Information Capturing in Aerial Scenes. IEEE Transactions on Geoscience and Remote Sensing, 60, 1–13. doi: https://doi.org/10.1109/tgrs.2021.3053062
  15. Ronneberger, O., Fischer, P., Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, 234–241. doi: https://doi.org/10.1007/978-3-319-24574-4_28
  16. Jwaid, W. M., Al-Husseini, Z. S. M., Sabry, A. H. (2021). Development of brain tumor segmentation of magnetic resonance imaging (MRI) using U-Net deep learning. Eastern-European Journal of Enterprise Technologies, 4 (9 (112)), 23–31. doi: https://doi.org/10.15587/1729-4061.2021.238957
  17. Slyusar, V., Protsenko, M., Chernukha, A., Gornostal, S., Rudakov, S., Shevchenko, S. et. al. (2021). Construction of an advanced method for recognizing monitored objects by a convolutional neural network using a discrete wavelet transform. Eastern-European Journal of Enterprise Technologies, 4 (9 (112)), 65–77. doi: https://doi.org/10.15587/1729-4061.2021.238601
  18. Slyusar, V., Protsenko, M., Chernukha, A., Kovalov, P., Borodych, P., Shevchenko, S. et. al. (2021). Improvement of the model of object recognition in aero photographs using deep convolutional neural networks. Eastern-European Journal of Enterprise Technologies, 5 (2 (113)), 6–21. doi: https://doi.org/10.15587/1729-4061.2021.243094
  19. Long, J., Shelhamer, E., Darrell, T. (2015). Fully convolutional networks for semantic segmentation. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2015.7298965
  20. Badrinarayanan, V., Kendall, A., Cipolla, R. (2017). SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (12), 2481–2495. doi: https://doi.org/10.1109/tpami.2016.2644615
  21. Zhao, H., Shi, J., Qi, X., Wang, X., Jia, J. (2017). Pyramid Scene Parsing Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2017.660

##submission.downloads##

Опубліковано

2021-12-29

Як цитувати

Слюсар, В. І., Проценко, М. М., Чернуха, А. А., Мелькін, В. В., Петрова, О. І., Кравцов, М. М., Вельма, С. В., Косенко, Н. В., Сидоренко, О. В., & Соболь, М. О. (2021). Вдосконалення моделі нейронної мережі для семантичної сегментації зображень об’єктів моніторингу на аерофотознімках. Eastern-European Journal of Enterprise Technologies, 6(2 (114), 86–95. https://doi.org/10.15587/1729-4061.2021.248390

Номер

Том 6 № 2 (114) (2021): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2021 Vadym Slyusar, Mykhailo Protsenko, Anton Chernukha, Vasyl Melkin, Olena Petrova, Mikhail Kravtsov, Svitlana Velma, Nataliia Kosenko, Olga Sydorenko, Maksym Sobol

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.