Видалення хмарності на оптичних космічних знімках за допомогою моделі генеративних змагальних мереж з використанням SAR-знімків

Автор(и)

  • Микола Петрович Романчук Житомирський військовий інститут імені С.П. Корольова, Україна https://orcid.org/0000-0002-0087-8994
  • Андрій Анатолійович Завада Житомирський військовий інститут імені С.П. Корольова, Україна https://orcid.org/0000-0002-4378-8120
  • Олена Михайлівна Наумчак Житомирський військовий інститут імені С.П. Корольова, Україна https://orcid.org/0000-0003-3336-1032
  • Леонід Михайлович Наумчак Житомирський військовий інститут імені С.П. Корольова, Україна https://orcid.org/0000-0002-7311-6659
  • Ірина Геннадіївна Кошева Житомирський військовий інститут імені С.П. Корольова, Україна https://orcid.org/0009-0004-5429-5489

DOI:

https://doi.org/10.15587/1729-4061.2024.313690

Ключові слова:

дистанційне зондування, реконструкція зображень, видалення хмар, генеративна змагальна мережа

Анотація

Об’єктом даного дослідження є процес видалення хмарності на оптичних космічних знімках. Розв'язання завдання видалення хмарності є важливим етапом обробки даних дистанційного зондування Землі (ДЗЗ), спрямованим на реконструкцію інформації, прихованої цими атмосферними збуреннями. Проаналізовані недоліки злиття суто оптичних даних призвели до висновку, що найкращим вирішенням проблеми видалення хмарності є поєднання оптичних та радіолокаційних даних. Порівняно з традиційними методами обробки зображень більш ефективно і кращі показники виконання завдання забезпечать нейронні мережі за рахунок можливості адаптуватися до різних умов та типів зображень. В результаті була розроблена модель генеративно-змагальної мережі (GAN) з архітектурою циклічно-послідовного 7-ResNeXt блочного для видалення хмар на оптичних космічних знімках з використанням зображення радара з синтезованою апертурою (SAR). Розроблена модель створює менше артефактів при перетворенні знімку в порівнянні з іншими моделі, що обробляють мультичасові знімки.

Отримані результати експерименту на наборі даних SEN12MS-CR демонструють здатність розробленої моделі видаляти густі хмари з одночасових космічних знімків Sentinel-2. Це підтверджується реконструкцією пікселів всіх багатоспектральних каналів з середнім значенням RMSE 2.4%. Для підвищення інформативності нейронної мережі під час навчання моделі використовується SAR-знімок з сигналом C-діапазону, який має більшу довжину хвиль і тим самим надає дані середньої розрізненності про геометричну структуру земної поверхні. Використання даної моделі дасть можливість підвищити ситуаційну обізнаність всіх рівнів управління  Збройних Сил (ЗС) України за рахунок використання актуальних космічних спостережень Землі від різних систем ДЗЗ

Біографії авторів

Микола Петрович Романчук, Житомирський військовий інститут імені С.П. Корольова

Кандидат технічних наук, старший дослідник, заступник начальника наукового центру

Науковий центр

Андрій Анатолійович Завада, Житомирський військовий інститут імені С.П. Корольова

Кандидат технічних наук, старший науковий співробітник, заступник начальника науково-дослідного відділу

Науковий центр

Олена Михайлівна Наумчак, Житомирський військовий інститут імені С.П. Корольова

Ад’юнкт

Науковий центр

Леонід Михайлович Наумчак, Житомирський військовий інститут імені С.П. Корольова

Науковий співробітник

Науковий центр

Ірина Геннадіївна Кошева, Житомирський військовий інститут імені С.П. Корольова

Викладач

Кафедра комп'ютерно-інтегрованих технологій та кібербезпеки

Посилання

  1. Rees, W. G. (2012). Physical Principles of Remote Sensing. Cambridge University Press https://doi.org/10.1017/cbo9781139017411
  2. Shen, H., Li, X., Cheng, Q., Zeng, C., Yang, G., Li, H., Zhang, L. (2015). Missing Information Reconstruction of Remote Sensing Data: A Technical Review. IEEE Geoscience and Remote Sensing Magazine, 3 (3), 61–85. https://doi.org/10.1109/mgrs.2015.2441912
  3. Xu, M., Jia, X., Pickering, M., Jia, S. (2019). Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform. ISPRS Journal of Photogrammetry and Remote Sensing, 149, 215–225. https://doi.org/10.1016/j.isprsjprs.2019.01.025
  4. Ji, T.-Y., Yokoya, N., Zhu, X. X., Huang, T.-Z. (2018). Nonlocal Tensor Completion for Multitemporal Remotely Sensed Images’ Inpainting. IEEE Transactions on Geoscience and Remote Sensing, 56 (6), 3047–3061. https://doi.org/10.1109/tgrs.2018.2790262
  5. Li, X., Wang, L., Cheng, Q., Wu, P., Gan, W., Fang, L. (2019). Cloud removal in remote sensing images using nonnegative matrix factorization and error correction. ISPRS Journal of Photogrammetry and Remote Sensing, 148, 103–113. https://doi.org/10.1016/j.isprsjprs.2018.12.013
  6. Meng, F., Yang, X., Zhou, C., Li, Z. (2017). A Sparse Dictionary Learning-Based Adaptive Patch Inpainting Method for Thick Clouds Removal from High-Spatial Resolution Remote Sensing Imagery. Sensors, 17 (9), 2130. https://doi.org/10.3390/s17092130
  7. Cheng, Q., Shen, H., Zhang, L., Yuan, Q., Zeng, C. (2014). Cloud removal for remotely sensed images by similar pixel replacement guided with a spatio-temporal MRF model. ISPRS Journal of Photogrammetry and Remote Sensing, 92, 54–68. https://doi.org/10.1016/j.isprsjprs.2014.02.015
  8. Eckardt, R., Berger, C., Thiel, C., Schmullius, C. (2013). Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using Multi-Frequency SAR Data. Remote Sensing, 5 (6), 2973–3006. https://doi.org/10.3390/rs5062973
  9. Zhang, Q., Yuan, Q., Zeng, C., Li, X., Wei, Y. (2018). Missing Data Reconstruction in Remote Sensing Image With a Unified Spatial–Temporal–Spectral Deep Convolutional Neural Network. IEEE Transactions on Geoscience and Remote Sensing, 56 (8), 4274–4288. https://doi.org/10.1109/tgrs.2018.2810208
  10. Isola, P., Zhu, J.-Y., Zhou, T., Efros, A. A. (2017). Image-to-Image Translation with Conditional Adversarial Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/cvpr.2017.632
  11. Zhang, X., Zhang, T., Wang, G., Zhu, P., Tang, X., Jia, X., Jiao, L. (2023). Remote Sensing Object Detection Meets Deep Learning: A metareview of challenges and advances. IEEE Geoscience and Remote Sensing Magazine, 11 (4), 8–44. https://doi.org/10.1109/mgrs.2023.3312347
  12. He, K., Zhang, X., Ren, S., Sun, J. (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/cvpr.2016.90
  13. Meng, Q., Borders, B. E., Cieszewski, C. J., Madden, M. (2009). Closest Spectral Fit for Removing Clouds and Cloud Shadows. Photogrammetric Engineering & Remote Sensing, 75 (5), 569–576. https://doi.org/10.14358/pers.75.5.569
  14. Schmitt, M., Zhu, X. X. (2016). Data Fusion and Remote Sensing: An ever-growing relationship. IEEE Geoscience and Remote Sensing Magazine, 4 (4), 6–23. https://doi.org/10.1109/mgrs.2016.2561021
  15. Wang, L., Xu, X., Yu, Y., Yang, R., Gui, R., Xu, Z., Pu, F. (2019). SAR-to-Optical Image Translation Using Supervised Cycle-Consistent Adversarial Networks. IEEE Access, 7, 129136–129149. https://doi.org/10.1109/access.2019.2939649
  16. Zhu, J.-Y., Park, T., Isola, P., Efros, A. A. (2017). Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/iccv.2017.244
  17. Mao, X., Li, Q., Xie, H., Lau, R. Y. K., Wang, Z., Smolley, S. P. (2017). Least Squares Generative Adversarial Networks. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/iccv.2017.304
  18. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep learning. MIT Press. Available at: https://www.deeplearningbook.org/
  19. Ebel, P., Meraner, A., Schmitt, M., Zhu, X. X. (2021). Multisensor Data Fusion for Cloud Removal in Global and All-Season Sentinel-2 Imagery. IEEE Transactions on Geoscience and Remote Sensing, 59 (7), 5866–5878. https://doi.org/10.1109/tgrs.2020.3024744
Видалення хмарності на оптичних космічних знімках за допомогою моделі генеративних змагальних мереж з використанням SAR-знімків

##submission.downloads##

Опубліковано

2024-10-30

Як цитувати

Романчук, М. П., Завада, А. А., Наумчак, О. М., Наумчак, Л. М., & Кошева, І. Г. (2024). Видалення хмарності на оптичних космічних знімках за допомогою моделі генеративних змагальних мереж з використанням SAR-знімків. Eastern-European Journal of Enterprise Technologies, 5(2 (131), 6–12. https://doi.org/10.15587/1729-4061.2024.313690

Номер

Том 5 № 2 (131) (2024): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2024 Mykola Romanchuk, Andrii Zavada, Olena Naumchak, Leonid Naumchak, Iryna Kosheva

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.