Розробка нейромережі GoogleNet для виявлення та розпізнавання безпілотних апаратів в системі Data Fusion

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2023.276175

Ключові слова:

GoogleNet, YOLO, нейронна мережа, Data Fusion, розпізнавання БПЛА, оптичний канал, FMCW-радар

Анотація

У цій роботі повідомляється про дослідження можливості використання нейронної мережі GoogleNet в оптико-електронному каналі системи Data Fusion. Проведено пошук найбільш точних алгоритмів виявлення та розпізнавання безпілотних літальних апаратів (БПЛА) в системах Data Fusion. Було обрано схему обробки даних (об’єднання векторів стану SVF та об’єднання вимірювань MF), а також датчики та моделі розпізнавання на кожному каналі системи. Була обрана модель Data Fusion на основі фільтра Калмана, яка об’єднує радіолокаційні та оптико-електронні канали. В якості радіолокаційного каналу використовувалися мінірадари LPI-FMCW. Оцінка ефективності обраної моделі каналу Data Fusion у виявленні БПЛА базується на точності розпізнавання. Основне дослідження спрямоване на визначення можливості використання нейронної мережі GoogleNet в оптико-електронному каналі розпізнавання БПЛА в умовах різних класів дальності. Нейронна мережа для розпізнавання дронів була розроблена з використанням технології трансферного навчання. Для навчання, перевірки та тестування нейронної мережі GoogleNet створено базу даних і розроблено спеціальний додаток у середовищі MATLAB. Можливості розробленої нейронної мережі досліджували для 5 варіантів відстані до об’єкта. Об’єктами виявлення були БПЛА Inspire 2, DJI Phantom 4 Pro, DJI F450, DU 1911, не включені до навчальної бази. Точність розпізнавання БПЛА нейронною мережею склала 98,13 % на відстані до 5 м, 94,65 % на відстані до 20 м, 92,47 % на відстані до 20 м, 90,28 % на відстані до 100 м, а на дистанції до 200 м – 88,76 %. Середня швидкість розпізнавання БПЛА цим методом склала 0,81 с.

Спонсор дослідження

  • Authors thank Dr. Claudio Palestini, officer at NATO who oversees the project. We would like to thank Professor Alessandro Figus for his technical advice in the framework of the NATO SPS G5633 project. We thank Prof. Walter for his technical contribution and tutoring to the authors (Prof. Matta is not a member of the project and had no access to the instrumental data).

Біографії авторів

Vladislav Semenyuk, Manash Kozybayev North Kazakhstan University

Doctoral Student

Department of Energetic and Radioelectronics

Ildar Kurmashev, Manash Kozybayev North Kazakhstan University

Candidate of Technical Sciences

Department of Information and Communication Technologies

Alberto Lupidi, National Laboratory of Radar and Surveillance Systems

PhD, CNIT Researcher

Alessandro Cantelli-Forti, National Laboratory of Radar and Surveillance Systems

PhD, CNIT Researcher

Посилання

  1. Shi, X., Yang, C., Xie, W., Liang, C., Shi, Z., Chen, J. (2018). Anti-Drone System with Multiple Surveillance Technologies: Architecture, Implementation, and Challenges. IEEE Communications Magazine, 56 (4), 68–74. doi: https://doi.org/10.1109/mcom.2018.1700430
  2. Liu, H., Wei, Z., Chen, Y., Pan, J., Lin, L., Ren, Y. (2017). Drone Detection Based on an Audio-Assisted Camera Array. 2017 IEEE Third International Conference on Multimedia Big Data (BigMM). doi: https://doi.org/10.1109/bigmm.2017.57
  3. Abu-Jamous, M., Maghari, A. Y. (2019). UAV Detection Model Using Histogram of Oriented Gradients and SVM. Gaza. doi: https://doi.org/10.13140/RG.2.2.26164.99207
  4. Valappil, N. K., Memon, Q. A. (2021). Vehicle Detection in UAV Videos Using CNN-SVM. Proceedings of the 12th International Conference on Soft Computing and Pattern Recognition (SoCPaR 2020), 221–232. doi: https://doi.org/10.1007/978-3-030-73689-7_22
  5. Dumitrescu, C., Minea, M., Ciotirnae, P. (2019). UAV Detection Employing Sensor Data Fusion and Artificial Intelligence. Information Systems Architecture and Technology: Proceedings of 40th Anniversary International Conference on Information Systems Architecture and Technology – ISAT 2019, 129–139. doi: https://doi.org/10.1007/978-3-030-30440-9_13
  6. Diamantidou, E., Lalas, A., Votis, K., Tzovaras, D. (2019). Multimodal Deep Learning Framework for Enhanced Accuracy of UAV Detection. Computer Vision Systems, 768–777. doi: https://doi.org/10.1007/978-3-030-34995-0_70
  7. Seidaliyeva, U., Akhmetov, D., Ilipbayeva, L., Matson, E. T. (2020). Real-Time and Accurate Drone Detection in a Video with a Static Background. Sensors, 20 (14), 3856. doi: https://doi.org/10.3390/s20143856
  8. Dadboud, F., Patel, V., Mehta, V., Bolic, M., Mantegh, I. (2021). Single-Stage UAV Detection and Classification with YOLOV5: Mosaic Data Augmentation and PANet. 2021 17th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). doi: https://doi.org/10.1109/avss52988.2021.9663841
  9. Mahdavi, F., Rajabi, R. (2020). Drone Detection Using Convolutional Neural Networks. 2020 6th Iranian Conference on Signal Processing and Intelligent Systems (ICSPIS). doi: https://doi.org/10.1109/icspis51611.2020.9349620
  10. Singha, S., Aydin, B. (2021). Automated Drone Detection Using YOLOv4. Drones, 5 (3), 95. doi: https://doi.org/10.3390/drones5030095
  11. Saqib, M., Daud Khan, S., Sharma, N., Blumenstein, M. (2017). A study on detecting drones using deep convolutional neural networks. 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). doi: https://doi.org/10.1109/avss.2017.8078541
  12. Al-Emadi, S., Al-Ali, A., Mohammad, A., Al-Ali, A. (2019). Audio Based Drone Detection and Identification using Deep Learning. 2019 15th International Wireless Communications & Mobile Computing Conference (IWCMC). doi: https://doi.org/10.1109/iwcmc.2019.8766732
  13. Behera, D. K., Bazil Raj, A. (2020). Drone Detection and Classification using Deep Learning. 2020 4th International Conference on Intelligent Computing and Control Systems (ICICCS). doi: https://doi.org/10.1109/iciccs48265.2020.9121150
  14. Lee, D., Gyu La, W., Kim, H. (2018). Drone Detection and Identification System using Artificial Intelligence. 2018 International Conference on Information and Communication Technology Convergence (ICTC). doi: https://doi.org/10.1109/ictc.2018.8539442
  15. Hu, Y., Wu, X., Zheng, G., Liu, X. (2019). Object Detection of UAV for Anti-UAV Based on Improved YOLO v3. 2019 Chinese Control Conference (CCC). doi: https://doi.org/10.23919/chicc.2019.8865525
  16. Andraši, P., Radišić, T., Muštra, M., Ivošević, J. (2017). Night-time Detection of UAVs using Thermal Infrared Camera. Transportation Research Procedia, 28, 183–190. doi: https://doi.org/10.1016/j.trpro.2017.12.184
  17. Hammer, M., Hebel, M., Arens, M., Laurenzis, M. (2018). Lidar-based detection and tracking of small UAVs. Emerging Imaging and Sensing Technologies for Security and Defence III; and Unmanned Sensors, Systems, and Countermeasures. doi: https://doi.org/10.1117/12.2325702
  18. Spinello, L., Luber, M., Arras, K. O. (2011). Tracking people in 3D using a bottom-up top-down detector. 2011 IEEE International Conference on Robotics and Automation. doi: https://doi.org/10.1109/icra.2011.5980085
  19. Li, B., Zhang, T., Xia, T. (2016). Vehicle detection from 3D LiDAR using fully convolutional network. Robotics: Science and Systems. doi: https://doi.org/10.48550/arXiv.1608.07916
  20. Armbruster, W., Hammer, M. (2012). Segmentation, classification, and pose estimation of maritime targets in flash-ladar imagery. Electro-Optical Remote Sensing, Photonic Technologies, and Applications VI. doi: https://doi.org/10.1117/12.974838
  21. Teo, M. I., Seow, C. K., Wen, K. (2021). 5G Radar and Wi-Fi Based Machine Learning on Drone Detection and Localization. 2021 IEEE 6th International Conference on Computer and Communication Systems (ICCCS). doi: https://doi.org/10.1109/icccs52626.2021.9449224
  22. Yang, F., Xu, F., Fioranelli, F., Le Kernec, J., Chang, S., Long, T. (2021). Practical Investigation of a MIMO radar system capabilities for small drones detection. IET Radar, Sonar & Navigation, 15 (7), 760–774. doi: https://doi.org/10.1049/rsn2.12082
  23. Nuss, B., Sit, L., Fennel, M., Mayer, J., Mahler, T., Zwick, T. (2017). MIMO OFDM radar system for drone detection. 2017 18th International Radar Symposium (IRS). doi: https://doi.org/10.23919/irs.2017.8008141
  24. Beasley, P., Ritchie, M., Griffiths, H., Miceli, W., Inggs, M., Lewis, S., Kahn, B. (2020). Multistatic Radar Measurements of UAVs at X-band and L-band. 2020 IEEE Radar Conference (RadarConf20). doi: https://doi.org/10.1109/radarconf2043947.2020.9266444
  25. Quevedo, Á. D., Urzaiz, F. I., Menoyo, J. G., López, A. A. (2019). Drone detection and radar‐cross‐section measurements by RAD‐DAR. IET Radar, Sonar & Navigation, 13 (9), 1437–1447. doi: https://doi.org/10.1049/iet-rsn.2018.5646
  26. Bernard-Cooper, J., Rahman, S., Robertson, D. A. (2022). Multiple drone type classification using machine learning techniques based on FMCW radar micro-Doppler data. Radar Sensor Technology XXVI. doi: https://doi.org/10.1117/12.2618026
  27. Dhulashia, D., Peters, N., Horne, C., Beasley, P., Ritchie, M. (2021). Multi-Frequency Radar Micro-Doppler Based Classification of Micro-Drone Payload Weight. Frontiers in Signal Processing, 1. doi: https://doi.org/10.3389/frsip.2021.781777
  28. Jajaga, E., Rushiti, V., Ramadani, B., Pavleski, D., Cantelli-Forti, A., Stojkovska, B., Petrovska, O. (2022). An Image-Based Classification Module for Data Fusion Anti-drone System. Image Analysis and Processing. ICIAP 2022 Workshops, 422–433. doi: https://doi.org/10.1007/978-3-031-13324-4_36
  29. Coluccia, A., Fascista, A., Schumann, A., Sommer, L., Dimou, A., Zarpalas, D. et al. (2022). Drone-vs-Bird Detection Challenge at ICIAP 2021. Image Analysis and Processing. ICIAP 2022 Workshops, 410–421. doi: https://doi.org/10.1007/978-3-031-13324-4_35
  30. Lupidi, A., Cantelli-Forti, A., Jajaga, E., Matta, W. (2022). An Artificial Intelligence Application for a Network of LPI-FMCW Mini-radar to Recognize Killer-drones. Proceedings of the 18th International Conference on Web Information Systems and Technologies. doi: https://doi.org/10.5220/0011590300003318
  31. Ozcan, T., Basturk, A. (2019). Lip Reading Using Convolutional Neural Networks with and without Pre-Trained Models. Balkan Journal of Electrical and Computer Engineering, 7 (2), 195–201. doi: https://doi.org/10.17694/bajece.479891
  32. Urbann, O., Stenzel, J. (2019). A Convolutional Neural Network that Self-Contained Counts. Journal of Image and Graphics, 7 (4), 112–116. doi: https://doi.org/10.18178/joig.7.4.112-116
  33. Aubakirova, G., Ivel, V., Gerassimova, Y., Moldakhmetov, S., Petrov, P. (2022). Application of artificial neural network for wheat yield forecasting. Eastern-European Journal of Enterprise Technologies, 3 (4 (117)), 31–39. doi: https://doi.org/10.15587/1729-4061.2022.259653
  34. Kaliaskarov, N., Ivel, V., Gerasimova, Y., Yugay, V., Moldakhmetov, S. (2020). Development of a distributed wireless Wi-Fi system for monitoring the technical condition of remote objects. Eastern-European Journal of Enterprise Technologies, 5 (9 (107)), 36–48. doi: https://doi.org/10.15587/1729-4061.2020.212301
Розробка нейромережі GoogleNet для виявлення та розпізнавання безпілотних апаратів в системі Data Fusion

##submission.downloads##

Опубліковано

2023-04-29

Як цитувати

Semenyuk, V., Kurmashev, I., Lupidi, A., & Cantelli-Forti, A. (2023). Розробка нейромережі GoogleNet для виявлення та розпізнавання безпілотних апаратів в системі Data Fusion. Eastern-European Journal of Enterprise Technologies, 2(9 (122), 16–25. https://doi.org/10.15587/1729-4061.2023.276175

Номер

Том 2 № 9 (122) (2023): Інформаційно-керуючі системи

Розділ

Інформаційно-керуючі системи

Ліцензія

Авторське право (c) 2023 Vladislav Semenyuk, Ildar Kurmashev, Alberto Lupidi, Alessandro Cantelli-Forti

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.