Exploring the power of heterogeneous UAV swarms through reinforcement learning

Йосип Омелянович Альбрехт; Андрій Володимирович Писаренко

doi:10.15587/2706-5448.2023.293063

Автор(и)

Йосип Омелянович Альбрехт Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0000-0003-0093-6397
Андрій Володимирович Писаренко Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0000-0001-7947-218X

DOI:

https://doi.org/10.15587/2706-5448.2023.293063

Ключові слова:

навчання з підкріпленням, рої роботів, гетерогенні рої, рої БПЛА, гетерогенні рої БПЛА

Анотація

Об’єктом дослідження є гетерогенні та гомогенні рої безпілотних літальних апаратів (БПЛА). В дослідженні основна увага приділяється порівнянню гетерогенних і гомогенних роїв БПЛА, вивченню їх продуктивності в симуляційному середовищі, розробленому за допомогою бібліотеки Python Gym. Дослідження передбачає застосування алгоритмів навчання з підкріпленням, зокрема, проксимальної оптимізаційної політики, для навчання та оцінки роїв.

Основне питання, яке вирішується в цьому дослідженні, полягає в тому, щоб визначити, який тип рою БПЛА – гетерогенний або гомогенний – демонструє кращу продуктивність при виконанні певної задачі. Обрана задача передбачає пошук груп об'єктів у невідомій місцевості, що підкреслює здатність рою адаптуватися та ефективно знаходити об'єкти в динамічному середовищі.

Отримані результати свідчать про перевагу гетерогенних роїв БПЛА над їхніми однорідними аналогами. Гетерогенний рій має крутішу криву навчання та досягає вищих результатів за меншу кількість епізодів на етапі навчання. Основний висновок полягає в тому, що різноманітний набір навичок у гетерогенному рої дозволяє швидше адаптуватися до мінливих умов навколишнього середовища. Вища ефективність гетерогенного рою пояснюється різноманітністю можливостей агентів БПЛА, що дозволяє їм використовувати свої індивідуальні сильні сторони для досягнення кращої загальної ефективності при виконанні поставленого завдання.

Практичне застосування цих результатів залежить від вимог завдання та умов навколишнього середовища. У сценаріях, де завдання вимагають різноманітних навичок і адаптивності до мінливих умов, рекомендується використовувати гетерогенні рої БПЛА. Результати свідчать про їхню ефективність у таких сферах, як пошуково-рятувальні операції, моніторинг довкілля та інші динамічні завдання.

Отже, це дослідження дає корисну інформацію щодо оптимізації складу рою БПЛА для виконання конкретних завдань. Результати мають як теоретичне, так і практичне значення, оскільки підкреслюють переваги гетерогенності в можливостях рою.

Біографії авторів

Йосип Омелянович Альбрехт, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Аспірант

Кафедра інформаційних систем та технологій

Андрій Володимирович Писаренко, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Кандидат технічних наук, доцент

Кафедра інформаційних систем та технологій

Посилання

Telli, K., Kraa, O., Himeur, Y., Ouamane, A., Boumehraz, M., Atalla, S., Mansoor, W. (2023). A Comprehensive Review of Recent Research Trends on Unmanned Aerial Vehicles (UAVs). Systems, 11 (8), 400. doi: https://doi.org/10.3390/systems11080400
Abdelkader, M., Güler, S., Jaleel, H., Shamma, J. S. (2021). Aerial Swarms: Recent Applications and Challenges. Current Robotics Reports, 2 (3), 309–320. doi: https://doi.org/10.1007/s43154-021-00063-4
Bushnaq, O. M., Mishra, D., Natalizio, E., Akyildiz, I. F. (2022). Unmanned aerial vehicles (UAVs) for disaster management. Nanotechnology-Based Smart Remote Sensing Networks for Disaster Prevention. Elsevier Inc., 159–188. doi: https://doi.org/10.1016/b978-0-323-91166-5.00013-6
Qu, C., Boubin, J., Gafurov, D., Zhou, J., Aloysius, N., Nguyen, H., Calyam, P. (2022). UAV Swarms in Smart Agriculture: Experiences and Opportunities. 2022 IEEE 18th International Conference on E-Science (e-Science). doi: https://doi.org/10.1109/escience55777.2022.00029
Ming, R., Jiang, R., Luo, H., Lai, T., Guo, E., Zhou, Z. (2023). Comparative Analysis of Different UAV Swarm Control Methods on Unmanned Farms. Agronomy, 13 (10), 2499. doi: https://doi.org/10.3390/agronomy13102499
Wu, M., Zhu, X., Ma, L., Wang, J., Bao, W., Li, W., Fan, Z. (2022). Torch: Strategy evolution in swarm robots using heterogeneous-homogeneous coevolution method. Journal of Industrial Information Integration, 25, 100239. doi: https://doi.org/10.1016/j.jii.2021.100239
Ferrante, E. (2009). A Control Architecture for a Heterogeneous Swarm of Robots The Design of a Modular Behavior-based Architecture. IRIDIA – Technical Report Series. Available at: https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=06c577a024d37f6a1cab79c74368ec54b8837880
Dorigo, M., Floreano, D., Gambardella, L. M., Mondada, F., Nolfi, S., Baaboura, T. et al. (2013). Swarmanoid: A Novel Concept for the Study of Heterogeneous Robotic Swarms. IEEE Robotics & Automation Magazine. Available at: https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=09db526ea45bf5829f049f69100eb86322fe44fb
Price, I. C. (2006). Evolving Self-Organized Behavior for Homogeneous and Heterogeneous UAV or UCAV Swarms. USAF. Air Force Institute of Technology. Available at: https://scholar.afit.edu/cgi/viewcontent.cgi?article=4466&context=etd
Albrekht, Y., Pysarenko, A. (2023). Unknown location targets searching system in known environment using reinforcement learning. Adaptive systems of automatic control, 1 (42), 9–14. doi: https://doi.org/10.20535/1560-8956.42.2023.278920