ПІДХІД ДО ПОБУДОВИ ГЛОБАЛЬНОГО ШЛЯХУ МОБІЛЬНОГО АГЕНТА НА ОСНОВІ Q-LEARNING
DOI:
https://doi.org/10.30837/ITSSI.2020.13.043Ключові слова:
планування шляху, Q- learning, мобільні роботи, адаптивні автономні алгоритми пошукуАнотація
На сьогодні актуальною є проблема навігації автономних мобільних систем в просторі, де можливі обурення. Завдання пошуку маршруту для мобільного робота - складне і нетривіальне завдання. На даний момент існує безліч алгоритмів, що дозволяють вирішувати подібні завдання відповідно до заданих критеріїв для побудови маршруту. Велика частина цих алгоритмів є модифікаціями "базових" методів планування шляху, які оптимізовані під конкретні умови. Предметом дослідження в статті є процес побудови глобального шляху мобільного агента. Мета роботи – створення алгоритму планування маршруту автономних мобільних систем в просторі з використанням алгоритму Q-learning. У статті вирішуються наступні завдання: розробка підходу до навчання та підтримки алгоритму навчання з підкріпленням для побудови глобального шляху мобільного агента; тестування здатності агента до пошуку шляху в середовищах, відсутніх в наборі для тренування. Використовуються такі методи: теорія графів, теорія масового обслуговування, теорія марковского процесу прийняття рішень і методи математичного програмування. Дослідження ґрунтується на наукових статтях і інших матеріалах зарубіжних конференцій і архівів в області машинного навчання, глибокого навчання і глибокого навчання з підкріпленням. Отримані наступні результати: сформульовано підхід до побудови глобального шляху мобільного агента на основі накопичених даних в процесі взаємодії із зовнішнім середовищем. Навколишнє середовище дає нагороду за ці дії, а агент продовжує їх виконувати. Такий підхід дозволить застосовувати цей метод для широкого кола ситуацій і пристроїв. Висновки: Даний підхід дозволяє накопичувати свої знання про навколишній світ для подальшого прийняття рішення при плануванні маршруту, де робот може отримати навик самонавчання, вивчаючись і тренуючись, як людина, та знаходити шлях від початкового стану до цільового стану в невідомому середовищі. У сучасному світі поширюється використання роботів і автономних систем, призначених замінити або полегшити людську працю, зробити її безпечнішою і прискорити її. Адаптивні автономні алгоритми пошуку шляху дуже важливі в багатьох додатках робототехніки. Таким чином, завдання навігації з обмеженою інформацією актуальні сьогодні, так як це головне завдання, яке агент вирішує, і одне із завдань, що входять до складу, виконуваних роботом при роботі.
Посилання
Kargin, A., Ivaniuk, O. (2020), "Autonomous robot motion control situational planning model", Advanced Information Systems, No 4, P. 41–51. DOI: 10.20998/2522-9052.2020.3.05
Sukharev, O. (2019), "Functions of information and modes of informational development of control systems", Problems of theory and practice of management, No 1, P. 37–51.
Miyazawa, K. (2002), "Fire robots developed by the Tokyo Fire Department", Advanced Robotics, P. 553–556. DOI: 10.1163/156855302320535953
Magid, E., Lavrenov, R., Afanasyev, I. (2017), "Voronoi-based trajectory optimization for UGV path planning", International Conference on Mechanical, System and Control Engineering (ICMSC), IEEE, P. 383–387. DOI: 10.1109/ICMSC.2017.7959506
Kovács, G., Yusupova, N., Smetanina, O., Rassadnikova, E. (2018), "Methods and algorithms to solve the vehicle routing problem with time windows and further conditions", Pollack Periodica, No. 13 (1), P. 65–76. DOI: 10.1556/606.2018.13.1.6
Lavrenov, R. O., Magid, E. A. (2020), "Multihomotopic search for the optimal route for autonomous mobile devices", Industrial automation, No. 7, P. 61–64. DOI: 10.25728/avtprom.2020.07.14
Hassan, A. M., Elias, C. M., Shehata, O. M., Morgan, E. I. (2017), "A global integrated artificial potential field/virtual obstacles path planning algorithm for multi-robot system applications", Int. Research J. of Eng. and Technology, No. 4 (9), P. 1198–1204.
Wahid, N., Zamzuri, H., Amer, N. H., Dwijotomo, A., Saruchi, S. A., Mazlan, S. A. (2020), "Vehicle collision avoidance motion planning strategy using artificial potential field with adaptive multi-speed scheduler", IET Intelligent Transport Systems, No. 14 (10), P. 1200–1209. DOI: 10.1049/iet-its.2020.0048
Ku Ping Cheng, Rajesh Elara Mohan, Nguyen Huu Khanh Nhan, Anh Vu Le (2020), "Multi-Objective Genetic Algorithm-Based Autonomous PP for Hinged-Tetro Reconfigurable Tiling Robot", IEEE Access, available at : https://ieeexplore.ieee.org/abstract/document/9131750 (last accessed: 23.09.2020)
Che Gaofeng, Lijun Liu, Zhen Yu (2020), "An improved ant colony optimization algorithm based on particle swarm optimization algorithm for path planning of autonomous underwater vehicle", Journal of Ambient Intelligence and Humanized Computing, No. 11 (8), P. 3349–3354. DOI: 10.1007/s12652-019-01531-8
Raja, P., Pugazhenthi, S. (2012), "Optimal path planning of mobile robots: A review", International journal of physical sciences, No. 7 (9), P. 1314–1320. DOI: 10.5897/IJPS11.1745
Yahja, A. (1998), "Framed-quadtree path planning for mobile robots operating in sparse environments", In: Proceedings. IEEE International Conference on Robotics and Automation (Cat. No. 98CH36146), P. 650–655. DOI: 10.1109/ROBOT.1998.677046
Montiel, O., Orozco-Rosas, U., Sepúlveda, R. (2015), "Path planning for mobile robots using Bacterial Potential Field for avoiding static and dynamic obstacles", Expert Systems with Applications, No. 42 (12), P. 5177–5191. DOI: 10.1016/j.eswa.2015.02.033
Raja, P., Pugazhenthi, S. (2009), "Path planning for mobile robots in dynamic environments using particle swarm optimization", 2009 International Conference on Advances in Recent Technologies in Communication and Computing. IEEE, P. 401–405. DOI: 10.1109/ARTCom.2009.24
Kovács, B., Szayer, G., Tajti, F., Burdelis, M., Korondi, P. (2016), "A novel potential field method for path planning of mobile robots by adapting animal motion attributes", Robotics and Autonomous Systems, No. 82, P. 24–34. DOI: 10.1016/j.robot.2016.04.007
##submission.downloads##
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2020 Vitalii Martovytskyi, Oleksandr Ivaniuk
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
