Застосування стратегій ройового інтелекту при проектуванні паралельних нейроеволюційних методів синтезу нейромоделей
DOI:
https://doi.org/10.15587/2706-5448.2020.214769Ключові слова:
нейроеволюційний метод, генетичний алгоритм, ройовий інтелект, паралельна система, високопродуктивні обчисленняАнотація
У роботі запропоновано способи застосування стратегій ройового інтелекту для паралелізації нейроеволюційних методів синтезу штучних нейронних мереж. Запропоновані підходи дозволять вирішити ряд проблем, які зазвичай виникають при проектуванні високопродуктивних обчислень, пов'язаних з синтезом нейронних мереж. Об'єктом дослідження є процес розроблення паралельного підходу для нейроеволюційного синтезу штучних нейронних мереж, а саме використання стратегій ройового інтелекту для вирішення низки проблем при проектуванні такого методу, що використовував би ресурси паралельної комп’ютерної системи.
Одними з найбільш проблемних місць є високоітеративна природа та значний час роботи нейроеволюційних методів. Одним із способів вирішення цих проблем є використання паралельних комп’ютерних систем та розподілених обрахунків. Проте ряд питань виникає при проектуванні паралельного нейроеволюційного методу.
В ході дослідження було вирішено ряд завдань, які включали аналіз та дослідження нейроеволюційних методів синтезу штучних нейронних мереж та проблем їх паралелізації. Також увагу приділено методам ройового інтелекту, що набули популярності останнім часом та демонструють гарні результати роботи.
Новий метод, що розроблявся під час роботи, базувався на стратегіях організації роботи із ройовими частинками. Так, розподілені між ядрами під-популяції та окремі індивіди аналізувалися в якості окремих частинок, які взаємодіють між один одним та залежать від локального середовища. Класичні генетичні оператори були модифіковані критеріальними механізмами для підвищення адаптивності.
Під час експериментів розроблюваний метод порівнювався із класичними методами. Під час роботи особливу увагу було приділено не тільки характеристикам отриманих результуючих нейромоделей, але й навантаженню на процесор під час роботи. Розроблюваний метод продемонстрував прийнятні результати за всіма порівняннями. Новий підхід допоміг значно підвищити рівень якості роботи паралельного нейроеволюційного методу синтезу, дозволяючи рівномірно використовувати можливості обчислювальних вузлів паралельної системи.
Посилання
- Albrigtsen, S. I., Imenes, A., Goodwin, M., Jiao, L., Nunavath, V.; Pimenidis, E., Jayne, C. (Eds.) (2018). Neuroevolution of Actively Controlled Virtual Characters – An Experiment for an Eight-Legged Character. Engineering Applications of Neural Networks. EANN 2018. Communications in Computer and Information Science. Vol. 893. Cham: Springer, 94–105. doi: http://doi.org/10.1007/978-3-319-98204-5_8
- Bohrer, J., Grisci, B., Dorn, M. (2020). Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras Computer Science. Arxiv. Available at: https://arxiv.org/abs/2002.04634
- Bergel, A. (2020). Neuroevolution. Agile Artificial Intelligence in Pharo. Berkeley: Apress, 283–294. doi: http://doi.org/10.1007/978-1-4842-5384-7_14
- Mason, K., Duggan, J., Howley, E. (2018). Watershed management using neuroevolution. Modeling Earth Systems and Environment, 4 (4), 1445–1448. doi: https://doi.org/10.1007/s40808-018-0508-z
- Arellano, W. R., Silva, P. A., Molina, M. F., Ronquillo, S., Ortega-Zamorano, F.; Rojas, I., Joya, G., Catala, A. (Eds.). (2019). Red-Black Tree Based NeuroEvolution of Augmenting Topologies. Advances in Computational Intelligence. IWANN 2019. Lecture Notes in Computer Science. Vol. 11507. Cham: Springer, 678–686. doi: http://doi.org/10.1007/978-3-030-20518-8_56
- Gonçalves, I., Seca, M., Castelli, M.; Banzhaf, W., Goodman, E., Sheneman, L., Trujillo, L., Worzel, B. (Eds.) (2020). Explorations of the Semantic Learning Machine Neuroevolution Algorithm: Dynamic Training Data Use, Ensemble Construction Methods, and Deep Learning Perspectives. Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer, 39–62. doi: http://doi.org/10.1007/978-3-030-39958-0_3
- Hoseini Alinodehi, S. P., Moshfe, S., Saber Zaeimian, M., Khoei, A., Hadidi, K. (2016). High-Speed General Purpose Genetic Algorithm Processor. IEEE Transactions on Cybernetics, 46 (7), 1551–1565. doi: http://doi.org/10.1109/tcyb.2015.2451595
- Hou, N., He, F., Zhou, Y., Chen, Y., Yan, X. (2018). A Parallel Genetic Algorithm With Dispersion Correction for HW/SW Partitioning on Multi-Core CPU and Many-Core GPU. IEEE Access, 6, 883–898. doi: http://doi.org/10.1109/access.2017.2776295
- Cleghorn, C. W., Engelbrecht, A. P. (2017). Particle swarm stability: a theoretical extension using the non-stagnate distribution assumption. Swarm Intelligence, 12 (1), 1–22. doi: http://doi.org/10.1007/s11721-017-0141-x
- Nobile, M. S., Cazzaniga, P., Besozzi, D., Colombo, R., Mauri, G., Pasi, G. (2018). Fuzzy Self-Tuning PSO: A settings-free algorithm for global optimization. Swarm and Evolutionary Computation, 39, 70–85. doi: http://doi.org/10.1016/j.swevo.2017.09.001
- Kim, M.-A., Park, J. S., Lee, C. W., Choi, W.-I. (2019). Pneumonia severity index in viral community acquired pneumonia in adults. PLOS ONE, 14 (3), e0210102. doi: http://doi.org/10.1371/journal.pone.0210102
- Nugroho, E. D., Wibowo, M. E., Pulungan, R. (2017). Parallel implementation of genetic algorithm for searching optimal parameters of artificial neural networks. 3rd International Conference on Science and Technology – Computer (ICST). Yogyakarta, 136–141. doi: http://doi.org/10.1109/icstc.2017.8011867
- Parallel NEAT. Python Encyclopedia. Available at: https://neat-python.readthedocs.io/en/latest/_modules/parallel.html
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2020 Serhii Leoshchenko, Andrii Oliinyk, Sergey Subbotin, Tetiana Zaiko
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
