Розгляд практики використання еволюційних алгоритмів для синтезу та навчання нейромереж

Автор(и)

  • Богдан Петрович Гірянський Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0009-0000-6580-7268
  • Богдан Вікторович Булах Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0000-0001-5880-6101

DOI:

https://doi.org/10.15587/2706-5448.2023.286278

Ключові слова:

нейронні мережі, еволюційні алгоритми, генетичні алгоритми, гібридний підхід, оптимізаційна архітектура нейронної мережі

Анотація

Об’єктом дослідження є практика використання еволюційних алгоритмів для синтезу та навчання нейронних мереж. Робота направлена на пошук результатів використання генетичних алгоритмів як конкурентних методів для звичних підходів у навчанні та створенні нейронних мереж та оцінки таких рішень задля подальшого розвитку даної теми.

Суть отриманих результатів полягає в успішному застосуванні генетичних алгоритмів (ГА) у поєднанні з нейронними мережами для оптимізації параметрів, архітектури та вагових коефіцієнтів мереж. ГА дозволили покращити продуктивність та точність нейромереж, особливо у випадках, коли алгоритми зворотного поширення похибки мали труднощі зі знаходженням оптимальних розв'язків.

Ці результати можуть бути пояснені тим, що генетичні алгоритми є ефективним методом для глобального пошуку оптимальних розв'язків у просторі параметрів. Вони дозволяють уникнути локальних мінімумів та знаходити більш надійні та стабільні розв'язки. Отримані результати можуть бути використані на практиці для покращення продуктивності та якості нейромереж у різних завданнях класифікації та прогнозування. Використання генетичних алгоритмів дозволяє підібрати оптимальні параметри вагових коефіцієнтів, зв’язків між вузлами мережі та виокремити важливіші ознаки із набору даних, але при цьому вони мають обмеження у вигляді додаткових затрат часу на перевірку всієї популяції на відповідні критерії добору.

Варто враховувати, що використання ГА не є універсальним методом для всіх задач, тому параметри алгоритмів слід налаштовувати індивідуально під кожну конкретну задачу. Подальші дослідження можуть бути спрямовані на вдосконалення методів комбінації генетичних алгоритмів та нейромереж, а також їхнього застосування у нових областях та задачах.

Біографії авторів

Богдан Петрович Гірянський, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Аспірант

Кафедра системного проєктування

Богдан Вікторович Булах, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Кандидат технічних наук, доцент

Кафедра системного проєктування

Посилання

  1. Koschke, R. (2007). Survey of research on software clones. In Dagstuhl Seminar Proceedings. Schloss Dagstuhl-Leibniz-Zentrum für Informatik. doi: https://doi.org/10.4230/DagSemProc.06301.13
  2. Kim, M., Bergman, L., Lau, T., Notkin, D. (2004). An ethnographic study of copy and paste programming practices in OOPL. Proceedings. 2004 International Symposium on Empirical Software Engineering. ISESE'04, 83–92. doi: https://doi.org/10.1109/isese.2004.1334896
  3. Ain, Q. U., Butt, W. H., Anwar, M. W., Azam, F., Maqbool, B. (2019). A Systematic Review on Code Clone Detection. IEEE Access, 7, 86121–86144. doi: https://doi.org/10.1109/access.2019.2918202
  4. Kal Viertel, F. P., Brunotte, W., Strüber, D., Schneider, K. (2019). Detecting Security Vulnerabilities using Clone Detection and Community Knowledge. International Conferences on Software Engineering and Knowledge Engineering, 245–324. doi: https://doi.org/10.18293/seke2019-183
  5. Nishi, M. A., Damevski, K. (2018). Scalable code clone detection and search based on adaptive prefix filtering. Journal of Systems and Software, 137, 130–142. doi: https://doi.org/10.1016/j.jss.2017.11.039
  6. Kaliuzhna, T., Kubiuk, Y. (2022). Analysis of machine learning methods in the task of searching duplicates in the software code. Technology Audit and Production Reserves, 4 (2 (66)), 6–13. doi: https://doi.org/10.15587/2706-5448.2022.263235
  7. Singh, M., Sharma, V. (2015). Detection of File Level Clone for High Level Cloning. Procedia Computer Science, 57, 915–922. doi: https://doi.org/10.1016/j.procs.2015.07.509
  8. Yang, Y., Ren, Z., Chen, X., Jiang, H. (2018). Structural function based code clone detection using a new hybrid technique. 2018 IEEE 42nd annual computer software and applications conference (COMPSAC), 1, 286–291. doi: https://doi.org/10.1109/compsac.2018.00045
  9. NVD. Available at: https://nvd.nist.gov/ Last accessed: 22.07.2023
  10. Li, Z., Zou, D., Xu, S., Ou, X., Jin, H., Wang, S. et al. (2018). VulDeePecker: A Deep Learning-Based System for Vulnerability Detection. Proceedings 2018 Network and Distributed System Security Symposium. doi: https://doi.org/10.14722/ndss.2018.23158
  11. Chrenousov, A., Savchenko, A., Osadchyi, S., Kubiuk, Y., Kostenko, Y., Likhomanov, D. (2019). Deep learning based automatic software defects detection framework. Theoretical and Applied Cybersecurity, 1 (1). doi: https://doi.org/10.20535/tacs.2664-29132019.1.169086
  12. Appel, A. W. (2015). Verification of a Cryptographic Primitive. ACM Transactions on Programming Languages and Systems, 37 (2), 1–31. doi: https://doi.org/10.1145/2701415
A review of practice of using evolutionary algorithms for neural network synthesis and training

##submission.downloads##

Опубліковано

2023-08-28

Як цитувати

Гірянський, Б. П., & Булах, Б. В. (2023). Розгляд практики використання еволюційних алгоритмів для синтезу та навчання нейромереж. Technology Audit and Production Reserves, 4(2(72), 22–26. https://doi.org/10.15587/2706-5448.2023.286278

Номер

Розділ

Інформаційні технології