Розробка методу структурної оптимізації нейронної мережі за критерієм ефективності використання ресурсів
DOI:
https://doi.org/10.15587/1729-4061.2019.164591Ключові слова:
штучна нейронна мережа, оптимізація структури, апроксимація функцій, критерій ефективностіАнотація
Для вирішення задач апроксимації широко використовуються математичні моделі у вигляді штучних нейронних мереж (ШНМ). Використання цієї технології передбачає двох етапний підхід. На першому етапі визначається структура моделі ШНМ, а на другому етапі здійснюється навчання для отримання максимального наближення до еталонної моделі. Максимальне значення наближення до еталону визначається складністю архітектури ШНМ. Тобто, підвищення складності моделі ШНМ дозволяє підвищувати точність апроксимації, а, відповідно, і результату навчання. При цьому визначення структури моделі ШНМ, що здійснює апроксимацію із заданою точністю, визначається як процес оптимізації.
Однак підвищення складності ШНМ призводить не тільки до підвищення точності, а і до підвищення часу обчислювального процесу.
Таким чином, показник «задана точність» не може використовуватися в задачах визначення оптимальної архітектури нейронної мережі. Це пов'язано з тим, що результат вибору структури моделі і процесу її навчання, котрий базується на забезпеченні необхідної точності апроксимації, може зайняти неприйнятний для користувача часовий проміжок.
Для вирішення завдання структурної ідентифікації нейронної мережі використовується підхід, у рамках якого здійснюється визначення конфігурації моделі за критерієм ефективності. У процесі реалізації розробленого методу узгоджується часовий чинник вирішення завдання і точністю апроксимації.
Запропонований підхід дозволяє обґрунтувати принцип вибору структури і параметрів нейронної мережі, спираючись на максимальне значення показника ефективності використання ресурсів
Посилання
- Gorban', A. N. (1998). Generalized approximation theorem and computational capabilities of neural networks. Siberian J. of Numer. Mathematics, 1 (1), 11–24.
- Nelles, O. (2001). Nonlinear System Identification. From Classical Approaches to Neural Networks and Fuzzy Models. Springer, 785. doi: https://doi.org/10.1007/978-3-662-04323-3
- Diniz, P. S. R. (2008). Adaptive Filtering: Algorithms and Practical Implementation. Springer. doi: https://doi.org/10.1007/978-0-387-68606-6
- Mykhailenko, O. (2015). Research of adaptive algorithms of laguerre model parametrical identification at approximation of ore breaking process dynamics. Metallurgical and Mining Industry, 6, 109–117.
- Mykhailenko, O. (2015). Ore Crushing Process Dynamics Modeling using the Laguerre Model. Eastern-European Journal of Enterprise Technologies, 4 (4 (76)), 30–35. doi: https://doi.org/10.15587/1729-4061.2015.47318
- Haykin, S. (2009). Neural Networks and Learning Machines. Pearson, 938.
- Yang, J., Ma, J., Berryman, M., Perez, P. (2014). A structure optimization algorithm of neural networks for large-scale data sets. 2014 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). doi: https://doi.org/10.1109/fuzz-ieee.2014.6891662
- Han, S., Pool, J., Tran, J., Dally, W. (2015). Learning both Weights and Connections for Efficient Neural Network. Proceedings of Advances in Neural Information Processing Systems.
- Liu, C., Zhang, Z., Wang, D. (2014). Pruning deep neural networks by optimal brain damage. INTERSPEECH 2014, 1092–1095.
- Tresp, V., Neuneier, R., Zimmermann, H. G. (1996). Early Brain Damage. Proceedings of the 9th International Conference on Neural Information Processing Systems NIPS96, 669–675.
- Christiansen, N. H., Job, J. H., Klyver, K., Hogsbrg, J. (2012). Optimal Brain Surgeon on Artificial Neural Networks in Nonlinear Structural Dynamics. In Proceedings of 25th Nordic Seminar on Computational Mechanics.
- Babaeizadeh, M., Smaragdis, P., Campbell, R. H. (2016). NoiseOut: A Simple Way to Prune Neural Networks. Proceedings of 29th Conference on Neural Information Processing Systems (NIPS 2016). Barcelona.
- He, T., Fan, Y., Qian, Y., Tan, T., Yu, K. (2014). Reshaping deep neural network for fast decoding by node-pruning. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). doi: https://doi.org/10.1109/icassp.2014.6853595
- Takeda, R., Nakadai, K., Komatani, K. (2017). Node Pruning Based on Entropy of Weights and Node Activity for Small-Footprint Acoustic Model Based on Deep Neural Networks. Interspeech 2017, 1636–1640. doi: https://doi.org/10.21437/interspeech.2017-779
- Islam, M., Sattar, A., Amin, F., Yao, X., Murase, K. (2009). A New Adaptive Merging and Growing Algorithm for Designing Artificial Neural Networks. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 39 (3), 705–722. doi: https://doi.org/10.1109/tsmcb.2008.2008724
- Arifovic, J., Gençay, R. (2001). Using genetic algorithms to select architecture of a feedforward artificial neural network. Physica A: Statistical Mechanics and its Applications, 289 (3-4), 574–594. doi: https://doi.org/10.1016/s0378-4371(00)00479-9
- Fiszelew, A., Britos, P., Ochoa, A., Merlino, H., Fernández, E., García-Martínez, R. (2007). Finding Optimal Neural Network Architecture using Genetic Algorithms. Advances in Computer Science and Engineering Research in Computing Science, 27, 15–24.
- Yang, S.-H., Chen, Y.-P. (2012). An evolutionary constructive and pruning algorithm for artificial neural networks and its prediction applications. Neurocomputing, 86, 140–149. doi: https://doi.org/10.1016/j.neucom.2012.01.024
- Lutsenko, I. (2016). Definition of efficiency indicator and study of its main function as an optimization criterion. Eastern-European Journal of Enterprise Technologies, 6 (2 (84)), 24–32. doi: https://doi.org/10.15587/1729-4061.2016.85453
- Lutsenko, I., Fomovskaya, E., Oksanych, I., Koval, S., Serdiuk, O. (2017). Development of a verification method of estimated indicators for their use as an optimization criterion. Eastern-European Journal of Enterprise Technologies, 2 (4 (86)), 17–23. doi: https://doi.org/10.15587/1729-4061.2017.95914
- Lutsenko, I., Fomovskaya, O., Vihrova, E., Serdiuk, O., Fomovsky, F. (2018). Development of test operations with different duration in order to improve verification quality of effectiveness formula. Eastern-European Journal of Enterprise Technologies, 1 (4 (91)), 42–49. doi: https://doi.org/10.15587/1729-4061.2018.121810
- Lutsenko, I., Oksanych, I., Shevchenko, I., Karabut, N. (2018). Development of the method for modeling operational processes for tasks related to decision making. Eastern-European Journal of Enterprise Technologies, 2 (4 (92)), 26–32. doi: https://doi.org/10.15587/1729-4061.2018.126446
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2019 Igor Lutsenko, Oleksii Mykhailenko, Oksana Dmytriieva, Oleksandr Rudkovsky, Denis Mospan, Dmitriy Kukharenko, Hanna Kolomits, Artem Kuzmenko
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
