Визначення впливу вибора параметрів процедури проріджування на якість навчання багатошарового персептрона

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2022.253103

Ключові слова:

багатошаровий персептрон, нейронна мережа, проріджування, крива навчання, вагові коефіцієнти, класифікація зображень

Анотація

Проріджування зв'язків у повнозв'язної нейронної мережі дозволяє видалити надмірність у структурі нейронної мережі і таким чином зменшити обчислювальну складність її реалізації при збереженні результуючих характеристик класифікації зображень, що надходять на її вхід. Однак питання вибору параметрів процедури проріджування на даний момент недостатньо вивчені. Вибір істотно залежить від конфігурації нейронної мережі. Тим не менш, у будь-якій конфігурації нейронної мережі є один або більше багатошарових персептронів. Для них можна розробити універсальні рекомендації щодо вибору параметрів процедури проріджування. Розглянуто один із найбільш перспективних для практичної реалізації методів – ітераційний метод проріджування, який використовує для регуляризації процесу навчання нейронної мережі передобробку вхідних сигналів. Для конкретної конфігурації багатошарового персептрона і набору даних MNIST (Modified National Institute of Standards and Technology – база даних зразків рукописного написання цифр, запропонована Національним інститутом стандартів та технологій США як стандарт при співставленні методів розпізнавання зображень) отримані залежності точності класифікації рукописних цифр і швидкості навчання від кроку навчання, інтервалу проріджування та кількості зв'язків, що видаляються, на кожній ітерації проріджування. Показано, що найкращий набір параметрів процедури навчання з проріджуванням забезпечує збільшення якості класифікації приблизно на 1 % порівняно з найгіршим у дослідженому діапазоні. Випуклий характер цих залежностей дозволяє конструктивно підходити до знаходження конфігурації нейронної мережі, що забезпечує найбільшу точність класифікації при мінімальному обсягу обчислювальних витрат на реалізацію.

Біографії авторів

Олег Миколайович Галчонков, Національний університет "Одеська політехніка"

Кандидат технічних наук, доцент

Кафедра “Інформаційних систем”

Інститут комп’ютерних систем

Олександр Іванович Неврев, Національний університет "Одеська політехніка"

Кандидат технічних наук, доцент

Кафедра інформаційних систем

Інститут комп’ютерних систем

Богдан Олегович Шевчук, Національний університет "Одеська політехніка"

Аспірант

Кафедра інформаційних систем

Інститут комп’ютерних систем

Миколай Анатольович Баранов, Національний університет "Одеська політехніка"

Старший викладач

Кафедра інформаційних систем

Інститут комп’ютерних систем

Посилання

  1. Liu, W., Wang, Z., Liu, X., Zeng, N., Liu, Y., Alsaadi, F. E. (2017). A survey of deep neural network architectures and their applications. Neurocomputing, 234, 11–26. doi: http://doi.org/10.1016/j.neucom.2016.12.038
  2. Tolstikhin, I., Houlsby, N., Kolesnikov, A., Beyer, L., Zhai, X., Unterthiner, T. et. al. (2021). MLP-Mixer: An all-MLP Architecture for Vision. ArXiv. Available at: https://arxiv.org/abs/2105.01601
  3. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T. et. al. (2021). An image is worth 16x16 words: transformers for image recognition at scale. ArXiv. Available at: https://arxiv.org/abs/2010.11929
  4. Hassani, A., Walton, S., Shah, N., Abuduweili, A., Li, J., Shi, H. (2021). Escaping the Big Data Paradigm with Compact Transformers. ArXiv. Available at: https://arxiv.org/abs/2104.05704
  5. Patches Are All You Need? (2021). Under review as a conference paper at ICLR 2022. Available at: https://openreview.net/pdf?id=TVHS5Y4dNvM
  6. Guo, M.-H., Liu, Z.-N., Mu, T.-J., Hu, S.-M. (2021). Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks. ArXiv. Available at: https://arxiv.org/abs/2105.02358
  7. Lee-Thorp, J., Ainslie, J., Eckstein, I., Ontañón, S. (2021). FNet: Mixing Tokens with Fourier Transforms. ArXiv. Available at: https://arxiv.org/abs/2105.03824
  8. Liu, H., Dai, Z., So, D. R., Le, Q. V. (2021). Pay Attention to MLPs. ArXiv. Available at: https://arxiv.org/abs/2105.08050
  9. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., Guo, B. (2021). Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ArXiv. Available at: https://arxiv.org/abs/2103.14030
  10. Denil, M., Shakibi, B., Dinh, L., Ranzato, M. A., Freitas, N. (2014). Predicting Parameters in Deep Learning. ArXiv. Available at: https://arxiv.org/abs/1306.0543
  11. Blalock, D., Gonzalez Ortiz, J. J., Frankle, J., Guttag, J. (2020). What is the state of neural network pruning? ArXiv. Available at: https://arxiv.org/abs/2003.03033
  12. Han, S., Pool, J., Tran, J., Dally, W. J. (2015). Learning bothWeights and Connections for Efficient Neural Networks. ArXiv. Available at: https://arxiv.org/pdf/1506.02626v3.pdf
  13. LeCun, Y., Denker, J. S., Solla, S. A. (1990). Optimal Brain Damage. NIPS. Available at: http://yann.lecun.com/exdb/publis/pdf/lecun-90b.pdf
  14. Hinton, G., Vinyals, O., Dean, J. (2015). Distilling the knowledge in a neural network. NIPS Deep Learning and Representation Learning Workshop. ArXiv. Available at: https://arxiv.org/abs/1503.02531
  15. Li, C., Peng, J., Yuan, L., Wang, G., Liang, X., Lin, L., Chang, X. (2020). Block-Wisely Supervised Neural Architecture Search With Knowledge Distillation. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). doi: http://doi.org/10.1109/cvpr42600.2020.00206
  16. Aflalo, Y., Noy, A., Lin, M., Friedman, I., Zelnik, L. (2020). Knapsack Pruning with Inner Distillation. ArXiv. Available at: https://arxiv.org/abs/2002.08258
  17. Wang, Z., Li, F., Shi, G., Xie, X., Wang, F. (2020). Network pruning using sparse learning and genetic algorithm. Neurocomputing, 404, 247–256. doi: http://doi.org/10.1016/j.neucom.2020.03.082
  18. Denton, E. L., Zaremba, W., Bruna, J., LeCun, Y., Fergus, R. (2014). Exploiting linear structure within convolutional networks for efficient evaluation. Advances in Neural Information Processing Systems, 1269–1277.
  19. Li, Y., Gu, S., Mayer, C., Van Gool, L., Timofte, R. (2020). Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). doi: http://doi.org/10.1109/cvpr42600.2020.00804
  20. Han, S., Mao, H., Dally, W. J. (2015). Deep compression: compressing deep neural networks with pruning, trained quantization and Huffman coding. ArXiv. Available at: https://arxiv.org/abs/1510.00149
  21. Qiu, J., Wang, J., Yao, S., Guo, K., Li, B., Zhou, E. et. al. (2016). Going Deeper with Embedded FPGA Platform for Convolutional Neural Network. Proceedings of the 2016 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. Monterey. doi: http://doi.org/10.1145/2847263.2847265
  22. Paupamah, K., James, S., Klein, R. (2020). Quantisation and Pruning for Neural Network Compression and Regularisation. 2020 International SAUPEC/RobMech/PRASA Conference. doi: http://doi.org/10.1109/saupec/robmech/prasa48453.2020.9041096
  23. Louizos, C., Welling, M., Kingma, D. P. (2018). Learning sparse neural networks through l0 regularization. ICLR 2018. ArXiv. Available at: https://arxiv.org/abs/1712.01312
  24. Li, J., Qi, Q., Wang, J., Ge, C., Li, Y., Yue, Z., Sun, H. (2019). OICSR: Out-In-Channel Sparsity Regularization for Compact Deep Neural Networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). doi: http://doi.org/10.1109/cvpr.2019.00721
  25. Gomez, A. N., Zhang, I., Kamalakara, S. R., Madaan, D., Swersky, K., Gal, Y. et. al. (2019). Learning Sparse Networks Using Targeted Dropout. ArXiv. Available at: https://arxiv.org/abs/1905.13678
  26. Tabik, S., Peralta, D., Herrera-Poyatos, A., Herrera, F. (2017). A snapshot of image pre-processing for convolutional neural networks: case study of MNIST. International Journal of Computational Intelligence Systems, 10 (1), 555–568. doi: http://doi.org/10.2991/ijcis.2017.10.1.38
  27. Cireşan, D. C., Meier, U., Gambardella, L. M., Schmidhuber, J. (2010). Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation, 22 (12), 3207–3220. doi: http://doi.org/10.1162/neco_a_00052
  28. Simard, P. Y., Steinkraus, D., Platt, J. C. (2003). Best practices for convolutional neural networks applied to visual document analysis. Seventh International Conference on Document Analysis and Recognition, 2003. Proceedings. San Mateo: IEEE Computer Society Press, 958–962. doi: http://doi.org/10.1109/icdar.2003.1227801
  29. Galchonkov, O., Nevrev, A., Glava, M., Babych, M. (2020). Exploring the efficiency of the combined application of connection pruning and source data pre­processing when training a multilayer perceptron. Eastern-European Journal of Enterprise Technologies, 2 (9 (104)), 6–13. doi: http://doi.org/10.15587/1729-4061.2020.200819
  30. LeCun, Y., Cortes, C., Burges, C. J. C. The mnist database of handwritten digits. Available at: http://yann.lecun.com/exdb/mnist/
  31. Brownlee, J. (2021). Weight Initialization for Deep Learning Neural Networks. Available at: https://machinelearningmastery.com/weight-initialization-for-deep-learning-neural-networks/
  32. Colab. Available at: https://colab.research.google.com/notebooks/welcome.ipynb

##submission.downloads##

Опубліковано

2022-02-28

Як цитувати

Галчонков, О. М., Неврев, О. І., Шевчук, Б. О., & Баранов, М. А. (2022). Визначення впливу вибора параметрів процедури проріджування на якість навчання багатошарового персептрона. Eastern-European Journal of Enterprise Technologies, 1(9(115), 75–83. https://doi.org/10.15587/1729-4061.2022.253103

Номер

Том 1 № 9(115) (2022): Інформаційно-керуючі системи

Розділ

Інформаційно-керуючі системи

Ліцензія

Авторське право (c) 2022 Oleg Galchonkov, Alexander Nevrev, Bohdan Shevchuk, Nikolay Baranov

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.