Розробка нейронної мережі для розпізнавання рукописних цифр на базі бібліотеки TensoRflow за алгоритмом зворотного поширення помилки

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2023.293682

Ключові слова:

нейронна мережа, функція втрат, градієнтний спуск, точність нейронної мережі

Анотація

Об’єктом дослідження розпізнавання рукописних цифр з використанням механізмів TesorFlow. Головна проблема, що вирішується, – розробка ефективної моделі з високою точністю розпізнавання. Робота над такою задачею важлива, оскільки дозволяє розуміти, як алгоритми та моделі можуть ефективно працювати з реальними даними, та допомагає вдосконалювати техніки машинного навчання.

Встановлено, що після 20 епох навчання функція втрат становить 0.105, а точність розпізнавання становить 0.976, що можна порівняти зі здатністю розпізнавання людини. З класифікаційного звіту витікає, що модель ефективно навчена на навчальних даних і демонструє високу точність на даних тестування, здатна узагальнювати інформацію на нових прикладах. Візуалізація результатів розпізнавання підтверджує, що модель правильно розпізнає навіть нечітко написані цифри.

Отримані результати можуть бути пояснені особливістю архітектури моделі, оптимальним підбором гіперпараметрів, успішним використанням алгоритму зворотного поширення помилки, що не був прописаний явно, під час тренування моделі. TensorFlow надав зручний інструментарій для реалізації нейронної мережі та оптимізації її параметрів. В результаті модель має досить високу точність розпізнавання зображень.

Важливою особливістю отриманих результатів є висока точність розпізнавання, отримана завдяки оптимальній архітектурі моделі, правильному вибору гіперпараметрів та ефективному використанню алгоритму зворотного поширення помилки. На відміну від моделей, побудованих з використанням Keras і згорткових шарів, модель дослідження швидко навчається, що є важливим, і не поступається точністю. Цей результат став можливим завдяки переліченим вище особливостям побудови моделі.

Отримані результати можуть знайти практичне використання в області розпізнавання рукописних символів, зокрема у системах автоматизованої класифікації документів, в системах банківського розпізнавання та в інших сферах, де важлива точність розпізнавання рукописних знаків

Біографії авторів

Тетяна Олегівна Філімонова, Державний торговельно-економічний університет

Кандидат фізико-математичних наук

Кафедра комп’ютерних наук та інформаційних систем

Ганна Тимофіївна Самойленко, Державний торговельно-економічний університет

Кандидат фізико-математичних наук, доцент

Кафедра комп’ютерних наук та інформаційних систем

Анна Віталіївна Селіванова, Державний торговельно-економічний університет

Кафедра комп’ютерних наук та інформаційних систем

Юрій Юрійович Юрченко, Державний торговельно-економічний університет

Кафедра комп’ютерних наук та інформаційних систем

Олексій Миколайович Паращак, Державний торговельно-економічний університет

Kандидат фізико-математичних наук

Кафедра комп’ютерних наук та інформаційних систем

Посилання

  1. Chatfield, K., Simonyan, K., Vedaldi, A., Zisserman, A. (2014). Return of the Devil in the Details: Delving Deep into Convolutional Nets. Proceedings of the British Machine Vision Conference 2014. doi: https://doi.org/10.5244/c.28.6
  2. Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115 (3), 211–252. doi: https://doi.org/10.1007/s11263-015-0816-y
  3. Tuba, E., Tuba, M., Simian, D. (2016). Handwritten digit recognition by support vector machine optimized by bat algorithm. WSCG 2016 - 24th Conference on Computer Graphics, Visualization and Computer Vision 2016, 369–376. Available at: https://dspace5.zcu.cz/bitstream/11025/29725/1/Tuba.pdf
  4. Elleuch, M., Maalej, R., Kherallah, M. (2016). A New Design Based-SVM of the CNN Classifier Architecture with Dropout for Offline Arabic Handwritten Recognition. Procedia Computer Science, 80, 1712–1723. doi: https://doi.org/10.1016/j.procs.2016.05.512
  5. Reshma, A. J., James, J. J., Kavya, M., Saravanan, M. (2016). An overview of character recognition focused on offline handwriting. ARPN Journal of Engineering and Applied Sciences, 11 (15), 9372–9378. Available at: http://www.arpnjournals.org/jeas/research_papers/rp_2016/jeas_0816_4774.pdf
  6. Alom, M. Z., Sidike, P., Taha, T. M., Asari, V. K. (2017). Handwritten bangla digit recognition using deep learning. arXiv. doi: https://doi.org/10.48550/arXiv.1705.02680
  7. Maitra, D. S., Bhattacharya, U., Parui, S. K. (2015). CNN based common approach to handwritten character recognition of multiple scripts. 2015 13th International Conference on Document Analysis and Recognition (ICDAR). doi: https://doi.org/10.1109/icdar.2015.7333916
  8. Glauner, P. O. (2015). Comparison of training methods for deep neural networks. arXiv. doi: https://doi.org/10.48550/arXiv.1504.06825
  9. Guerra, L., McGarry, L. M., Robles, V., Bielza, C., Larrañaga, P., Yuste, R. (2010). Comparison between supervised and unsupervised classifications of neuronal cell types: A case study. Developmental Neurobiology, 71 (1), 71–82. doi: https://doi.org/10.1002/dneu.20809
  10. Stenin, A., Pasko, V., Soldatova, M., Drozdovich, I. (2022). Recognition of handwritten numbers on the basis of convolutional neural networks. Adaptive systems of automatic control, 2 (41), 39–44. Available at: http://asac.kpi.ua/article/view/271337/
  11. Korotun, O. V., Marchuk, H. V., Marchuk, D. K., Talaver, O. V. (2020). Systema rozpiznavannia rukopysnykh tsyfr z otsinkoiu yakosti. Tekhnichna inzheneriya, 1 (85), 135–146. doi: https://doi.org/10.26642/ten-2020-1(85)-135-146
  12. Kraskovska, A. O., Filimonova, T. O. (2023). Rozrobka arkhitektury zghortkovoi neironnoi merezhi dlia rozpiznavannia rukopysnykh tsyfr. Zbirnyk tez XX mizhnarodnoi naukovo-praktychnoi konferentsiyi «Matematychne na prohramne zabezpechennia intelektualnykh system. MPZIS – 2023». Dnipro, 165–167.
  13. El-Sawy, A., EL-Bakry, H., Loey, M. (2016). CNN for Handwritten Arabic Digits Recognition Based on LeNet-5. Proceedings of the International Conference on Advanced Intelligent Systems and Informatics 2016, 566–575. doi: https://doi.org/10.1007/978-3-319-48308-5_54
  14. Lecun, Y., Bottou, L., Bengio, Y., Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86 (11), 2278–2324. doi: https://doi.org/10.1109/5.726791
  15. Whittington, J. C. R., Bogacz, R. (2019). Theories of Error Back-Propagation in the Brain. Trends in Cognitive Sciences, 23 (3), 235–250. doi: https://doi.org/10.1016/j.tics.2018.12.005
  16. Whittington, J. C. R., Bogacz, R. (2017). An approximation of the error backpropagation algorithm in a predictive coding network with local hebbian synaptic plasticity. Neural Computation, 29 (5), 1229–1262. doi: https://doi.org/10.1162/neco_a_00949
  17. Layer activation functions. Available at: https://keras.io/api/layers/activations/
  18. Datasets. MNIST. TensorFlow. Available at: https://www.tensorflow.org/datasets/catalog/mnist
  19. Podoliak, B. Yu., Filimonova, T. O. (2023). Rozrobka avtokoduvalnyka dlia rozpiznavannia rukopysnykh tsyfr. Zbirnyk tez XX mizhnarodnoi naukovo-praktychnoi konferentsiyi «Matematychne na prohramne zabezpechennia intelektualnykh system. MPZIS – 2023». Dnipro, 243–244.
Розробка нейронної мережі для розпізнавання рукописних цифр на базі бібліотеки TensoRflow за алгоритмом зворотного поширення помилки

##submission.downloads##

Опубліковано

2023-12-29

Як цитувати

Філімонова, Т. О., Самойленко, Г. Т., Селіванова, А. В., Юрченко, Ю. Ю., & Паращак, О. М. (2023). Розробка нейронної мережі для розпізнавання рукописних цифр на базі бібліотеки TensoRflow за алгоритмом зворотного поширення помилки. Eastern-European Journal of Enterprise Technologies, 6(2 (126), 25–32. https://doi.org/10.15587/1729-4061.2023.293682

Номер

Том 6 № 2 (126) (2023): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2023 Tetiana Filimonova, Hanna Samoylenko, Anna Selivanova, Yurii Yurchenko, Alexei Parashchak

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.