Дослідження та оцінка ефективності методологій розпізнавання рукописних символів з використанням згорткових нейронних мереж

Автор(и)

  • О.Ю. Балалаєва ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна https://orcid.org/0000-0003-1461-4399
  • Є.А. Чичкарьов Державний університет інформаційно-комунікаційних технологій, м. Київ, Україна https://orcid.org/0000-0002-4362-5129
  • О.В. Зінченко Державний університет інформаційно-комунікаційних технологій, м. Київ, Україна https://orcid.org/0000-0002-3973-7814
  • А.В. Сергієнко ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна https://orcid.org/0000-0003-1328-2572
  • О.О. Ковальов ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна

DOI:

https://doi.org/10.31498/2225-6733.47.2023.299989

Ключові слова:

OCR, згорткові нейронні мережі, CNN, глибоке навчання, обробка зображень

Анотація

У роботі проведено аналіз можливостей використання нейронних мереж глибокого навчання для реалізації інформаційних систем обробки текстів, обґрунтовано перспективність даної технології та можливості її удосконалення. Розглянуто можливість використання бази рукописних цифр MNIST, а також бази рукописних букв і цифр EMNIST, а саме набору EMNIST Letters. Проведено моделювання об’єкта дослідження в нотаціях IDEF0 та IDEF3 для варіанту «AS-IS». Виявлено, що найбільше питань викликають «Побудова набору даних для навчання моделі» та «Вибір архітектури згорткової нейронної мережі». Запропоновано заходи з реінжинірингу, а саме показано доцільність використання крім відомих наборів EMNIST та MNIST додатково створеного в рамках роботи набору рукописних і курсивних шрифтів, що мають українські гліфи. Для цього обрані сучасні ІТ-інструменти, такі як бібліотека Pillow, Image Data Generator та пакет Scikit-Learn використано для виділення навчальних та тестових вибірок. Також крім початково запропонованих найпростіших архітектур CNN типу Lenet запропоновано використання більш складних архітектур типів AlexNet та VGG-16. З урахуванням запропонованих заходів з реінжинірингу побудовано діаграми IDEF0 та IDEF3 для варіанту «TO-BE». У роботі докладно проаналізовано результати розпізнавання рукописних українських літер та арабських цифр з використанням 6 різних архітектур CNN з використанням для навчання синтетичного набору даних. Дослідження, представлені в роботі, проведено з використанням програмного додатоку, розробленого на мові програмування Python з використанням пакету Scikit Learn, що надає користувачеві можливість розпізнати рукописний текст за допомогою багатошарового персептрона, що проведено саме з використання розробленої програми. Обґрунтовано, що на противагу простим архітектурам типу Lenet доцільніше використовувати більш складні варіанти, а саме архітектуру типу VGG-16. Проведено експериментальні дослідження впливу кількості параметрів CNN різних архітектур на точність розпізнавання та час навчання нейронної мережі. Також проаналізовано результати розпізнавання символів при розпізнаванні зображень, що не належать до навчальної або тестової вибірки

Біографії авторів

О.Ю. Балалаєва , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Кандидат технічних наук, доцент

Є.А. Чичкарьов , Державний університет інформаційно-комунікаційних технологій, м. Київ

Доктор технічних наук, професор

О.В. Зінченко , Державний університет інформаційно-комунікаційних технологій, м. Київ

Доктор технічних наук, професор

А.В. Сергієнко , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Кандидат технічних наук

О.О. Ковальов , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Магістрант

Посилання

Studies in fuzziness and soft computing. Springer Cham, 2017. Vol. 352: Optical character recognition systems for different languages with soft computing / Chaudhuri A., Mandaviya K., Badelia, P., Ghosh S. 248 p. DOI: https://doi.org/10.1007/978-3-319-50252-6.

Li H., Wang P., Shen C. Toward end-to-end car license plate detection and recognition with deep neural networks. IEEE Transactions on Intelligent Transportation Systems. 2018. Vol. 20(3). Pp. 1126-1136. DOI: https://doi.org/10.1109/TITS.2018.2847291.

Rajavelu A., Musavi M.T., Shirvaikar M.V. A neural network approach to character recognition. Neural Networks. 1989. Vol. 2(5). Pp. 387-393. DOI: https://doi.org/10.1016/0893-6080(89)90023-3.

Image character recognition using deep convolutional neural network learned from different lan-guages / Bai J., Chen Z., Feng B., Xu B. 2014 IEEE International Conference on Image Pro-cessing ICIP 2014, Paris, France, 27-30 October 2014. Pp. 2560-2564. DOI: https://doi.org/10.1109/ICIP.2014.7025518.

Maitra D.S., Bhattacharya U., Parui S.K. CNN based common approach to handwritten character recognition of multiple scripts. 3th International Conference on Document Analysis and Recognition (ICDAR), Tunis, Tunisia, 23-26 August 2015. Pp. 1021-1025. DOI: https://doi.org/10.1109/ICDAR.2015.7333916.

Bilgin Taşdemir E.F. Online Turkish Handwriting Recognition Using Synthetic Data. Avrupa Bilim Ve Teknoloji Dergisi. 2021. Vol. 32. Pp. 649-656. DOI: https://doi.org/10.31590/ejosat.1039846.

Handwritten Kazakh and Russian (HKR) database for text recognition / D. Nurseitov, K. Bostanbekov, D. Kurmankhojayev, A. Alimova, A. Abdallah, R. Tolegenov. Multimedia Tools and Applications. 2021. Vol. 80. Pp. 33075-33097. DOI: https://doi.org/10.1007/s11042-021-11399-6.

Abdallah A., Hamada M., Nurseitov D. Attention-based fully gated CNN-BGRU for Russian handwritten text. Journal of Imaging. 2020. Vol. 6(12). Pp. 1-23. DOI: https://doi.org/10.3390/jimaging6120141.

Ullah Z., Jamjoom M. An intelligent approach for Arabic handwritten letter recognition using convolutional neural network. PeerJ Computer Science. 2022. Vol. 8. Pp. 1-22. DOI: https://doi.org/10.7717/peerj-cs.995.

Handwritten letter recognition using artificial intelligence / Jeevitha D., Muthu S., Nila I., Santhoshi V. International journal for research in applied science and engineering technology. 2022. Vol. 10. Pp. 2752-2758. DOI: https://doi.org/10.22214/ijraset.2022.42949.

An exploratory study on the handwritten allographic features of multiethnic population with different educational backgrounds / L. Gannetion, K.Y. Wong, P.Y. Lim, K.H. Chang, A.F.L. Abdullah. PloS one. 2022. Vol. 17(10). Pp. 1-16. DOI: https://doi.org/10.1371/journal.pone.0268756.

EMNIST: Extending MNIST to handwritten letters / Cohen G., Afshar S., Tapson J., Van Schaik A. 2017 International Joint Conference on Neural Networks (IJCNN), Anchorage, AK, USA, 14-19 May 2017. Pp. 2921-2926. DOI: https://doi.org/10.48550/arxiv.1702.05373.

Backpropagation applied to handwritten zip code recognition / Y. LeCun et al. Neural Computation. 1989. Vol. 1. Iss. 4. Pp. 541-551. DOI: https://doi.org/10.1162/neco.1989.1.4.541.

Núñez Fernández D., Hosseini S. Real-time handwritten letters recognition on an embedded computer using ConvNets. IEEE Sciences and Humanities International Research Conference (SHIRCON), Lima, Peru, 20-22 November 2018. Pp. 1-4. DOI: https://doi.org/10.1109/SHIRCON.2018.8592981.

Krizhevsky A., Sutskever I., Hinton G. ImageNet classification with deep convolutional neural networks. Communications of the ACM. 2012. Vol. 60. Iss. 6. Pp. 84-90. DOI: https://doi.org/10.1145/3065386.

Going deeper with convolutions / C. Szegedy et al. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 7-12 June 2015. Pp. 1-9. DOI: https://doi.org/10.1109/CVPR.2015.7298594.

Baldominos A., Sáez Y., Isasi P. A survey of handwritten character recognition with MNIST and EMNIST. Applied Sciences. 2019. Vol. 9(15). Pp. 1-16. DOI: https://doi.org/10.3390/app9153169.

Handwritten indic character recognition using capsule networks / B. Mandal, S. Dubey, S. Ghosh, R. Sarkhel, N. Das. 2018 IEEE Applied Signal Processing Conference (ASPCON), Kolkata, India, 07-09 December 2018. Pp. 304-308. DOI: https://doi.org/10.1109/ASPCON.2018.8748550.

Recognition of isolated characters across different input interfaces using 2D DCNN / K. Yadav, A. Kirupakaran, S. Barlaskar, N. Ahmad, R. Laskar, M. Bhuyan. 2021 IEEE Region 10 Conference (TENCON), Auckland, New Zealand, 07-10 December 2021. Pp. 504-509. DOI: https://doi.org/10.1109/TENCON54134.2021.9707451.

He K., Girshick R., Dollár P. Rethinking imagenet pre-training. Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Korea (South), 27 October - 02 November 2019. Pp. 4918-4927. DOI: https://doi.org/10.1109/ICCV.2019.00502.

Albattah W., Albahli S. Intelligent Arabic handwriting recognition using different standalone and hybrid CNN architectures. Applied Sciences. 2022. Vol. 12. Pp. 1-23. DOI: https://doi.org/10.3390/app121910155.

Performance analysis of state-of-the-art convolutional neural network architectures in bangla handwritten character recognition / T. Ghosh, Min-Ha-Zul Abedin, H. Al Banna, N. Mumenin, M. Abu Yousuf. Pattern recognition and image analysis. 2021. Vol. 31. Pp. 60-71. DOI: https://doi.org/10.1134/S1054661821010089.

Bhardwaj A., Ravendra Singh R. Handwritten devanagari character recognition using deep learning – convolutional neural network (CNN) model. PalArch’s Journal of Archaeology of Egypt/Egyptology. 2020. Vol. 17(6). Pp. 7965-7984.

Handwritten devanagari character recognition using modified Lenet and Alexnet convolution neural networks / Duddela P., Vasanth Kumar M.R., Ramana K., Vidhyacharan B. Wireless Personal Communications. 2022. Vol. 122. Pp. 349-378. DOI: https://doi.org/10.1007/s11277-021-08903-4.

Recognizing arabic handwritten literal amount using convolutional neural networks / A. Korichi, S. Sihem, T. Najiba, Z. Ramzi, A. Oussama. Artificial Intelligence and Its Applications : Proceeding of the 2nd International Conference, EL-Oued, Algeria, 28-30 September 2021. Pp. 153-165. DOI: https://doi.org/10.1007/978-3-030-96311-8_15.

A new Arabic handwritten character recognition deep learning system (AHCR-DLS) / Balaha H., Sabry M., Ali H., Badawy M. Neural Computing and Applications. 2020. Vol. 33. Pp. 6325-6367. DOI: https://doi.org/10.1007/s00521-020-05397-2.

Samra A., Al Amin G., Hadi O. An optimized deep residual network with a depth concatenated block for handwritten characters classification. Computers, Materials & Continua. 2021. Vol. 680. Pp. 1-28. DOI: https://doi.org/10.32604/cmc.2021.015318.

Classification of handwritten names of cities and handwritten text recognition using various deep learning models / D. Nurseitov, K. Bostanbekov, M. Kanatov, A. Alimova, A. Abdallah, G. Abdimanap. Advances in Science, Technology and Engineering Systems Journal (ASTESJ). 2021. Vol. 5. Iss. 5. Pp. 934-943. DOI: https://doi.org/10.25046%2Faj0505114.

Vovchuk O., Kyrychenko M. Recognition of handwritten cyrillic letters using PCA. 2019. 6 p.

Economic efficiency of innovative projects of CNN modified architecture application / V. Khavalko, V. Mykhailyshyn, R. Zhelizniak, I. Kovtyk, A. Mazur. CEUR Workshop Proceedings. Vol. 2654: Proceedings of the International workshop on cyber hygiene (CybHyg-2019) co-located with 1st International conference on cyber hygiene and conflict management in global information networks (CyberConf 2019), Kyiv, Ukraine, November 30, 2019. Pp. 182-193.

Розпізнавання рукописних українських літер та цифр з використанням синтетичного набору даних та згорткових нейронних мереж / Є. Чичкарьов, О. Зінченко, О. Балалаєва, А. Сергієнко, О. Ковальов. Grail of Science. 2023. Vol. 23. Pp. 241-253. DOI: https://doi.org/10.36074/grail-of-science.23.12.2022.36.

Study and observation of the variations of accuracies for handwritten digits recognition with various hidden layers and epochs using convolutional neural network / Arif R.B., Siddique M.A.B., Khan M.M.R., Oishe M.R. 4th International Conference on Electrical Engineering and Information & Communication Technology (iCEEiCT), Dhaka, Bangladesh, 13-15 September 2018. Pp. 112-117. DOI: https://doi.org/10.1109/CEEICT.2018.8628078.

Siddique F., Sakib S., Siddique M.A.B. Handwritten digit recognition using convolutional neural network in python with tensorflow and observe the variation of accuracies for various hidden layers. Preprints. 2019. Pp. 1-6. DOI: https://doi.org/10.20944/preprints201903.0039.v1.

LeCun Y., Cortes C., Burges C.J.C. The MNIST database of handwritten digits. URL: http://yann.lecun.com/exdb/mnist (дата звернення: 30.05.2023).

Grother P.J. NIST special database 19 – handprinted forms and characters database. National Institute of Standards and Technology (NIST), Tech. Rep., 1995. DOI: http://doi.org/10.18434/T4H01C.

##submission.downloads##

Опубліковано

2023-12-28

Як цитувати

Балалаєва , О., Чичкарьов , Є., Зінченко , О., Сергієнко , А., & Ковальов , О. (2023). Дослідження та оцінка ефективності методологій розпізнавання рукописних символів з використанням згорткових нейронних мереж. Вісник Приазовського Державного Технічного Університету. Серія: Технічні науки, (47), 118–135. https://doi.org/10.31498/2225-6733.47.2023.299989

Номер

Розділ

122 Комп'ютерні науки та інформаційні технології