Розробка математичної моделі та алгоритму навчання нейронної мережі із розрідженими дипольними синаптичними зв’язками для розпізнавання образів

Автор(и)

  • Василь Володимирович Литвин Національний університет «Львівська Політехніка», Україна https://orcid.org/0000-0002-9676-0180
  • Роман Михайлович Пелещак Національний університет «Львівська Політехніка», Україна https://orcid.org/0000-0002-0536-3252
  • Іван Романович Пелещак Національний університет «Львівська Політехніка» , Україна https://orcid.org/0000-0002-7481-8628
  • Оксана Ігорівна Черняк Дрогобицький державний педагогічний університет імені Івана Франка, Україна https://orcid.org/0000-0001-6034-1016
  • Любомир Ігорович Демків Національний університет «Львівська Політехніка» , Україна https://orcid.org/0000-0002-2802-3461

DOI:

https://doi.org/10.15587/1729-4061.2021.245010

Ключові слова:

математична модель, нейронна мережа, розріджені дипольні синаптичні зв’язки, розпізнавання образів

Анотація

Для розв’язування задач розпізнавання спотворених образів за допомогою комп’ютерних систем використовуються структуровані нейронні мережі достатньо великого розміру. Однією з таких нейронних мереж, яка може повністю відновити спотворене зображення, є повнозв’язна псевдоспінова (дипольна) нейромережа, яка володіє асоціативною пам’яттю. При подачі на її вхід деякого образу вона автоматично відбирає і подає на вихід той образ, який є найбільш близьким до вхідного. Цей образ зберігається у пам’яті нейронної мережі в межах парадигми Хопфілда. У межах цієї парадигми можна запам’ятовувати і відтворювати масиви інформації, які володіють власною внутрішньою структурою.

З метою зменшення часу навчання розмір нейромережі мінімізують завдяки спрощенню її структури на основі одного із підходів: перший базується на «регуляризації», а другий – на вилученні із нейронної мережі синаптичних зв’язків. У запропонованій роботі спрощення структури повнозв’язної дипольної нейронної мережі базується саме на диполь-дипольній взаємодії між найближчими сусідніми нейронами мережі.

Запропоновано мінімізацію розміру нейронної мережі завдяки диполь-дипольних синаптичних зв’язків між найближчими нейронами, що скорочує час обчислювального ресурсу при розпізнаванні спотворених образів. Виведено співвідношення для вагових коефіцієнтів синаптичних зв’язків між нейронами в дипольному наближенні. Розроблено алгоритм навчання дипольної нейронної мережі з розрідженими синаптичними зв’язками, яка базується на диполь-дипольній взаємодії між найближчими нейронами. Проведено комп’ютерний експеримент, який показав, що нейронна мережа з розрідженими дипольними зв’язками у 3 рази швидше розпізнає спотворені образи (цифри від 0 до 9, які зображені на 25 пікселях), порівняно з повнозв’язною нейронною мережею

Біографії авторів

Василь Володимирович Литвин, Національний університет «Львівська Політехніка»

Доктор технічних наук, професор

Кафедра інформаційних систем та мереж

Роман Михайлович Пелещак, Національний університет «Львівська Політехніка»

Доктор фізико-математичних наук, професор

Кафедра інформаційних систем та мереж

Іван Романович Пелещак, Національний університет «Львівська Політехніка»

Аспірант

Кафедра інформаційних систем та мереж

Оксана Ігорівна Черняк, Дрогобицький державний педагогічний університет імені Івана Франка

Аспірантка

Кафедра математики

Любомир Ігорович Демків, Національний університет «Львівська Політехніка»

Доктор технічних наук, професор

Кафедра інформаційних систем та мереж

Посилання

  1. Peleshchak, I., Peleshchak, R., Lytvyn, V., Kopka, J., Wrzesien, M., Korniak, J. et. al. (2020). Spectral Image Recognition Using Artificial Dynamic Neural Network in Information Resonance Mode. Artificial Intelligence and Industrial Applications, 313–322. doi: https://doi.org/10.1007/978-3-030-51186-9_22
  2. Lytvyn, V., Peleshchak, I., Peleshchak, R., Holoshchuk, R. (2018). Detection of multispectral input images using nonlinear artificial neural networks. 2018 14th International Conference on Advanced Trends in Radioelecrtronics, Telecommunications and Computer Engineering (TCSET). doi: https://doi.org/10.1109/tcset.2018.8336169
  3. Greenberg, S., Guterman, H. (1996). Neural-network classifiers for automatic real-world aerial image recognition. Applied Optics, 35 (23), 4598. doi: https://doi.org/10.1364/ao.35.004598
  4. Andriyanov, N. A., Dementiev, V. E., Kargashin, Y. D. (2021). Analysis of the impact of visual attacks on the characteristics of neural networks in image recognition. Procedia Computer Science, 186, 495–502. doi: https://doi.org/10.1016/j.procs.2021.04.170
  5. Simard, P. Y., Steinkraus, D., Platt, J. C. (2003). Best practices for convolutional neural networks applied to visual document analysis. Seventh International Conference on Document Analysis and Recognition, 2003. Proceedings. doi: https://doi.org/10.1109/icdar.2003.1227801
  6. Zhou, Y., Song, S., Cheung, N.-M. (2017). On classification of distorted images with deep convolutional neural networks. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). doi: https://doi.org/10.1109/icassp.2017.7952349
  7. Ha, M., Byun, Y., Kim, J., Lee, J., Lee, Y., Lee, S. (2019). Selective Deep Convolutional Neural Network for Low Cost Distorted Image Classification. IEEE Access, 7, 133030–133042. doi: https://doi.org/10.1109/access.2019.2939781
  8. Li, B., Tian, M., Zhang, W., Yao, H., Wang, X. (2021). Learning to predict the quality of distorted-then-compressed images via a deep neural network. Journal of Visual Communication and Image Representation, 76, 103004. doi: https://doi.org/10.1016/j.jvcir.2020.103004
  9. Guan, X., Li, F., He, L. (2020). Quality Assessment on Authentically Distorted Images by Expanding Proxy Labels. Electronics, 9 (2), 252. doi: https://doi.org/10.3390/electronics9020252
  10. Peleshchak, R., Lytvyn, V., Peleshchak, I., Vysotska, V. (2021). Stochastic Pseudo-Spin Neural Network with Tridiagonal Synaptic Connections. 2021 IEEE International Conference on Smart Information Systems and Technologies (SIST). doi: https://doi.org/10.1109/sist50301.2021.9465998
  11. Slyadnikov, E. E. (2007). Fizicheskaya model' i associativnaya pamyat' dipol'noy sistemy mikrotrubochki citoskeleta. Zhurnal tehnicheskoy fiziki, 77 (7), 77–86. Availale at: https://journals.ioffe.ru/articles/viewPDF/9173
  12. Slyadnikov, E. E. (2011). Fizicheskie osnovy, modeli predstavleniya i raspoznavaniya obrazov v mikrotrubochke citoskeleta neyrona. Zhurnal tehnicheskoy fiziki, 81 (12). Availale at: http://journals.ioffe.ru/articles/viewPDF/10478
  13. Penrouz, R. (2005). Teni razuma: v poiskah nauki o soznanii. Moscow-Izhevsk: IKI, 688. Availale at: http://alpha.sinp.msu.ru/~panov/Penrose-Shadows.pdf
  14. Hameroff, S. R. (1994). Quantum coherence in microtubules: A neural basis for emergent consciousness? Journal of Consciousness Studies, 1 (1), 91–118. Availale at: https://www.ingentaconnect.com/contentone/imp/jcs/1994/00000001/00000001/art00008
  15. Brown, J. A., Tuszynski, J. A. (1999). A review of the ferroelectric model of microtubules. Ferroelectrics, 220 (1), 141–155. doi: https://doi.org/10.1080/00150199908216213
  16. Tuszyński, J. A., Hameroff, S., Satarić, M. V., Trpisová, B., Nip, M. L. A. (1995). Ferroelectric behavior in microtubule dipole lattices: Implications for information processing, signaling and assembly/disassembly. Journal of Theoretical Biology, 174 (4), 371–380. doi: https://doi.org/10.1006/jtbi.1995.0105
  17. Stebbings, H. (1995). Microtubule-based intracellular transport of organelles. The Cytoskeleton: A Multi-Volume Treatise, 113–140. doi: https://doi.org/10.1016/s1874-6020(06)80017-0
  18. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79 (8), 2554–2558. doi: https://doi.org/10.1073/pnas.79.8.2554
  19. Yurkovych, N. V., Herasimov, O. V., Yurkovych, V. M., Mar’yan, M. I. (2014). Composition of neural networks by hebb algorithm and direct spreading in characters encoding systems. Uzhhorod University Scientific Herald. Series Physics, 36, 161–167. Availale at: http://teib.info/?wpfb_dl=1138
  20. Chernіak, O., Peleshchak, R., Doroshenko, M. (2020). Reduction of display time of input images by pseudo-spin neural network due to rarefaction of synaptic connections. Modern problems in science. Abstracts of VIII International Scientific and Practical Conference. Prague, 680–686. Availale at: https://isg-konf.com/uk/modern-problems-in-science-ua/

##submission.downloads##

Опубліковано

2021-12-16

Як цитувати

Литвин, В. В. ., Пелещак, Р. М., Пелещак, І. Р., Черняк, О. І., & Демків, Л. І. (2021). Розробка математичної моделі та алгоритму навчання нейронної мережі із розрідженими дипольними синаптичними зв’язками для розпізнавання образів. Eastern-European Journal of Enterprise Technologies, 6(4 (114), 21–27. https://doi.org/10.15587/1729-4061.2021.245010

Номер

Том 6 № 4 (114) (2021): Математика та кібернетика - прикладні аспекти

Розділ

Математика та кібернетика - прикладні аспекти

Ліцензія

Авторське право (c) 2021 Vasyl Lytvyn, Roman Peleshchak, Ivan Peleshchak, Oksana Cherniak, Lyubomyr Demkiv

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.