Розробка методу перетворення числових даних для навчання глибоких нейромереж
DOI:
https://doi.org/10.15587/1729-4061.2018.145586Ключові слова:
згорткові нейронні мережі, глибоке навчання, перетворення формату, растрові зображенняАнотація
Розглянуто відомі види глибоких нейронних мереж, методи їх навчання з учителем, навчання мереж шумозаглушенню, а також методи кодування даних за допомогою зображень. Показано, що глибокі нейронні мережі підходять для ефективного вирішення завдань класифікації, зокрема для медичного і технічного діагностування. Серед глибоких мереж перспективними є згорткові нейронні мережі внаслідок своєї простої структури і застосування спільних ваг, що дозволяє мережі виділяти схожі ознаки в різних частинах зображень. Навчання згорткової мережі може бути недостатньо ефективним для деяких завдань діагностування, тому доцільно розглянути модифікації методу навчання із застосуванням кодування даних і навчанням шумозаглушенню для поліпшення результату.
Запропоновано метод для навчання згорткової нейронної мережі за допомогою числових даних, перетворених в растрові зображення, що підвищує точність мережі при вирішенні задач класифікації і дозволяє застосовувати згорткові нейронні мережі та їх переваги обробки зображень з табличними даними в якості вхідних. Також пропонований метод не потребує внесення додаткових змін в структуру мережі.
Метод складається з чотирьох етапів – нормалізації методом мінімакса, перетворення даних в двовимірні зображення з використанням поплавкового або термометричного методів кодування, генерації додаткових зображень із спотворенням вхідних даних і попереднього навчання глибокої мережі.
Розроблений метод був програмно реалізований та досліджений при вирішенні низки практичних завдань. Результати вирішення практичних завдань технічного та медичного діагностування показали ефективність методу при незначній кількості результуючих класів і екземплярів для навчання. Метод може бути корисний при діагностуванні на ранніх стадіях прояви дефекту, коли обсяг даних для навчання обмежений
Посилання
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. New York, 749.
- Kukačka, M. (2012). Overview of Deep Neural Networks. WDS 2012: proceedings of 21st Annual Conference of Doctoral Students. Prague, 100–105.
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep learning: adaptive computation and machine learning. London, 775.
- Strigl, D., Kofler, K., Podlipnig, S. (2010). Performance and Scalability of GPU-Based Convolutional Neural Networks. 2010 18th Euromicro Conference on Parallel, Distributed and Network-Based Processing. doi: https://doi.org/10.1109/pdp.2010.43
- Zhou, S., Chen, Q., Wang, X. (2010). Discriminative Deep Belief Networks for image classification. 2010 IEEE International Conference on Image Processing. doi: https://doi.org/10.1109/icip.2010.5649922
- Liu, Y., Zhou, S., Chen, Q. (2011). Discriminative deep belief networks for visual data classification. Pattern Recognition, 44 (10-11), 2287–2296. doi: https://doi.org/10.1016/j.patcog.2010.12.012
- Gol'cev, A. D. (2005). Neyronnye seti s ansamblevoy organizaciey. Kyiv: Naukova dumka, 200.
- Singh, M. S., Pondenkandath, V., Zhou, B., Lukowicz, P., Liwickit, M. (2017). Transforming sensor data to the image domain for deep learning – An application to footstep detection. 2017 International Joint Conference on Neural Networks (IJCNN). doi: https://doi.org/10.1109/ijcnn.2017.7966182
- Sane, P., Agrawal, R. (2017). Pixel normalization from numeric data as input to neural networks: For machine learning and image processing. 2017 International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET). doi: https://doi.org/10.1109/wispnet.2017.8300154
- Sozykin, A. V. (2017). An Overview of Methods for Deep Learning in Neural Networks. Bulletin of the South Ural State University. Series "Computational Mathematics and Software Engineering", 6 (3), 28–59. doi: https://doi.org/10.14529/cmse170303
- Zhou, Y., Song, S., Cheung, N.-M. (2017). On classification of distorted images with deep convolutional neural networks. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). doi: https://doi.org/10.1109/icassp.2017.7952349
- Zheng, S., Song, Y., Leung, T., Goodfellow, I. (2016). Improving the Robustness of Deep Neural Networks via Stability Training. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2016.485
- Salamon, J., Bello, J. P. (2017). Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification. IEEE Signal Processing Letters, 24 (3), 279–283. doi: https://doi.org/10.1109/lsp.2017.2657381
- Dataset for Sensorless Drive Diagnosis Data Set. Available at: https://archive.ics.uci.edu/ml/datasets/Dataset+for+Sensorless+Drive+Diagnosis
- Breast Cancer Wisconsin (Diagnostic) Data Set. Available at: https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)
- Ultrasonic flowmeter diagnostics Data Set. Available at: https://archive.ics.uci.edu/ml/datasets/Ultrasonic+flowmeter+diagnostics
- Gyamfi, K. S., Brusey, J., Hunt, A., Gaura, E. (2018). Linear dimensionality reduction for classification via a sequential Bayes error minimisation with an application to flow meter diagnostics. Expert Systems with Applications, 91, 252–262. doi: https://doi.org/10.1016/j.eswa.2017.09.010
- Li, L., Dai, G., Zhang, Y. (2017). A Membership-based Multi-dimension Hierarchical Deep Neural Network Approach for Fault Diagnosis. Proceedings of the 29th International Conference on Software Engineering and Knowledge Engineering. doi: https://doi.org/10.18293/seke2017-074
- Lee, H.-W., Kim, N., Lee, J.-H. (2017). Deep Neural Network Self-training Based on Unsupervised Learning and Dropout. The International Journal of Fuzzy Logic and Intelligent Systems, 17 (1), 1–9. doi: https://doi.org/10.5391/ijfis.2017.17.1.1
- Agarap, A. F. M. (2018). On breast cancer detection. Proceedings of the 2nd International Conference on Machine Learning and Soft Computing – ICMLSC '18. doi: https://doi.org/10.1145/3184066.3184080
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2018 Mykhailo Pryshliak, Sergey Subbotin, Andrii Oliinyk
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
