Використання нейронної мережі у другій ступені ансамбльового класифікатора для підвищення якості класифікації об'єктів на зображеннях
DOI:
https://doi.org/10.15587/1729-4061.2022.258187Ключові слова:
багатошаровий персептрон, нейронна мережа, ансамблевий класифікатор, вагові коефіцієнти, класифікація зображеньАнотація
Розпізнавання об'єктів на зображеннях використовується у багатьох сферах практичного використання. Дуже часто, прогрес у використанні багато в чому залежить від співвідношення якості розпізнавання об'єктів і необхідного обсягу обчислень. Останні досягнення в галузі розпізнавання пов'язані з розробкою архітектур нейронних мереж з дуже значним обсягом обчислень, які навчаються на великих наборах даних протягом дуже тривалого часу на найсучасніших комп'ютерах. Для багатьох практичних застосувань немає можливості зібрати такі великі набори даних для навчання і можуть бути використані тільки обчислювачі з обмеженими обчислювальними потужностями. Тому пошук рішень, які відповідають цим практичним обмеженням, є актуальним. Представлений ансамблевий класифікатор, який використовує стекінг на другому ступені. Використання класифікаторів, що суттєво відрізняються, на першому ступені і багатошарового персептрона на другому ступені дозволило значно покращити співвідношення якості класифікації та необхідного обсягу обчислень при навчанні на невеликих наборах даних. Проведене дослідження показало, що використання багатошарового персептрона на другому ступені дозволяє зменшити помилку в порівнянні з використанням на другому ступені мажоритарного голосування. На наборі даних MNIST зменшення помилки становило 29–39 %. На наборі даних CIFAR-10 зменшення помилки становило 13–17 %. Порівняння запропонованої архітектури ансамблевого класифікатора з архітектурою класифікатора типу трансформер показало зменшення обсягу обчислень при одночасному зменшенні помилки. Для набору даних CIFAR-10 вдалося досягти зменшення помилки на 8 % при обсязі обчислень менше у 22 рази. Для набору даних MNIST зменшення помилки становило 62 % при виграші за обсягом обчислень у 50 разів
Посилання
- Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). Available at: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
- Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., Fei-Fei, L. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition. doi: https://doi.org/10.1109/cvpr.2009.5206848
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T. et. al. (2021). An image is worth 16x16 words: transformers for image recognition at scale. arXiv. Available at: https://arxiv.org/pdf/2010.11929.pdf
- Sun, C., Shrivastava, A., Singh, S., Gupta, A. (2017). Revisiting Unreasonable Effectiveness of Data in Deep Learning Era. 2017 IEEE International Conference on Computer Vision (ICCV). doi: https://doi.org/10.1109/iccv.2017.97
- Brownlee, J. Deep Learning for Computer Vision. Image Classification, Object Detection, and Face Recognition in Python. Available at: https://machinelearningmastery.com/deep-learning-for-computer-vision/
- Denil, M., Shakibi, B., Dinh, L., Ranzato, M. A., Freitas, N. (2014). Predicting Parameters in Deep Learning. arXiv. doi: https://doi.org/10.48550/arXiv.1306.0543
- Blalock, D., Gonzalez Ortiz, J. J., Frankle, J., Guttag, J. (2020). What is the state of neural network pruning? arXiv. doi: https://doi.org/10.48550/arXiv.2003.03033
- Tolstikhin, I., Houlsby, N., Kolesnikov, A., Beyer, L., Zhai, X., Unterthiner, T. et. al. (2021). MLP-Mixer: An all-MLP Architecture for Vision. arXiv. doi: https://doi.org/10.48550/arXiv.2105.01601
- Aggarwal, C. C., Sathe, S. (2017). Outlier Ensembles. An Introduction. Springer, 276. doi: https://doi.org/10.1007/978-3-319-54765-7
- Rokach, L. (2019). Ensemble Learning. Pattern Classification Using Ensemble Methods. World Scientific, 300. doi: https://doi.org/10.1142/11325
- Hirata, D., Takahashi, N. (2020). Ensemble learning in CNN augmented with fully connected subnetworks. arXiv. doi: https://doi.org/10.48550/arXiv.2003.08562
- Ting, K. M., Witten, I. H. (1999). Issues in Stacked Generalization. Journal of Artificial Intelligence Research, 10, 271–289. doi: https://doi.org/10.1613/jair.594
- LeCun, Y., Cortes, C., Burges, C. J. C. The MNIST database of handwritten digits. Available at: http://yann.lecun.com/exdb/mnist/
- Krizhevsky, A. The CIFAR-10 dataset. Available at: https://www.cs.toronto.edu/~kriz/cifar.html
- Hassani, A., Walton, S., Shah, N., Abuduweili, A., Li, J., Shi, H. (2021). Escaping the Big Data Paradigm with Compact Transformers. arXiv. doi: https://doi.org/10.48550/arXiv.2104.05704
- Guo, M.-H., Liu, Z.-N., Mu, T.-J., Hu, S.-M. (2021). Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks. arXiv. doi: https://doi.org/10.48550/arXiv.2105.02358
- Lee-Thorp, J., Ainslie, J., Eckstein, I., Ontañón, S. (2021). FNet: Mixing Tokens with Fourier Transforms. arXiv. doi: https://doi.org/10.48550/arXiv.2105.03824
- Liu, H., Dai, Z., So, D. R., Le, Q. V. (2021). Pay Attention to MLPs. arXiv. doi: https://doi.org/10.48550/arXiv.2105.08050
- Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z. et. al. (2021). Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. arXiv. doi: https://doi.org/10.48550/arXiv.2103.14030
- Code examples. Computer vision. Keras. Available at: https://keras.io/examples/vision/
- Brownlee, J. Better Deep Learning. Train Faster, Reduce Overfitting, and Make Better Predictions. Available at: https://machinelearningmastery.com/better-deep-learning/
- Brownlee, J. (2021). Weight Initialization for Deep Learning Neural Networks. Available at: https://machinelearningmastery.com/weight-initialization-for-deep-learning-neural-networks/
- Colab. Available at: https://colab.research.google.com/notebooks/welcome.ipynb
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2022 Oleg Galchonkov, Mykola Babych, Andrii Zasidko, Serhii Poberezhnyi
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
