Підвищення ефективності навчання бортової системи детектування об’єктів для малогабаритного безпілотного апарату

Автор(и)

  • Vyacheslav Moskalenko Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007, Україна https://orcid.org/0000-0001-6275-9803
  • Anatoliy Dovbysh Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007, Україна https://orcid.org/0000-0003-1829-3318
  • Igor Naumenko Науково-дослідний центр ракетних військ та артилерії вул. Герасима Кондратьєва, 165, м. Суми, Україна, 40021, Україна https://orcid.org/0000-0003-2845-9246
  • Alyona Moskalenko Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007, Україна https://orcid.org/0000-0003-3443-3990
  • Artem Korobov Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007, Україна https://orcid.org/0000-0003-3239-1977

DOI:

https://doi.org/10.15587/1729-4061.2018.139923

Ключові слова:

зростаючий нейронний газ, детектор об’єктів, інформаційний критерій, алгоритм симуляція відпалу

Анотація

Запропоновано модель детектора об’єктів і критерій ефективності навчання моделі. Модель містить 7 перших модулів згорткової мережі Squeezenet, два згорткові різномасштабні шари, та інформаційно-екстремальний класифікатор. Як критерій ефективності навчання моделі детектора розглядається мультиплікативна згортка частинних критеріїв, що враховує ефективність виявлення об’єктів на зображенні та точність класифікаційного аналізу. При цьому додаткове використання алгоритму ортогонального узгодженого кодування при обчисленні високорівневих ознак дозволяє збільшити точність моделі на 4 %.

Розроблено алгоритм навчання детектора об’єктів за умов малого обсягу розмічених навчальних зразків та обмежених обчислювальних ресурсів, доступних на борту малогабаритного безпілотного апарату. Суть алгоритму полягає в адаптації верхніх шарів моделі до доменної області використання на основі алгоритмів зростаючого розріджено кодуючого нейронного газу та симуляції відпалу. Навчання верхніх шарів без вчителя дозволяє ефективно використати нерозмічені дані з доменної області та визначити необхідну кількість нейронів. Показано, що за відсутності тонкої настройки згорткових шарів забезпечується 69 % виявлених об’єктів на зображеннях тестової вибірки Inria Aerial Image. При цьому після тонкої настройки на основі алгоритму симуляції відпалу забезпечується 95 відсотків виявлених об'єктів на тестових зображеннях.

Показано, що використання попереднього навчання без вчителя дозволяє підвищити узагальнюючу здатність вирішальних правил та прискорити ітераційний процес знаходження глобального максимуму при навчанні з учителем на вибірці обмеженого обсягу. При цьому усунення ефекту перенавчання здійснюється шляхом оптимального вибору значення гіперпараметру, що характеризує ступінь покриття вхідних даних нейронами мережі

Спонсор дослідження

  • Робота виконана на базі лабораторії інтелектуальних систем кафедри комп’ютерних наук Сумського державного університету при фінансовій підтримці МОН України в рамках держбюджетної науково-дослідної роботи ДР № 0117U003934

Біографії авторів

Vyacheslav Moskalenko, Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007

Кандидат технічних наук, доцент

Кафедра комп’ютерних наук

Anatoliy Dovbysh, Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007

Доктор технічних наук, професор, завідувач кафедри

Кафедра комп’ютерних наук

Igor Naumenko, Науково-дослідний центр ракетних військ та артилерії вул. Герасима Кондратьєва, 165, м. Суми, Україна, 40021

Кандидат військових наук, старший науковий співробітник, полковник

Alyona Moskalenko, Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007

Кандидат технічних наук, асистент

Кафедра комп’ютерних наук

Artem Korobov, Сумський державний університет вул. Римського-Корсакова, 2, м. Суми, Україна, 40007

Аспірант

Кафедра комп’ютерних наук

Посилання

  1. Patricia, N., Caputo, B. (2014). Learning to Learn, from Transfer Learning to Domain Adaptation: A Unifying Perspective. 2014 IEEE Conference on Computer Vision and Pattern Recognition. doi: https://doi.org/10.1109/cvpr.2014.187
  2. Nguyen, A., Yosinski, J., Clune, J. (2015). Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi: https://doi.org/10.1109/cvpr.2015.7298640
  3. Ayumi, V., Rere, L. M. R., Fanany, M. I., Arymurthy, A. M. (2016). Optimization of convolutional neural network using microcanonical annealing algorithm. 2016 International Conference on Advanced Computer Science and Information Systems (ICACSIS). doi: https://doi.org/10.1109/icacsis.2016.7872787
  4. Antipov, G., Berrani, S.-A., Ruchaud, N., Dugelay, J.-L. (2015). Learned vs. Hand-Crafted Features for Pedestrian Gender Recognition. Proceedings of the 23rd ACM International Conference on Multimedia – MM ’15. doi: https://doi.org/10.1145/2733373.2806332
  5. Carrio, A., Sampedro, C., Rodriguez-Ramos, A., Campoy, P. (2017). A Review of Deep Learning Methods and Applications for Unmanned Aerial Vehicles. Journal of Sensors, 2017, 1–13. doi: https://doi.org/10.1155/2017/3296874
  6. Xu, X., Ding, Y., Hu, S. X., Niemier, M., Cong, J., Hu, Y., Shi, Y. (2018). Scaling for edge inference of deep neural networks. Nature Electronics, 1 (4), 216–222. doi: https://doi.org/10.1038/s41928-018-0059-3
  7. Loquercio, A., Maqueda, A. I., del-Blanco, C. R., Scaramuzza, D. (2018). DroNet: Learning to Fly by Driving. IEEE Robotics and Automation Letters, 3 (2), 1088–1095.doi: https://doi.org/10.1109/lra.2018.2795643
  8. Mathew, A., Mathew, J., Govind, M., Mooppan, A. (2017). An Improved Transfer learning Approach for Intrusion Detection. Procedia Computer Science, 115, 251–257. doi: https://doi.org/10.1016/j.procs.2017.09.132
  9. Qassim, H., Verma, A., Feinzimer, D. (2018). Compressed residual-VGG16 CNN model for big data places image recognition. 2018 IEEE 8th Annual Computing and Communication Workshop and Conference (CCWC). doi: https://doi.org/10.1109/ccwc.2018.8301729
  10. Nakahara, H., Yonekawa, H., Sato, S. (2017). An object detector based on multiscale sliding window search using a fully pipelined binarized CNN on an FPGA. 2017 International Conference on Field Programmable Technology (ICFPT). doi: https://doi.org/10.1109/fpt.2017.8280135
  11. Moskalenko, V., Moskalenko, A., Pimonenko, S., Korobov, A. (2017). Development of the method of features learning and training decision rules for the prediction of violation of service level agreement in a cloud-based environment. Eastern-European Journal of Enterprise Technologies, 5 (2 (89)), 26–33. doi: https://doi.org/10.15587/1729-4061.2017.110073
  12. Feng, Q., Chen, C. L. P., Chen, L. (2016). Compressed auto-encoder building block for deep learning network. 2016 3rd International Conference on Informative and Cybernetics for Computational Social Systems (ICCSS). doi: https://doi.org/10.1109/iccss.2016.7586437
  13. Chen, X., Xiang, S., Liu, C.-L., Pan, C.-H. (2014). Aircraft Detection by Deep Convolutional Neural Networks. IPSJ Transactions on Computer Vision and Applications, 7, 10–17. doi: https://doi.org/10.2197/ipsjtcva.7.10
  14. Labusch, K., Barth, E., Martinetz, T. (2009). Sparse Coding Neural Gas: Learning of overcomplete data representations. Neurocomputing, 72 (7-9), 1547–1555. doi: https://doi.org/10.1016/j.neucom.2008.11.027
  15. Mrazova, I., Kukacka, M. (2013). Image Classification with Growing Neural Networks. International Journal of Computer Theory and Engineering, 422–427. doi: https://doi.org/10.7763/ijcte.2013.v5.722
  16. Palomo, E. J., Lopez-Rubio, E. (2016). The Growing Hierarchical Neural Gas Self-Organizing Neural Network. IEEE Transactions on Neural Networks and Learning Systems, 1–10. doi: https://doi.org/10.1109/tnnls.2016.2570124
  17. Rere, L. M. R., Fanany, M. I., Arymurthy, A. M. (2016). Metaheuristic Algorithms for Convolution Neural Network. Computational Intelligence and Neuroscience, 2016, 1–13. doi: https://doi.org/10.1155/2016/1537325
  18. Maggiori, E., Tarabalka, Y., Charpiat, G., Alliez, P. (2017). High-Resolution Aerial Image Labeling With Convolutional Neural Networks. IEEE Transactions on Geoscience and Remote Sensing, 55 (12), 7092–7103. doi: https://doi.org/10.1109/tgrs.2017.2740362

##submission.downloads##

Опубліковано

2018-07-31

Як цитувати

Moskalenko, V., Dovbysh, A., Naumenko, I., Moskalenko, A., & Korobov, A. (2018). Підвищення ефективності навчання бортової системи детектування об’єктів для малогабаритного безпілотного апарату. Eastern-European Journal of Enterprise Technologies, 4(9 (94), 19–26. https://doi.org/10.15587/1729-4061.2018.139923

Номер

Том 4 № 9 (94) (2018): Інформаційно-керуючі системи

Розділ

Інформаційно-керуючі системи

Ліцензія

Авторське право (c) 2018 Vyacheslav Moskalenko, Anatoliy Dovbysh, Igor Naumenko, Alyona Moskalenko, Artem Korobov

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.