Розроблення програмно-алгоритмічного забезпечення розпаралелення процесу навчання штучних нейронних мереж з використанням технологій CUDA
DOI:
https://doi.org/10.15587/2706-5448.2021.239784Ключові слова:
програмне забезпечення, штучні нейронні мережі, Python, PyTorch framework, CUDA, модифікована архітектура U-NetАнотація
Об’єктом дослідження є розпаралелення процесу навчання штучних нейронних мереж для автоматизації процедури аналізу медичних зображень за допомогою мови програмування Python, фреймворку PyTorch та технології Compute Unified Device Architecture (CUDA). Робота цього фреймворку базується на моделі Define-by-Run. Проведено аналіз наявних хмарних технологій для реалізації завдання та аналіз алгоритмів навчання штучних нейронних мереж. Було використано модифіковану архітектуру U-Net з бібліотеки MedicalTorch. Метою її застосування була необхідність інформаційної системи в мережі, що може ефективно навчатись при невеликих наборах даних. Оскільки в області медицини одним з найбільш проблемних місць є наявність великих датасетів, що пов’язано з вимогами до конфіденційності даних такого характеру. Отримана інформаційна система здатна реалізувати поставлені перед нею задачі, містить максимально зрозумілий інтерфейс користувача та весь необхідний комплекс інструментів для спрощення та автоматизації процесу візуалізації та аналізу даних. Здійснено порівняння ефективності тренування нейронних мереж за допомогою центрального процесора (CPU) та за допомогою графічного процесора (GPU) з використанням технологій CUDA. В ході дослідження використовувалися хмарні технології. Серед хмарних сервісів було розглянуто Google Colab та Microsoft Azure. Спершу було використано Colab для побудови прототипу. Тому для ефективного навчання готової архітектури штучної нейронної мережі використовувався сервіс Azure. Проведено виміри з використанням хмарних технологій в обох сервісах. Для навчання моделі використовувався оптимізатор Adam. Також було проведено виміри тривалості навчання за допомогою CPU, щоб оцінити пришвидшення від використання технологій CUDA. Було реалізовано оцінку отриманого пришвидшення завдяки використанню обчислень на GPU та хмарних технологій. Також було проведено виміри тривалості навчання за допомогою CPU, щоб оцінити пришвидшення від використання технологій CUDA. Розроблена під час досліджень модель показала задовільні результати за метриками Джаккара та Дайса у вирішенні поставленої задачі. Ключовим чинником успішності цього дослідження були сервіси хмарних обчислень.
Посилання
- Sokolovskyy, Y. I., Shymanskyi, V. M., Mokrytska, O. V., Kharko, Y. V. (2019). Neural network model for identification of material creep curves using CUDA technologies. Ukrainian Journal of Information Technology, 1 (1), 11–16. doi: http://doi.org/10.23939/ujit2019.01.011
- Manokhin, D. (2021) Prohramno alhorytmichne zabezpechennia rozparalelennia protsesu navchannia shtuchnykh neironnykh merezh z vykorystanniam tekhnolohii CUDA. Mizhnarodna studentska naukova konferentsiia z pytan prykladnoi matematyky ta kompiuternykh nauk (MSNKPMK-2021). Lviv. Available at: https://ami.lnu.edu.ua/wp-content/uploads/2021/05/Ministerstvo-osvity-i-nauky-Ukrainy.docx
- Ambros, R., Waltham, R. et. al. (2021). Godfrey Hounsfield. Available at: https://radiopaedia.org/articles/godfrey-hounsfield?lang=us
- Bell, D. J., Mirjan, Pr., Nadrljanski, M. et. al. (2021). Computed tomography. Available at: https://radiopaedia.org/articles/computed-tomography
- Bell, D. J., Greenway, K. et. al. (2021). Hounsfield unit. Available at: https://radiopaedia.org/articles/hounsfield-unit
- Goodfellow, I., Bengio, Yo., Courville, A. (2016). Deep Learning. MIT Press, 781.
- Ciresan, D. C., Gambardella, L. M., Giusti, A. (2012). Deep neural networks segment neuronal membranes in electron microscopy images. NIPS, 2852–2860.
- Ronnenbergerm, O., Fischerm, P., Broxm, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer, LNCS, 9351, 234–241. doi: http://doi.org/10.1007/978-3-319-24574-4_28
- Chilamkurthy, S., Ghosh, R., Tanamala, S., Biviji, M., Campeau, N. G., Venugopal, V. K., Warier, P. (2018). Development and validation of deep learning algorithms for detection of critical findings in head CT scans. arXiv preprint. Available at: https://arxiv.org/abs/1803.05854
- RSNA Intracranial Hemorrhage Detection (2019). Radiological Society of North Ameriaca. Available at: https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection/overview
- Hssayeni, M. D., Croock, M. S., Salman, A. D., Al-khafaji Hassan Falah, Yahya, Z. A., Ghoraani, B. (2020). Intracranial Hemorrhage Segmentation Using a Deep Convolutional Model. Data, 5 (1), 14. doi: http://doi.org/10.3390/data5010014
- Goldberger, A. L., Amaral, L. A., Glass, L., Hausdorff, J. M., Ivanov, P. C., Mark, R. G. et. al. (2000). PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals. Circulation, 101 (23), E215–E220. doi: http://doi.org/10.1161/01.cir.101.23.e215
- Perone, C. S., Cclauss, Saravia, E., Ballester, P. L., Tare, M. (2018). Perone/medicaltorch: Release v0.2 (v0.2). doi: https://doi.org/10.5281/zenodo.1495335
- Hssayeni, M. (2020). Computed Tomography Images for Intracranial Hemorrhage Detection and Segmentation. PhysioNet. 1.3.1. doi: https://doi.org/10.13026/4nae-zg36
- Tokui, S., Oono, K. (2015). Chainer: a Next-Generation Open Source Framework for Deep Learning. Available at: http://learningsys.org/papers/LearningSys_2015_paper_33.pdf
- Hu, W., Miyato, T., Tokui, S., Matsumoto, E., Sugiyama, M.. (2017). Learning Discrete Representations via Information Maximizing Self-Augmented Training. Proceedings of the 34th International Conference on Machine Learning Proceedings of Machine Learning Research, 70, 1558–1567. Available at: https://proceedings.mlr.press/v70/hu17b.html
- PyTorch Documentation (2021) Available at: https://pytorch.org/docs/stable/index.html
- Colaboratory Frequently Asked Questions (2021). Available at: https://research.google.com/colaboratory/faq.html
- How Azure Machine Learning works: Architecture and concepts (2020). Available at: https://docs.microsoft.com/en-us/azure/machine-learning/concept-azure-machine-learning-architecture
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2021 Yaroslav Sokolovskyy, Denys Manokhin, Yaroslav Kaplunsky, Olha Mokrytska
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
