Методи виявлення аномалій у мікросервісах із використанням статистичного аналізу
DOI:
https://doi.org/10.30837/2522-9818.2024.2.121Ключові слова:
виявлення аномалій; мікросервіси; статистичний аналіз; регресійний аналіз; кластеризація.Анотація
Предметом дослідження є методи виявлення аномалій у мікросервісах із використанням статистичного аналізу. Мікросервіси є популярною архітектурою для розроблення програмного забезпечення, що дає змогу створювати гнучкі та масштабовані системи. Однак через свою складність такі системи можуть бути вразливими до різного роду аномалій, що здатні впливати на їх продуктивність і надійність. Мета роботи полягає в аналітичному огляді сучасних методів виявлення аномалій у мікросервісних системах із впровадженням методів статистичного аналізу. Виявлення аномалій є критично важливим для стабільної роботи системи та швидкого реагування на можливі проблеми. Для досягнення мети сформульовано такі завдання: огляд методів виявлення аномалій у мікросервісах; опис принципів регресійного аналізу, кластерного аналізу та методу головних компонент; порівняння методів за критеріями ефективності, обчислювальної складності, стійкості до шуму та адаптивності; рекомендації щодо вибору методу та можливість їх комбінування; підбиття висновків та визначення напрямів для майбутніх досліджень. Розглянуто метод для виявлення аномалій у мікросервісах, що передбачає регресійний аналіз, кластерний аналіз та метод головних компонент (PCA). Результати дослідження підтвердили, що кожен метод має переваги та обмеження. Регресійний аналіз ефективний у системах з явними трендами, але менш ефективний у складних і динамічних системах. Кластерний аналіз стійкий до шуму та здатний виявляти як окремі аномалії, так і групи аномальних подій, але вимагає значних обчислювальних ресурсів. Метод головних компонент (PCA) є потужним інструментом для аналізу високорозмірних даних, але має обмеження у високій складності обчислень та інтерпретації результатів. Кожен із розглянутих методів має свої переваги й недоліки, тому в дослідженні запропоновано новий метод, що полягатиме в їх комбінуванні. Висновки наголошують на важливості статистичного аналізу для моніторингу мікросервісних систем. Правильно підібрані методи аналізу інформації полегшують виявлення аномалій у складних середовищах, таких як мікросервіси. Використання регресійного аналізу, кластерного аналізу та методу головних компонент дає змогу отримати глибокий інсайт щодо роботи системи. Проте для найкращих результатів рекомендується комбінувати різні методи та аналізувати їх застосування в контексті конкретної системи. Такий підхід забезпечує більшу стійкість до аномалій та швидше реагування на них у мікросервісних архітектурах.
Посилання
Список літератури
Ghani A., Ahmad S., Khan M. A., Khalid S., Zohaib S. Огляд технік виявлення відхилень для мікросервісів. IEEE Access. №9. 2021. Р. 122766–122805. DOI: https://ieeexplore.ieee.org/document/10479425
Andrzejak M., Moniruzzaman M., Schumann D., Winkler S., Biffl C. Виявлення аномалій у даних веб-трафіку за допомогою статистичного навчання. Міжнародна конференція IEEE з видобутку даних. IEEE, 2009. Р. 423–430. DOI: https://ieeexplore.ieee.org/document/6211951
Singh R., Paul A. Виявлення аномалій у мікросервісах за допомогою статистичного навчання. Журнал хмарних обчислень, 2021. 9(1), 21 р.
Carvalho F. D., Gama J., Rocha R. Моніторинг потоків мережевого трафіку для виявлення аномалій за допомогою однокласових опорних векторних машин. Міжнародна конференція IEEE з видобутку даних. IEEE, 2010. Р. 77–84. DOI: https://ieeexplore.ieee.org/document/9751518
Alarcar J., Nguyen H. Q., Nguyen S. V., Gaber M. Виявлення аномалій в архітектурах хмарних мікросервісів. ACM Computing Surveys. №52. 2019. Р. 1–38. DOI: https://www.sciencedirect.com/science/article/pii/S0164121223003126
Jiang X., Chen C., Zhou Y., Zhang J., Liu X. Виявлення аномалій для мікросервісів на основі глибокого навчання. Міжнародна конференція IEEE з веб-сервісів (ICWS). IEEE, 2021. Р. 574–581. DOI: https://ieeexplore.ieee.org/document/9461271
Li Z., Zhang W., Li Z., Zhao M. Виявлення аномалій для мікросервісів. ACM Computing Surveys. №53. 2020. Р. 1–42. DOI: https://dl.acm.org/doi/10.1145/3639478.3643535
He S., Jin H., Dai W., Hu X. Виявлення аномалій в системах на основі мікросервісів. IEEE Access. №6. 2018. Р. 8459–8469. DOI: https://doi.org/10.1109/ACCESS.2018.2805848
Liu F. T., Ting K. M., Zhou Z. H. Outlier Detection and Classification: A Review. In: Aggarwal, C. C., Zhai, Y. (Eds.), Outlier Analysis. Springer, Berlin, Heidelberg, 2012. Р. 1–21. DOI: https://www.sciencedirect.com/science/article/pii/S2772662223000048
Luo J., Wu J., Zhang Y., Sun L., Liu Y. Виявлення аномалій для мікросервісів на основі федеративного навчання. Міжнародна конференція IEEE з веб-сервісів (ICWS). IEEE, 2022. Р. 582–589. DOI: https://ieeexplore.ieee.org/document/9461272
He P., Ranjan R., Nogueira J., Veiga L. M., Zhao W. Огляд виявлення аномалій для мікросервісів в хмарному обчисленні. Журнал системного та програмного забезпечення. № 182. 2021. 111318 р. DOI: https://journalofcloudcomputing.springeropen.com/articles/10.1186/s13677-022-00296-4
Pimentel A., Clifton L., Clifton L., Lee Y., Kang A. (2014), Огляд технік виявлення аномалій у даних часових рядів. Сигнальна обробка. №92. 2014. Р. 67–81. DOI: https://link.springer.com/chapter/10.1007/978-3-030-73100-7_60
Jiang Y., Tan K. M. C., Lam S. W., Chen P. Виявлення аномалій за допомогою однокласових опорних векторних машин у високорозмірних просторах. Міжнародна конференція IEEE з видобутку даних. 2017. Р. 622–631. DOI: https://doi.org/10.110
Xu W., Huang C., Li W., Dong Z., Xu D. Виявлення аномалій в системах хмарного обчислення: огляд. Міжнародна конференція IEEE з хмарного обчислення. IEEE, 2014. Р. 986–993. DOI: https://ieeexplore.ieee.org/document/5331755
Hawkins D. M. Викиди: виявлення аномалій у даних. Чам: Springer International Publishing. 2016. DOI: https://link.springer.com/10.1007/978-1-4899-7502-7_912-1
Patcha A., Park J.-M. Огляд технік виявлення аномалій: існуючі рішення та останні технологічні тенденції. Комп'ютерні мережі. №51. 2007. Р. 3448–3470. DOI: https://doi.org/10.1016/j.comnet.2007.02.001
Thompson R., Williams L. Прикладні моделі лінійної регресії. Sage Publications. 2019. DOI: https://doi.org/10.4135/9781412993882
Kim Y., Lee H. Аналіз кластерів: концепції та практика. Springer. 2017.
Stewart D., DeCoster J. Аналіз головних компонент і пов'язані техніки. Routledge. 2020.
Yu S., Zhao L., Zhang Y. Anomaly Detection in Microservices Using Principal Component Analysis (PCA). Visual Studio Magazine. 2019. DOI: http://dx.doi.org/10.1109/ACCESS.2020.3044610
References
Ghani, A., Ahmad, S., Khan, M. A., Khalid, S., Zohaib, S. (2021), "A Survey on Anomaly Detection Techniques for Microservices". IEEE Access. №9. Р. 122766–122805. DOI: https://ieeexplore.ieee.org/document/10479425
Andrzejak, M., Moniruzzaman, M., Schumann, D., Winkler, S., Biffl, C. (2009), "Detecting Anomalies in Web Traffic Data Using Statistical Learning". International Conference on Data Mining. IEEE, Р. 423–430. DOI: https://ieeexplore.ieee.org/document/6211951
Singh, R., Paul, A. (2020), "Anomaly Detection in Microservices Using Statistical Learning". Journal of Cloud Computing, 9(1), 21.
Carvalho, F. D., Gama, J., Rocha, R. (2010), "Monitoring Streams of Network Traffic for Anomaly Detection Using One-Class Support Vector Machines". In: 2010 IEEE International Conference on Data Mining. IEEE, Р. 77–84. DOI: https://ieeexplore.ieee.org/document/9751518
Alarcar, J., Nguyen, H. Q., Nguyen, S. V., Gaber, M. (2019), "Anomaly Detection in Cloud-Based Microservice Architectures: A Survey". ACM Computing Surveys. №52. Р. 1–38. DOI: https://www.sciencedirect.com/science/article/pii/S0164121223003126
Jiang, X., Chen, C., Zhou, Y., Zhang, J., Liu, X. (2021), "Anomaly Detection for Microservices Based on Deep Learning". In: 2021 IEEE International Conference on Web Services (ICWS). IEEE, Р. 574–581. DOI: https://ieeexplore.ieee.org/document/9461271
Li, Z., Zhang, W., Li, Z., Zhao, M. (2020), "Anomaly Detection for Microservices: A Survey". ACM Computing Surveys. №53. Р. 1–42. DOI: https://dl.acm.org/doi/10.1145/3639478.3643535
He, S., Jin, H., Dai, W., Hu, X. (2018), "Anomaly Detection in Microservices-Based Systems: A Survey". IEEE Access. №6. Р. 8459–8469. DOI: https://doi.org/10.1109/ACCESS.2018.2805848
Liu, F. T., Ting, K. M., Zhou, Z. H. (2012), "Outlier Detection and Classification: A Review". In: Aggarwal, C. C., Zhai, Y. (Eds.), Outlier Analysis. Springer, Berlin, Heidelberg, P. 1–21. DOI: https://www.sciencedirect.com/science/article/pii/S2772662223000048
Luo, J., Wu, J., Zhang, Y., Sun, L., Liu, Y. (2022), "Anomaly Detection for Microservices Based on Federated Learning". In: 2022 IEEE International Conference on Web Services (ICWS). IEEE, Р. 582–589. DOI: https://ieeexplore.ieee.org/document/9461272
He, P., Ranjan, R., Nogueira, J., Veiga, L. M., Zhao, W. (2021), "A Survey on Anomaly Detection for Microservices in Cloud Computing". Journal of Systems and Software. №182. 111318 р. DOI: https://journalofcloudcomputing.springeropen.com/articles/10.1186/s13677-022-00296-4
Pimentel, A., Clifton, L., Clifton, L., Lee, Y., Kang, A. (2014), "A Review of Techniques for Detecting Anomalies in Time Series Data". Signal Processing. №92. Р. 67–81. DOI: https://link.springer.com/chapter/10.1007/978-3-030-73100-7_60
Jiang, Y., Tan, K. M. C., Lam, S. W., Chen, P. (2017), "Anomaly Detection Using One-Class SVM in High-Dimensional Spaces". IEEE International Conference on Data Mining. Р. 622–631. DOI: https://doi.org/10.1109/ICDM.2017.103
Xu, W., Huang, C., Li, W., Dong, Z., Xu, D. (2014), "Anomaly Detection in Cloud Computing Systems: A Survey". In: 2014 IEEE International Conference on Cloud Computing. IEEE, Р. 986–993. DOI: https://ieeexplore.ieee.org/document/5331755
Hawkins, D. M. (2016), "The Outliers: Detecting Anomalies in Data". Cham: Springer International Publishing. DOI: https://link.springer.com/10.1007/978-1-4899-7502-7_912-1
Patcha, A., Park, J.-M. (2007), "An Overview of Anomaly Detection Techniques: Existing Solutions and Latest Technological Trends". Computer Networks. № 51. Р. 3448–3470. DOI: https://doi.org/10.1016/j.comnet.2007.02.001
Thompson, R., Williams, L. (2019), "Applied Linear Regression Models". Sage Publications. DOI: https://doi.org/10.4135/9781412993882
Kim, Y., Lee, H. (2017), "Cluster Analysis: Concepts and Practice". Springer.
Stewart, D., DeCoster, J. (2020), "Principal Components Analysis and Related Techniques". Routledge.
Yu, S., Zhao, L., Zhang, Y. (2019), "Anomaly Detection in Microservices Using Principal Component Analysis (PCA)". Visual Studio Magazine. DOI: http://dx.doi.org/10.1109/ACCESS.2020.3044610
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
