Визначення впливу складності наборів даних при використанні методу XGBoost на основі байєсівської оптимізації на ефективність класифікації наборів даних з незбалансованим розподілом класів

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2025.322626

Ключові слова:

байєсівська оптимізація, екстремальний градієнтний бустинг, незбалансовані набори даних, складність наборів даних, класифікація, матриця невідповідностей, методи повторної вибірки, налаштування гіперпараметрів, оцінка продуктивності, визначення класів меншості

Анотація

У дослідженні розглядається вплив складності набору даних на продуктивність моделей XGBoost, оптимізованих за допомогою байєсівських методів, приділяючи основну увагу наборам даних з незбалансованим розподілом класів. Головним завданням є точне визначення класів меншості, які часто класифікуються неправильно через переважання класів більшості, що зменшує прогностичну здатність. Крім того, складність набору даних, на яку вказує коефіцієнт варіації (від 14,64 % до 85,68 %), не завжди корелює з покращенням продуктивності моделі, що свідчить про необхідність застосування більш цілеспрямованих методів. Високорозмірні набори даних можуть бути менш точними, ніж простіші, і вимагають використання сучасних підходів. Застосування байєсівської оптимізації дозволяє забезпечити точне налаштування гіперпараметрів та підвищити ефективність класифікації для різних типів наборів даних. Це вказує на те, що вибір належних методів повторної вибірки відповідно до характеристик набору даних має вирішальне значення, а оптимізація гіперпараметрів відіграє важливу роль у побудові високоточних моделей. Застосування даного підходу охоплює такі області, як виявлення шахрайства та інші сфери, в яких важливе значення має класифікація груп меншості. Завдяки використанню ефективних методів повторної вибірки та сучасних методів оптимізації дане дослідження пропонує комплексне вирішення завдань, пов’язаних з незбалансованими наборами даних, підвищуючи надійність рішень для машинного навчання. Відмінності в методах повторної вибірки та оптимізації показників продуктивності моделей можуть бути зумовлені розподілом класів, кількістю ознак, складністю та характеристиками наборів даних

Біографії авторів

Sutarman Sutarman, Universitas Sumatera Utara

Doctor of Philosophy, Associate Professor

Department of Mathematics

Putri Khairiah Nasution, Universitas Sumatera Utara

Magister Sains, Lecturer

Department of Mathematics

Katrin Jenny Sirait, Universitas Sumatera Utara

Magister Sains, Lecturer

Department of Mathematics

Cindy Novita Yolanda Panjaitan, Universitas Sumatera Utara

Sarjana Sains, Student

Department of Mathematics

Посилання

  1. Ghosh, K., Bellinger, C., Corizzo, R., Branco, P., Krawczyk, B., Japkowicz, N. (2022). The class imbalance problem in deep learning. Machine Learning, 113 (7), 4845–4901. https://doi.org/10.1007/s10994-022-06268-8
  2. Rezvani, S., Wang, X. (2023). A broad review on class imbalance learning techniques. Applied Soft Computing, 143, 110415. https://doi.org/10.1016/j.asoc.2023.110415
  3. Moniz, N., Cerqueira, V. (2021). Automated imbalanced classification via meta-learning. Expert Systems with Applications, 178, 115011. https://doi.org/10.1016/j.eswa.2021.115011
  4. Magris, M., Iosifidis, A. (2023). Bayesian learning for neural networks: an algorithmic survey. Artificial Intelligence Review, 56 (10), 11773–11823. https://doi.org/10.1007/s10462-023-10443-1
  5. Pereira, R. M., Costa, Y. M. G., Silla, C. N. (2021). Handling imbalance in hierarchical classification problems using local classifiers approaches. Data Mining and Knowledge Discovery, 35 (4), 1564–1621. https://doi.org/10.1007/s10618-021-00762-8
  6. Ye, H.-J., Chen, H.-Y., Zhan, D.-C., Chao, W.-L. (2020). Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning. arXiv. https://doi.org/10.48550/arXiv.2001.01385
  7. Guan, S., Fu, N. (2022). Class imbalance learning with Bayesian optimization applied in drug discovery. Scientific Reports, 12 (1). https://doi.org/10.1038/s41598-022-05717-7
  8. Banchhor, C., Srinivasu, N. (2021). Analysis of Bayesian optimization algorithms for big data classification based on Map Reduce framework. Journal of Big Data, 8 (1). https://doi.org/10.1186/s40537-021-00464-4
  9. Albahli, S. (2023). Efficient hyperparameter tuning for predicting student performance with Bayesian optimization. Multimedia Tools and Applications, 83 (17), 52711–52735. https://doi.org/10.1007/s11042-023-17525-w
  10. Wang, X., Jin, Y., Schmitt, S., Olhofer, M. (2023). Recent Advances in Bayesian Optimization. ACM Computing Surveys, 55 (13s), 1–36. https://doi.org/10.1145/3582078
  11. Nayak, J., Naik, B., Dash, P. B., Vimal, S., Kadry, S. (2022). Hybrid Bayesian optimization hypertuned catboost approach for malicious access and anomaly detection in IoT nomalyframework. Sustainable Computing: Informatics and Systems, 36, 100805. https://doi.org/10.1016/j.suscom.2022.100805
  12. Guembe, B., Misra, S., Azeta, A. (2024). Federated Bayesian optimization XGBoost model for cyberattack detection in internet of medical things. Journal of Parallel and Distributed Computing, 193, 104964. https://doi.org/10.1016/j.jpdc.2024.104964
  13. Yan, S., Zhao, Z., Liu, S., Zhou, M. (2024). BO-SMOTE: A Novel Bayesian-Optimization-Based Synthetic Minority Oversampling Technique. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 54 (4), 2079–2091. https://doi.org/10.1109/tsmc.2023.3335241
  14. Davis, D., Rodriguez, L. (2024). Enhancing algorithm interpretability and accuracy with borderline-SMOTE and Bayesian optimization. Journal of Computer Technology and Software, 3 (2), 6–13. Available at: https://ashpress.org/index.php/jcts/article/view/24
  15. Bates, J. E., Shepard, H. K. (1993). Measuring complexity using information fluctuation. Physics Letters A, 172 (6), 416–425. https://doi.org/10.1016/0375-9601(93)90232-o
  16. Wang, L. (2022). Imbalanced credit risk prediction based on SMOTE and multi-kernel FCM improved by particle swarm optimization. Applied Soft Computing, 114, 108153. https://doi.org/10.1016/j.asoc.2021.108153
  17. Wilson, D. R., Martinez, T. R. (2000). Reduction Techniques for Instance-Based Learning Algorithms. Machine Learning, 38, 257–286. https://doi.org/10.1023/a:1007626913721
  18. Yang, F., Wang, K., Sun, L., Zhai, M., Song, J., Wang, H. (2022). A hybrid sampling algorithm combining synthetic minority over-sampling technique and edited nearest neighbor for missed abortion diagnosis. BMC Medical Informatics and Decision Making, 22 (1). https://doi.org/10.1186/s12911-022-02075-2
  19. Snoek, J., Larochelle, H., Adams, R. P. (2012). Practical Bayesian optimization of machine learning algorithms. arXiv. https://doi.org/10.48550/arXiv.1206.2944
  20. Frazier, P. I. (2018). A Tutorial on Bayesian Optimization. arXiv. https://doi.org/10.48550/arXiv.1807.02811
  21. Klein, A., Falkner, S., Bartels, S., Hennig, P., Hutter, F. (2017). Fast Bayesian optimization of machine learning hyperparameters on large datasets. arXiv. https://doi.org/10.48550/arXiv.1605.07079
  22. Akiba, T., Sano, S., Yanase, T., Ohta, T., Koyama, M. (2019). Optuna. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2623–2631. https://doi.org/10.1145/3292500.3330701
  23. Chen, T., Guestrin, C. (2016). XGBoost. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. https://doi.org/10.1145/2939672.2939785
  24. Szeghalmy, S., Fazekas, A. (2023). A Comparative Study of the Use of Stratified Cross-Validation and Distribution-Balanced Stratified Cross-Validation in Imbalanced Learning. Sensors, 23 (4), 2333. https://doi.org/10.3390/s23042333
  25. Vujovic, Ž. Ð. (2021). Classification Model Evaluation Metrics. International Journal of Advanced Computer Science and Applications, 12 (6). https://doi.org/10.14569/ijacsa.2021.0120670
  26. Salmi, M., Atif, D., Oliva, D., Abraham, A., Ventura, S. (2024). Handling imbalanced medical datasets: review of a decade of research. Artificial Intelligence Review, 57 (10). https://doi.org/10.1007/s10462-024-10884-2
  27. Khadka, K., Chandrasekaran, J., Lei, Y., Kacker, R. N., Kuhn, D. R. (2024). A Combinatorial Approach to Hyperparameter Optimization. Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering - Software Engineering for AI, 140–149. https://doi.org/10.1145/3644815.3644941
  28. Chai, P., Hou, L., Zhang, G., Tushar, Q., Zou, Y. (2024). Generative adversarial networks in construction applications. Automation in Construction, 159, 105265. https://doi.org/10.1016/j.autcon.2024.105265
Визначення впливу складності наборів даних при використанні методу XGBoost на основі байєсівської оптимізації на ефективність класифікації наборів даних з незбалансованим розподілом класів

##submission.downloads##

Опубліковано

2025-02-24

Як цитувати

Sutarman, S., Nasution, P. K., Sirait, K. J., & Panjaitan, C. N. Y. (2025). Визначення впливу складності наборів даних при використанні методу XGBoost на основі байєсівської оптимізації на ефективність класифікації наборів даних з незбалансованим розподілом класів. Eastern-European Journal of Enterprise Technologies, 1(4 (133), 52–63. https://doi.org/10.15587/1729-4061.2025.322626

Номер

Том 1 № 4 (133) (2025): Математика та кібернетика - прикладні аспекти

Розділ

Математика та кібернетика - прикладні аспекти

Ліцензія

Авторське право (c) 2025 Sutarman Sutarman, Putri Khairiah Nasution, Katrin Jenny Sirait, Cindy Novita Yolanda Panjaitan

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.