Розробка мультиагентної адаптивної рекомендаційної системи на основі машинного навчання з підкріпленням

Автор(и)

  • Богдан Ігорович Романюк Львівський національний університет імені Івана Франка, Україна https://orcid.org/0009-0005-3700-8385
  • Ольга Володимирівна Пелюшкевич Львівський національний університет імені Івана Франка, Україна https://orcid.org/0009-0000-9035-9233

DOI:

https://doi.org/10.15587/1729-4061.2025.340491

Ключові слова:

персоналізована рекомендація, навчання з підкріпленням, мультиагентне середовище, модель Актор-Критик

Анотація

Об’єктом дослідження є процес підвищення ефективності та точності надання персоналізованих рекомендацій користувачам у системах, які використовують машинне навчання з підкріпленням.

Основною проблемою, що вирішується в дослідженні, є покращення адаптації та персоналізації рекомендацій шляхом створення окремого агента для кожного користувача. Це дозволяє зменшити вплив сторонніх дій і краще адаптуватися до індивідуальних вподобань. У роботі запропоновано використання моделі «Актор-Критик», реалізованої на основі алгоритму глибокої детермінованої стратегії для більш стабільного навчання та отримання довгострокової винагороди у послідовних процесах прийняття рішень. Рекомендація генерується використовуючи унікальні властивості елементів на основі історичних взаємодій користувачів. Процес навчання нейронних мереж відбувається з різними параметрами для одноагентної та мультиагентної моделей.

Експериментальні результати, отримані на наборі даних MovieLens, демонструють перевагу мультиагентної моделі над одноагентною за ключовими метриками. Для рекомендацій із п’яти елементів зафіксовано покращення: Precision@5 на 4%, Recall@5 на 0.32%, Normalized Discounted Cumulative Gain NDCG@5 на 2.92% у порівнянні з одноагентною моделлю. Для рекомендацій із десяти елементів отримано: Precision@10 на 1% вище, Recall@10 на 0.18% вище, NDCG@10 на 1.14% вище порівняно з одноагентним підходом. Проведені симуляції для одного користувача показали перевагу в 66 випадках зі 100 в досягненні вищих кумулятивних винагород для мультиагетної моделі. Запропонована система демонструє ефективність у визначенні вподобань користувачів, покращенні якості рекомендацій та адаптації до змін користувацької поведінки з часом.

Основною галуззю практичного застосування отриманих результатів є динамічні онлайн-середовища, зокрема системи електронної комерції, медіаплатформи, соціальні мережі та новинні видання

Біографії авторів

Богдан Ігорович Романюк, Львівський національний університет імені Івана Франка

Аспірант

Кафедра дискретного аналізу та інтелектуальних систем

Ольга Володимирівна Пелюшкевич, Львівський національний університет імені Івана Франка

Кандидат фізико-математичних наук, доцент

Кафедра дискретного аналізу та інтелектуальних систем

Посилання

  1. Zhang, Y. (2022). An Introduction to Matrix Factorization and Factorization Machines in Recommendation System, and Beyond. arXiv. https://doi.org/10.48550/arXiv.2203.11026
  2. Wang, Y., Ren, Z., Sun, W., Yang, J., Liang, Z., Chen, X. et al. (2024). Content-Based Collaborative Generation for Recommender Systems. Proceedings of the 33rd ACM International Conference on Information and Knowledge Management, 2420–2430. https://doi.org/10.1145/3627673.3679692
  3. Saleh, A., Dharshinni, N., Perangin-Angin, D., Azmi, F., Sarif, M. I. (2023). Implementation of Recommendation Systems in Determining Learning Strategies Using the Naïve Bayes Classifier Algorithm. Sinkron, 8 (1), 256–267. https://doi.org/10.33395/sinkron.v8i1.11954
  4. Silva, N., Werneck, H., Silva, T., Pereira, A. C. M., Rocha, L. (2022). Multi-Armed Bandits in Recommendation Systems: A survey of the state-of-the-art and future directions. Expert Systems with Applications, 197, 116669. https://doi.org/10.1016/j.eswa.2022.116669
  5. Liu, F., Tang, R., Li, X., Zhang, W., Ye, Y., Chen, H. et al. (2019). Deep Reinforcement Learning Based Recommendation with Explicit User-Item Interactions Modeling. arXiv. https://doi.org/10.48550/arXiv.1810.12027
  6. Sumiea, E. H., AbdulKadir, S. J., Al-Selwi, S. M., Alqushaibi, A., Ragab, M. G., Fati, S. M., Alhussian, H. S. (2023). Deep Deterministic Policy Gradient Algorithm: A Systematic Review. https://doi.org/10.21203/rs.3.rs-3544387/v1
  7. Wang, Z., Yu, Y., Zheng, W., Ma, W., Zhang, M. (2024). MACRec: A Multi-Agent Collaboration Framework for Recommendation. Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2760–2764. https://doi.org/10.1145/3626772.3657669
  8. Zheng, S., Yin, H., Chen, T., Kong, X., Hou, J., Zhao, P. (2025). CADRL: Category-Aware Dual-Agent Reinforcement Learning for Explainable Recommendations over Knowledge Graphs. 2025 IEEE 41st International Conference on Data Engineering (ICDE), 128–141. https://doi.org/10.1109/icde65448.2025.00017
  9. Hui, Z., Wei, X., Jiang, Y., Gao, K., Wang, C., Ong, F. et al. (2025). MATCHA: Can Multi-Agent Collaboration Build a Trustworthy Conversational Recommender? arXiv. https://doi.org/10.48550/arXiv.2504.20094
  10. Lowe, R., Wu, Y., Tamar, A., Harb, J., Abbeel, P., Mordatch, I. (2017). Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. arXiv. https://doi.org/10.48550/arXiv.1706.02275
  11. Alhejaili, A., Fatima, S. (2021). Multi-Agent Recommender System. Recent Advances in Agent-Based Negotiation, 103–119. https://doi.org/10.1007/978-981-16-0471-3_7
  12. Trivedi, P., Hemachandra, N. (2022). Multi-Agent Natural Actor-Critic Reinforcement Learning Algorithms. Dynamic Games and Applications. https://doi.org/10.1007/s13235-022-00449-9
  13. Vullam, N., Vellela, S. S., B, V. R., Rao, M. V., SK, K. B., D, R. (2023). Multi-Agent Personalized Recommendation System in E-Commerce based on User. 2023 2nd International Conference on Applied Artificial Intelligence and Computing (ICAAIC), 1194–1199. https://doi.org/10.1109/icaaic56838.2023.10140756
  14. He, X., An, B., Li, Y., Chen, H., Wang, R., Wang, X. et al. (2020). Learning to Collaborate in Multi-Module Recommendation via Multi-Agent Reinforcement Learning without Communication. Fourteenth ACM Conference on Recommender Systems, 210–219. https://doi.org/10.1145/3383313.3412233
  15. Wu, Q., Zhang, H., Gao, X., He, P., Weng, P., Gao, H., Chen, G. (2019). Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems. The World Wide Web Conference, 2091–2102. https://doi.org/10.1145/3308558.3313442
  16. Khangar, N., Kamalja, K. (2017). Multiple Correspondence Analysis and Its Applications. Electronic Journal of Applied Statistical Analysis, 10 (2), 432–462. Available at: https://www.researchgate.net/publication/320694285
  17. Ghojogh, B., Ghodsi, A., Karray, F., Crowley, M. (2022). Factor Analysis, Probabilistic Principal Component Analysis, Variational Inference, and Variational Autoencoder: Tutorial and Survey. arXiv. https://doi.org/10.48550/arXiv.2101.00734
  18. Pookduang, P., Klangbunrueang, R., Chansanam, W., Lunrasri, T. (2025). Advancing Sentiment Analysis: Evaluating RoBERTa against Traditional and Deep Learning Models. Engineering, Technology & Applied Science Research, 15 (1), 20167–20174. https://doi.org/10.48084/etasr.9703
  19. Jadon, A., Patil, A. (2024). A Comprehensive Survey of Evaluation Techniques for Recommendation Systems. Computation of Artificial Intelligence and Machine Learning, 281–304. https://doi.org/10.1007/978-3-031-71484-9_25
  20. Harper, F. M., Konstan, J. A. (2015). The MovieLens Datasets. ACM Transactions on Interactive Intelligent Systems, 5 (4), 1–19. https://doi.org/10.1145/2827872
  21. Zhao, X., Wang, M., Zhao, X., Li, J., Zhou, S., Yin, D. et al. (2023). Embedding in Recommender Systems: A Survey. arXiv. https://doi.org/10.48550/arXiv.2310.18608
  22. Leon, V., Etesami, S. R. (2023). Online Reinforcement Learning in Markov Decision Process Using Linear Programming. 2023 62nd IEEE Conference on Decision and Control (CDC), 1973–1978. https://doi.org/10.1109/cdc49753.2023.10383839
  23. Romaniuk, B., Peliushkevych, O., Shcherbyna, Y. (2021). Recommendation system development using reinforcement learning. Visnyk of the Lviv University. Series Applied Mathematics and Computer Science, 29, 150–162. https://doi.org/10.30970/vam.2021.29.11016
Розробка мультиагентної адаптивної рекомендаційної системи на основі машинного навчання з підкріпленням

##submission.downloads##

Опубліковано

2025-10-31

Як цитувати

Романюк, Б. І., & Пелюшкевич, О. В. (2025). Розробка мультиагентної адаптивної рекомендаційної системи на основі машинного навчання з підкріпленням. Eastern-European Journal of Enterprise Technologies, 5(2 (137), 43–54. https://doi.org/10.15587/1729-4061.2025.340491

Номер

Том 5 № 2 (137) (2025): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2025 Bohdan Romaniuk, Olha Peliushkevych

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.