Розробка методу оптимізації гіперпараметрів для рекомендаційних моделей на основі матричної факторизації

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2021.239124

Ключові слова:

байєсова оптимізація, гауссівський процес, коваріаційна функція, матрична факторизація, рекомендаційні системи

Анотація

Багато передових рекомендаційних моделей реалізовані з використанням алгоритмів матричної факторизації. Експерименти показують, що якість їх роботи значно залежить від обраних гіперпараметрів. Було проведено аналіз ефективності використання різних методів вирішення даної задачі оптимізації гіперпараметрів. Він показав, що стандартним рішенням залишається використання класичної байєсівської оптимізації, що розглядає модель як «чорний ящик». Однак моделі на основі матричної факторизації мають ряд характерних особливостей. Їх використання дозволяє внести зміни в процес оптимізації, що призводить до зменшення часу, необхідного для виявлення потрібних точок, без втрати якості.

Запропоновано модифікацію ядра гауссівського процесу, який використовується в якості сурогатної моделі функції втрат при виконанні байєсівської оптимізації. Описана модифікація на перших ітераціях збільшує дисперсію величин, що передбачаються гауссівським процесом на заданій області простору гіперпараметрів. У ряді випадків це дозволяє за менший час отримати більше інформації про реальну форму досліджуваної функції втрат.

Були проведені експерименти з використанням загальновідомих наборів даних для рекомендаційних систем. Загальний час оптимізації при застосуванні модифікації в кращому випадку було знижено на 16 % (або на 263 секунди), в гіршому – залишилося таким же (різниця менше 1 секунди). Очікувана помилка рекомендаційної моделі при цьому не змінювалася (абсолютна різниця значень на два порядки нижче, ніж величина зниження помилки в процесі оптимізації). Таким чином, використання запропонованої модифікації сприяє виявленню кращого набору гіперпараметрів за менший час без втрати якості

Біографії авторів

Alexander Nechaev, Vyatka State University

Postgraduate Student

Department of Computer Science

Vasily Meltsov, Vyatka State University

PhD, Associate Professor

Department of Computer Science

Дмитро Страбыкин, Vyatka State University

Doctor of Technical Sciences, Professor

Department of Computer Science

Посилання

  1. Ricci, F., Rokach, L., Shapira, B., Kantor, P. B. (Eds.) (2011). Recommender Systems Handbook. Springer, 842. doi: https://doi.org/10.1007/978-0-387-85820-3
  2. Rendle, S., Zhang, L., Koren, Y. (2019). On the Difficulty of Evaluating Baselines: A Study on Recommender Systems. arXiv.org. Available at: https://arxiv.org/abs/1905.01395
  3. Dacrema, M. F., Cremonesi, P., Jannach, D. (2019). Are we really making much progress? A worrying analysis of recent neural recommendation approaches. Proceedings of the 13th ACM Conference on Recommender Systems. doi: https://doi.org/10.1145/3298689.3347058
  4. Aggarwal, C. C. (2016). Recommender Systems. Springer, 498. doi: https://doi.org/10.1007/978-3-319-29659-3
  5. Fathan, G., Bharata Adji, T., Ferdiana, R. (2018). Impact of Matrix Factorization and Regularization Hyperparameter on a Recommender System for Movies. Proceeding of the Electrical Engineering Computer Science and Informatics, 5 (5), 113–116. doi: https://doi.org/10.11591/eecsi.v5i5.1685
  6. Harper, F. M., Konstan, J. A. (2016). The MovieLens Datasets. ACM Transactions on Interactive Intelligent Systems, 5 (4), 1–19. doi: https://doi.org/10.1145/2827872
  7. Galuzzi, B. G., Giordani, I., Candelieri, A., Perego, R., Archetti, F. (2020). Hyperparameter optimization for recommender systems through Bayesian optimization. Computational Management Science, 17 (4), 495–515. doi: https://doi.org/10.1007/s10287-020-00376-3
  8. Nechaev, A. A., Meltsov, V. Yu. (2021). Investigating the hyperparameter configuration space of matrix factorization recommendation models. Nauchno-tekhnicheskiy vestnik Povolzh'ya, 5, 96–100. Available at: https://elibrary.ru/item.asp?id=46124660
  9. Tran, T., Lee, K., Liao, Y., Lee, D. (2018). Regularizing Matrix Factorization with User and Item Embeddings for Recommendation. Proceedings of the 27th ACM International Conference on Information and Knowledge Management. doi: https://doi.org/10.1145/3269206.3271730
  10. Feurer, M., Hutter, F. (2019). Hyperparameter Optimization. The Springer Series on Challenges in Machine Learning, 3–33. doi: https://doi.org/10.1007/978-3-030-05318-5_1
  11. Snoek, J., Larochelle, H., Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. arXiv.org. Available at: https://arxiv.org/abs/1206.2944
  12. McLeod, M., Osborne, M. A., Roberts, S. J. (2018). Practical Bayesian Optimization for Variable Cost Objectives. arXiv.org. Available at: https://arxiv.org/abs/1703.04335
  13. Chen, Y., Chen, B., He, X., Gao, C., Li, Y., Lou, J.-G., Wang, Y. (2019). λOpt. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. doi: https://doi.org/10.1145/3292500.3330880
  14. Xian, Z., Li, Q., Li, G., Li, L. (2017). New Collaborative Filtering Algorithms Based on SVD++ and Differential Privacy. Mathematical Problems in Engineering, 2017, 1–14. doi: https://doi.org/10.1155/2017/1975719
  15. Shi, W., Wang, L., Qin, J. (2020). User Embedding for Rating Prediction in SVD++-Based Collaborative Filtering. Symmetry, 12 (1), 121. doi: https://doi.org/10.3390/sym12010121
  16. Cline, A. K., Dhillon, I. S. (2006). Computation of the Singular Value Decomposition. Handbook of Linear Algebra, 45-1–45-13. doi: https://doi.org/10.1201/9781420010572-45
  17. Nechaev, A. (2021). Speeding up Bayesian Optimization of Matrix Factorization Recommender Models Hyperparameters. GitHub. Available at: https://github.com/dapqa/speeding-up-bo-for-cf-public
  18. Optimized-for-speed Eigen implementations of SVD, SVD++ and TimeSVD++ algorithms. Available at: https://github.com/dapqa/svdistic
  19. Nogueira, F. (2014). Bayesian Optimization: Open source constrained global optimization tool for Python. Available at: https://github.com/fmfn/BayesianOptimization

##submission.downloads##

Опубліковано

2021-10-29

Як цитувати

Nechaev, A., Meltsov, V., & Страбыкин, Д. (2021). Розробка методу оптимізації гіперпараметрів для рекомендаційних моделей на основі матричної факторизації. Eastern-European Journal of Enterprise Technologies, 5(4 (113), 45–54. https://doi.org/10.15587/1729-4061.2021.239124

Номер

Том 5 № 4 (113) (2021): Математика та кібернетика - прикладні аспекти

Розділ

Математика та кібернетика - прикладні аспекти

Ліцензія

Авторське право (c) 2021 Alexander Nechaev, Vasily Meltsov, Dmitry Strabykin

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.