Development of methodological support for improving the quality of expert assessment of business processes

Віталій Миколайович Антощук; Володимир Юрійович Філіппов; Варвара Ігорівна Куваєва

doi:10.15587/2706-5448.2021.225336

Автор(и)

Віталій Миколайович Антощук Одеський національний політехнічний університет, Україна https://orcid.org/0000-0003-0763-3401
Володимир Юрійович Філіппов Одеський національний політехнічний університет, Україна https://orcid.org/0000-0003-4429-7582
Варвара Ігорівна Куваєва Одеський національний політехнічний університет, Україна https://orcid.org/0000-0002-9350-1108

DOI:

https://doi.org/10.15587/2706-5448.2021.225336

Ключові слова:

колективне експертне оцінювання, розширений колектив експертів, множина альтернатив, коефіцієнт конкордації, достовірність експертизи

Анотація

Об'єктом дослідження є процес формування колективної експертної оцінки з підвищеною достовірністю при прийнятті управлінських рішень в бізнес-структурах розширеним колективом експертів. Одним з найбільш проблемних місць в експертній оцінці управлінських рішень є складність формування компетентного експертного колективу та досить висока вартість експертизи. В останні роки намітилася тенденція експертного оцінювання з розширеним колективом експертів. В цьому випадку для участі в експертизі залучаються не тільки професійні експерти, але і всі особи, які бажають взяти участь у вирішенні проблеми. В цьому випадку достовірність експертизи викликає сумніви. У зв'язку з участю в експертному оцінюванні осіб, які не мають досвіду експертної роботи, можливий великий розкид експертних оцінок. Проведено аналіз сучасного стану методів експертного оцінювання в бізнесі. Встановлено, що найбільш застосований до останнього часу метод Делфі не задовольняє сучасним вимогам. Більш прогресивні методи ґрунтуються на математичній теорії консенсусу. Під консенсусом розуміється ступінь кореляції індивідуальних експертних оцінок, виконаних в рангових шкалах. В ході дослідження використано формалізовані математичні підходи до організації колективної експертизи. Розроблено методику обробки результатів експертизи з розширеним складом експертів. Розроблена методика орієнтована на виявлення експертів з недостатньою кваліфікацією. Методика дозволяє поетапно оцінювати достовірність колективного експертного рішення шляхом оцінювання коефіцієнта конкордації Кенделла. Показано, що поетапне виключення оцінок експертів з недостатньою кваліфікацією дозволяє підвищувати рівень консенсусу, якість і достовірність колективної експертної оцінки. Розроблена методика апробована на реально функціонуючому підприємстві для прийняття рішення про стратегію виходу підприємства з кризи. Застосування розробленої методики дозволило істотно підвищити достовірність результатів експертизи, оцінену коефіцієнтом конкордації. Отримані результати корисні для практичного застосування в бізнес-структурах при проведенні експертиз із залученням широкого кола учасників.

Біографії авторів

Віталій Миколайович Антощук, Одеський національний політехнічний університет

Асистент

Кафедра міжнародного менеджменту та інновацій

Володимир Юрійович Філіппов, Одеський національний політехнічний університет

Доктор економічних наук, доцент

Кафедра міжнародного менеджменту та інновацій

Варвара Ігорівна Куваєва, Одеський національний політехнічний університет

Кандидат технічних наук, старший викладач

Кафедра інформаційних систем

Посилання

Budescu, D. V., Chen, E. (2015). Identifying Expertise to Extract the Wisdom of Crowds. Management Science, 61 (2), 267–280. doi: http://doi.org/10.1287/mnsc.2014.1909
Dong, Y., Zha, Q., Zhang, H., Kou, G., Fujita, H., Chiclana, F., Herrera-Viedma, E. (2018). Consensus reaching in social network group decision making: Research paradigms and challenges. Knowledge-Based Systems, 162, 3–13. doi: http://doi.org/10.1016/j.knosys.2018.06.036
Gubanov, D., Korgin, N., Novikov, D., Raikov, A. (2014). E-Expertise: Modern Collective Intelligence. Studies in Computational Intelligence. Cham: Springer. doi: http://doi.org/10.1007/978-3-319-06770-4
Rowe, G., Wright, G.; Armstrong, J. S. (Ed.) (2001). Expert Opinions in Forecasting: The Role of the Delphi Technique. Principles of Forecasting. International Series in Operations Research & Management Science, 30. Boston: Springer, 125–144. doi: http://doi.org/10.1007/978-0-306-47630-3_7
Skinner, R., Nelson, R. R., Chin, W. W., Land, L. (2015). The Delphi Method Research Strategy in Studies of Information Systems. Communications of the Association for Information Systems, 37, 31–63. doi: http://doi.org/10.17705/1cais.03702
Kauko, K., Palmroos, P. (2014). The Delphi method in forecasting financial markets – An experimental study. International Journal of Forecasting, 30 (2), 313–327. doi: http://doi.org/10.1016/j.ijforecast.2013.09.007
Kuznetsov, A. B., Boiarinov, G. A., Mukhin, A. S., Simutis, I. S. (2017). Informativity of a single collective expert assessment in predicting treatment outcomes of a patient in critical condition. Modern problems of science and education, 6. Available at: http://www.science-education.ru/ru/article/view?id=27047
Cook, W. D., Kress, M., Seiford, L. M. (1997). A general framework for distance-based consensus in ordinal ranking models. European Journal of Operational Research, 96 (2), 392–397. doi: http://doi.org/10.1016/0377-2217(95)00322-3
Bury, H., Wagner, D. (2003). Application of Kemeny’s Median for Group Decision Support. Applied Decision Support with Soft Computing, 124, 235–262. doi: http://doi.org/10.1007/978-3-540-37008-6
Nguyen, N. T. (2008). Advanced Methods for Inconsistent Knowledge Management. London: Springer-Verlag, 351. doi: http://doi.org/10.1007/978-1-84628-889-0
Dong, Y., Xu, J. (2016). Consensus Building in Group Decision Making. Singapore: Springer, 201. doi: http://doi.org/10.1007/978-981-287-892-2
Dang, D. T., Nguyen, N. T., Hwang, D. (2019). Increasing the Quality of Multi-step Consensus. Lecture Notes in Computer Science. Yogyakarta, 3–14. doi: http://doi.org/10.1007/978-3-030-14802-7_1
Boltenkov, V. A., Kuvaeva, V. I., Pozniak, A. V. (2017). Analiz mediannykh metodov konsensusnogo agregirovaniia rangovykh predpochtenii. Іnformatika ta matematichnі metodi v modeliuvannі, 7 (4), 307–317.
Boltenkov, V., Kuvaieva, V., Galchonkov, O., Ishchenko, A. (2018). The research of possibilities for fast calculation of median consensus rankings. Eastern-European Journal of Enterprise Technologies, 4 (4 (94)), 27–35. doi: http://doi.org/10.15587/1729-4061.2018.140686
Triantaphyllou, E., Hou, F., Yanase, J. (2020). Analysis of the Final Ranking Decisions Made by Experts After a Consensus has Been Reached in Group Decision Making. Group Decision and Negotiation, 29 (2), 271–291. doi: http://doi.org/10.1007/s10726-020-09655-5
Kuznetsov, M. P., Strijov, V. V. (2014). Methods of expert estimations concordance for integral quality estimation. Expert Systems with Applications, 41 (4), 1988–1996. doi: http://doi.org/10.1016/j.eswa.2013.08.095
Del Moral, M. J., Chiclana, F., Tapia, J. M., Herrera-Viedma, E. (2018). A comparative study on consensus measures in group decision making. International Journal of Intelligent Systems, 33 (8), 1624–1638. doi: http://doi.org/10.1002/int.21954
Abdi, H.; Salkind, N. (Ed.) (2007). The Kendall Rank Correlation Coefficient. Encyclopedia of Measurement and Statistics. SAGE Publications, Inc., 1–19. doi: http://doi.org/10.4135/9781412952644.n239
Venediktov, A. A. (2018). O pokazatele soglasovannosti ekspertnykh otsenok. Vooruzhenie i ekonomika, 3 (45), 52–66.