Розробка методу відстаней для обробки експертної оцінки в інформаційних системах
DOI:
https://doi.org/10.15587/1729-4061.2019.163964Ключові слова:
експертні оцінки, оцінка показників, «on-line» оцінка, обробка експертної оцінки, аналіз експертної оцінки, інформаційні технологіїАнотація
Сьогодні більшість досліджень присвячена експертному оцінюванню показників з використанням невеликої кількості перевірених експертів, що потребує багато часу та витрат. З появою сучасних інформаційних технологій стає можливим швидке та оперативне проведення оцінки показників діяльності підприємств. Основним інструментом рішення проблеми достовірності такої оцінки є розробка нових методів обробки її результатів.
Запропоновано метод відстаней для обробки результатів експертних оцінок показників та проведено дослідження результатів його роботи. Для цього виконане теоретичне обґрунтування методу відстаней, яке ґрунтується на понятті близькості (відстаней) оцінок до середнього значення, коефіцієнтах компетентності експертів та нормалізації бальної шкали оцінювання.
Проведено дослідження трьох варіантів експертного бального та вербального оцінювання незалежних і залежних показників за методом відстаней, яке показало швидкість сходження для усіх варіантів ітераційного процесу від 1 до 4 порядків за кожною ітерацією. Це дозволяє зробити висновок щодо дуже невеликої кількості обчислень інформаційної системи і достатньої швидкості обробки експертних оцінок.
Порівняльний аналіз методу відстаней з подібним до нього методом квадратичних відхилень показав майже однакову швидкість сходження до 3–5 ітераційних кроків, але запропонований метод отримує оцінку більш наближену до середньої оцінки кожного показника. Також він дозволяє виконувати в інформаційних системах обробку результатів на 99 % швидше та в десятки або навіть в сотні разів більшої кількості оцінок, ніж у методах відбору експертів, що є важливим у конкурентному середовищі сьогодні. Середня ефективність методу в порівнянні з методом відбору експертів становить 5.8 %Посилання
- Blikhar, T. (2013). Monitorynh navchalnykh dosiahnen u vyshchykh navchalnykh zakladakh: pidkhody, zdobutky. Monitorynh yakosti vyshchoi osvity: dosvid roboty, innovatsiyi, problemy: materialy I Vseukrainskoi naukovo-praktychnoi internet-konferentsiyi. Irpin: NU DPSU, 129–130.
- Odainyk, S. (2010). Monitorynh yakosti pedahohichnoi osvity: teoretychnyi aspekt. Molod i rynok, 9, 64–67.
- Zakharova, A. A., Grigorjeva, A. A., Tseplit, A. P., Ozgogov, E. V. (2016). Models Used to Select Strategic Planning Experts for High Technology Productions. IOP Conference Series: Materials Science and Engineering, 127, 012029. doi: https://doi.org/10.1088/1757-899x/127/1/012029
- Liljelind, I. E., Rappaport, S., Levin, J., Pettersson Strömbäck, A. E., Sunesson, A.-L. K., Järvholm, B. G. (2001). Comparison of self-assessment and expert assessment of occupational exposure to chemicals. Scandinavian Journal of Work, Environment & Health, 27 (5), 311–317. doi: https://doi.org/10.5271/sjweh.619
- Wieck, M. M., McLaughlin, C., Chang, T. P., Rake, A., Park, C., Lane, C. et. al. (2018). Self-assessment of team performance using T-NOTECHS in simulated pediatric trauma resuscitation is not consistent with expert assessment. The American Journal of Surgery, 216 (3), 630–635. doi: https://doi.org/10.1016/j.amjsurg.2018.01.010
- Zakharova, A. A., Ostanin, V. V. (2015). Formalization model of expert knowledge about a technical index level of engineering products. IOP Conference Series: Materials Science and Engineering, 91, 012070. doi: https://doi.org/10.1088/1757-899x/91/1/012070
- Dugarova, D. T., Starostina, S. E., Cherepanova, L. V. (2016). Expert Training as a Factor of Independent Assessment of Quality of Social Services. Scholarly Notes of Transbaikal State University. Series Philosophy. Cultural Studies. Sociology. Social Work, 11 (2), 170–179.
- Cooke, R. M., Goossens, L. L. H. J. (2008). TU Delft expert judgment data base. Reliability Engineering & System Safety, 93 (5), 657–674. doi: https://doi.org/10.1016/j.ress.2007.03.005
- Mach, K. J., Mastrandrea, M. D., Freeman, P. T., Field, C. B. (2017). Unleashing expert judgment in assessment. Global Environmental Change, 44, 1–14. doi: https://doi.org/10.1016/j.gloenvcha.2017.02.005
- Kozierkiewicz-Hetmańska, A. (2017). The analysis of expert opinions’ consensus quality. Information Fusion, 34, 80–86. doi: https://doi.org/10.1016/j.inffus.2016.06.005
- Christoforaki, M., Ipeirotis, P. G. (2015). A system for scalable and reliable technical-skill testing in online labor markets. Computer Networks, 90, 110–120. doi: https://doi.org/10.1016/j.comnet.2015.05.020
- Cain, M., McLeay, S. (2016). Statistical Auditing of Non-transparent Expert Assessments. Sankhya B, 78 (2), 362–385. doi: https://doi.org/10.1007/s13571-016-0124-8
- Ageev, A. S. (2011). Technique of carrying out of expert estimations of activity of aviation enterprise on safety of flights. Nauchniy vestnik Moskovskogo gosudarstvennogo tekhnicheskogo universiteta grazhdanskoy aviacii, 174, 69–72.
- Kolpakova, T. A. (2011). Determination of experts competence in group decision-making. Radioelektronika, informatika, upravlenie, 1, 40–43.
- Roberts, T. S. (2004). A ham sandwich is better than nothing: Some thoughts about transitivity. Australian Senior Mathematics Journal, 18 (2), 60–64.
- Podd'yakov, A. N. (2006). Intransitive character of superiority relations and decision-making. Psihologiya. Zhurnal Vysshey shkoly ekonomiki, 3 (3), 88–111.
- Otradskaya, T., Gogunskii, V., Antoshchuk, S., Kolesnikov, O. (2016). Development of parametric model of prediction and evaluation of the quality level of educational institutions. Eastern-European Journal of Enterprise Technologies, 5 (3 (83)), 12–21. doi: https://doi.org/10.15587/1729-4061.2016.80790
- Gül, E., Çokluk, Ö., Gül, Ç. D. (2015). Development of an Attitudes Scale toward Online Assessment. Procedia – Social and Behavioral Sciences, 174, 529–536. doi: https://doi.org/10.1016/j.sbspro.2015.01.699
- Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243–262. doi: https://doi.org/10.1016/j.compedu.2017.05.019
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2019 Tetyana Otradska, Natalia Shybaieva, Oleksandr Shyrshkov, Mykola Rudnichenko, Ashot Halustian
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.
