Методи автоматизації та інтерпретації якості освітніх тестів у системах розподіленого віртуального навчання
DOI:
https://doi.org/10.30837/ITSSI.2023.25.040Ключові слова:
програмна інженерія; бази знань; алгебра скінченних предикатів; надійність тестів; використання знань; логічні правилаАнотація
Предметом дослідження є розроблення математичного та алгоритмічного забезпечення інтелектуального інструментарію аналізу наборів тестових завдань і моделювання процесу інтерпретації якості наборів тестових завдань, що дає змогу об’єктивно та всебічно проводити безперервний контроль знань студентів (суб’єктів навчання) за умови впровадження концепції віртуального розподіленого навчання. Мета роботи – створення методів автоматизації оцінювання якості освітніх тестів та інтерпретації результатів, подання математичного апарату, що допомагає якнайкраще описувати складні інтелектуальні процеси й методи оцінювання комплектів тестових завдань під час перевірки рівня знань суб’єктів навчання. У статті вирішуються такі завдання: формування моделі тестування в розподіленому віртуальному навчальному середовищі та моделі оцінювання валідності за змістом наборів тестових завдань. Використовуються такі методи: математична статистика й інтелектуальний аналіз інформації, алгебра скінченних предикатів і операцій. Здобуто такі результати: сформульовано принципи інтелектуального аналізу значення коефіцієнтів надійності, коефіцієнтів валідності, коефіцієнта дискримінативності; визначено індекс важкості завдань для оцінювання знань суб’єктів навчання. Висновки. Застосування методів формалізації оцінювання тестів підтверджують необхідність уведення в практику освіти кількісних методів оцінювання знань студентів. Упровадження зазначених методів передбачає правильне визначення цілей контролю, предмета вимірювання та вибір засобів вимірювання. Застосування розробленого методу аналізу наборів тестових завдань сприяє ефективній реалізації всіх функцій контролю, відповідає основним його принципам для вирішення завдань оцінювання якості тестів і лежить в основі моделей розподіленого віртуального навчання та методів аналізу успішності суб’єктів навчання.
Посилання
Список літератури
Соколовський Я. І., Сторожук О. Л., Крошний І. М. Застосування сучасних інформаційно-комунікаційних технологій для організації дистанційного навчання. Науковий вісник НЛТУ України. 2015. Вип. 25.6. С. 243–251. URL: http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?I21DBN=LINK&P21DBN=UJRN&Z21ID=&S21REF=10&S21CNR=20&S21STN=1&S21FMT=ASP_meta&C21COM=S&2_S21P03=FILA=&2_S21STR=nvnltu_2015_25
Learning management system. URL: https://en.wikipedia.org/wiki/Learning_management_system (дата звернення: 26.08.2023).
Backer R. Educational data mining and learning analytics. The Cambridge handbook of the learning sciences. 2019. 274 р. DOI: 10.1017/CBO9781139519526.016
A Guide to the Scrum Body of Knowledge (SBOK™ GUIDE) URL: https://www.scrumstudy.com/SBOK/SCRUMstudy-SBOK-Guide-3rd.pdf (дата звернення: 26.08.2023).
Gruzdo I., Kyrychenko I., Tereshchenko G., Shanidze O. Analysis of Models Usability Methods Used on Design Stage to Increase Site Optimization Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems. (COLINS), Volume III: Intelligent Systems Workshop, 2023. In CEUR Workshop Proceedings, Vol-3403, Р. 387–4093. URL: https://ceur-ws.org/Vol-3403/paper31.pdf
Shubin І. Development of conjunctive decomposition tools. CEUR Workshop Proceedings, 2021. Р. 890–900. URL: https://ceur-ws.org/Vol-2870/
Karataiev O., Sitnikov D., Sharonova N. A Method for Investigating Links between Discrete Data Features in Knowledge Bases in the Form of Predicate Equations, CEUR Workshop Proceedings, 2023. Р. 224–235. URL: https://ceur-ws.org/Vol-3387/paper17.pdf
Тест як інструмент педагогічного моніторингу. URL: http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij (дата звернення: 20.08.2023).
MyTestXPro – система програм для створення та проведення комп’ютерного тестування, збору та аналізу їх результатів. URL: http://mytest.net (дата звернення: 28.08.2023).
Комп’ютерна програма тестування OpenTEST2. URL: http://opentest.com. ua/kompyuternaya-programma-testirovaniya-znanij-opentest-2 (дата звернення: 21.08.2023).
Конструктор тестів Keepsoft. URL: http://www.keepsoft.ru/simulator.htm. (дата звернення: 20.08.2023.)
Безкоштовна програма для тестування знань та онлайн підготовки. URL: http://xtls.org.ua/ test.html (дата звернення: 20.08.2023).
Sharonova N. et al. Issues of Fact-based Information Analysis. International Conference on Computational Linguistics and Intelligent Systems. 2018. 178 р. URL: http://web.kpi.kharkov.ua/iks/wp-content/uploads/sites/113/2021/10/preface_colins_volume2_2018.pdf
Williams P. E-learning: what the literature tells us about distance education. An overview. Aslib Proceedings. Vol. 57. 2005. P 109–122. DOI: https://doi.org/10.1108/00012530510589083
Omran P. G., Wang K., Wang Z. An Embedding-based Approach to Rule Learning in Knowledge Graphs, IEEE Transactions on Knowledge and Data Engineering. Vol. 33(4). 2021. Р. 1348–1359. DOI: 10.1109/TKDE.2019.2941685
Pellissier-Tanon T., Weikum G., Suchanek F. YAGO 4: A Reasonable Knowledge Base, 17th International Conference, ESWC 2020, Heraklion, Crete, Greece, May 31–June 4, 2020. P. 583–596. DOI:10.1007/978-3-030-49461-2_34
Kyrychenko I.,Malikin D. Research of Methods for Practical Educational Tasks Generation Based on Various Difficulty Levels 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022), May 12–13, 2022, Gliwice, Poland. CEUR Workshop Proceedings 3171, Volume I: Main, Р. 1030–1042. URL: https://ceur-ws.org/Vol-3171/paper74.pdf
Omran P. G., Wang Z., Wang K. Scalable rule learning via learning representation, Twenty-Seventh International Joint Conference on Artificial Intelligence. IJCAI-18. 2018. Р. 2149–2155. DOI:10.24963/ijcai.2018/297
Svato M., Schockaert S., Davis J. STRiKE: Rule-Driven Relational Learning Using Stratified k-Entailment, in: ECAI, 2020. URL: https://ida.fel.cvut.cz/~kuzelka/pubs/ecai2020.pdf
Sharonova N., Gruzdo I., Tereshchenko G. Generalized Semantic Analysis Algorithm of Natural Language Texts for Various Functional Style Types. 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022), May 12–13, 2022, Gliwice, Poland. CEUR Workshop Proceedings 3171, Volume I: Main, Р. 16–26. URL: https://ceur-ws.org/Vol-3171/paper4.pdf
Barkovska O. Research into Speech-to-text Transformation Module in the Proposed Model of a Speaker’s Automatic Speech Annotation. Innovative Technologies and Scientific Solutions for Industries. 2022. № 4 (22). Р. 5–13. DOI: https://doi.org/10.30837/ITSSI.2022.22.005
References
Sokolovskyi, Ya, Storozhuk, O., Kroshnyi, I. "The use of modern information and communication technologies for the organization of distance learning". Scientific Bulletin of the National Technical University of Ukraine. 2015. Issue 25.6. P. 243–251. available at: http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?I21DBN=LINK&P21DBN=UJRN&Z21ID=&S21REF=10&S21CNR=20&S21STN=1&S21FMT=ASP_meta&C21COM=S&2_S21P03=FILA=&2_S21STR=nvnltu_2015_25
"Learning management system". available at: https://en.wikipedia.org/wiki/Learning_management_system (last accessed 26.08.2023).
Backer, R. (2019), Educational data mining and learning analytics. The Cambridge handbook of the learning sciences. 274 р. DOI: 10.1017/CBO9781139519526.016
"A Guide to the Scrum Body of Knowledge (SBOK™ GUIDE)", available at: https://www.scrumstudy.com/SBOK/SCRUMstudy-SBOK-Guide-3rd.pdf (last accessed 26.08.2023).
Gruzdo, I., Kyrychenko, I., Tereshchenko, G., Shanidze, O. "Analysis of Models Usability Methods Used on Design Stage to Increase Site Optimization" Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems. (COLINS), Volume III: Intelligent Systems Workshop, 2023. In CEUR Workshop Proceedings, Vol-3403, Р. 387–4093. available at: https://ceur-ws.org/Vol-3403/paper31.pdf
Shubin, І. "Development of conjunctive decomposition tools". CEUR Workshop Proceedings, 2021. Р. 890–900. available at: https://ceur-ws.org/Vol-2870/
Karataiev, O., Sitnikov, D., Sharonova, N. "A Method for Investigating Links between Discrete Data Features in Knowledge Bases in the Form of Predicate Equations", CEUR Workshop Proceedings, 2023, Р. 224–235. available at: https://ceur-ws.org/Vol-3387/paper17.pdf
"The test as a tool of pedagogical monitoring" ["Test yak instrument pedahohichnoho monitorynhu"] available at: http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij (last accessed 20.08.2023.)
"MyTestXPro – system of programs for creating and conducting computer testing, collecting and analyzing their results". ["Systema prohram dlia stvorennia ta provedennia kompiuternoho testuvannia, zboru ta analizu yikh rezultativ"] available at: http://mytest.net (last accessed 28.08.2023).
"Computer testing program OpenTEST2". ["Kompiuterna prohrama testuvannia OpenTEST2"]. available at: http://opentest.com. ua/kompyuternaya-programma-testirovaniya-znanij-opentest-2. (last accessed 21.08.2023).
"Test designer Keepsoft". ["Konstruktor testiv Keepsoft"]. available at: http://www.keepsoft.ru/simulator.htm. (last accessed 20.08.2023).
"Free program for knowledge testing and online preparation". ["Bezkoshtovna prohrama dlia testuvannia znan ta onlain pidhotovky"]. available at: http://xtls.org.ua/ test.html (last accessed 20.08.2023).
Sharonova, N. et al. "Issues of Fact-based Information Analysis". International Conference on Computational Linguistics and Intelligent Systems. 2018. 178 р. available at: http://web.kpi.kharkov.ua/iks/wp-content/uploads/sites/113/2021/10/preface_colins_volume2_2018.pdf
Williams, P. (2005), "E-learning: what the literature tells us about distance education". An overview. Aslib Proceedings. Vol. 57. P 109–122. DOI: https://doi.org/10.1108/00012530510589083
Omran, P. G., Wang, K., Wang, Z. (2021), "An Embedding-based Approach to Rule Learning in Knowledge Graphs", IEEE Transactions on Knowledge and Data Engineering. Vol. 33(4). Р. 1348–1359. DOI: 10.1109/TKDE.2019.2941685
Pellissier-Tanon, T., Weikum, G., Suchanek, F. (2020), "F. YAGO 4: A Reasonable Knowledge Base", 17th International Conference, ESWC 2020, Heraklion, Crete, Greece, May 31–June 4. P. 583–596. DOI:10.1007/978-3-030-49461-2_34
Kyrychenko, I., Malikin, D. "Research of Methods for Practical Educational Tasks Generation Based on Various Difficulty Levels" 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022), May 12–13, 2022, Gliwice, Poland. CEUR Workshop Proceedings 3171, Volume I: Main, Р. 1030–1042. available at: https://ceur-ws.org/Vol-3171/paper74.pdf
Omran, P. G., Wang, Z., Wang, K. (2018), "Scalable rule learning via learning representation", Twenty-Seventh International Joint Conference on Artificial Intelligence. IJCAI-18. Р. 2149-2155. DOI:10.24963/ijcai.2018/297
Svato, M., Schockaert, S., Davis, J. "STRiKE: Rule-Driven Relational Learning Using Stratified k-Entailment", in: ECAI, 2020. available at: https://ida.fel.cvut.cz/~kuzelka/pubs/ecai2020.pdf
Sharonova, N., Gruzdo, I., Tereshchenko, G. "Generalized Semantic Analysis Algorithm of Natural Language Texts for Various Functional Style Types". 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022), May 12–13, 2022, Gliwice, Poland. CEUR Workshop Proceedings 3171, Volume I: Main, Р. 16–26. available at: https://ceur-ws.org/Vol-3171/paper4.pdf
Barkovska, O. (2022), Research into Speech-to-text Transformation Module in the Proposed Model of a Speaker’s Automatic Speech Annotation. Innovative Technologies and Scientific Solutions for Industries. № 4 (22). Р. 5–13. DOI: https://doi.org/10.30837/ITSSI.2022.22.005
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
