АВТОМАТИЗАЦІЯ АНАЛІЗУ ЯКОСТІ ТЕСТОВИХ ЗАВДАНЬ ТА РЕЗУЛЬТАТІВ ТЕСТУВАННЯ СТУДЕНТІВ ІТ-СПЕЦІАЛЬНОСТЕЙ
DOI:
https://doi.org/10.30837/2522-9818.2020.11.019Ключові слова:
оцінка якості тестових завдань, тестове завдання, процес тестування, статистичні методи, моделі IRT, валідність, надійність, диференціююча здатністьАнотація
Предметом дослідження статті є статистичні моделі і методи оцінювання якості тестових завдань, а також процеси та технології інформаційної підтримки оцінювання результатів тестування та якості тестів. Метою є підвищення якості тестових завдань та точності оцінювання результатів тестування в умовах постійних змін змісту навчальних програм і вмісту тестових завдань, та скорочення часу на обробку результатів тестування за рахунок автоматизації, застосування розроблених алгоритмів та інформаційної системи тощо. В роботі вирішуються наступні задачі: аналіз процесу підготовки та проведення тестування; проведення аналітичного огляду статистичних методів оцінювання якості тестових завдань та показників якості тестових завдань; розробка узагальненого процесу підготовки та проведення тестування; автоматизація аналізу результатів тестування студентів ІТ-спеціальностей. Для вирішення зазначених завдань були використані методи статистичного аналізу, модель Rasch IRT (Item Response Theory), технології розробки програмних додатків. Отримані наступні результати. Проаналізовано процес підготовки та проведення тестування, запропоновано його модифікацію з урахуванням особливостей тестування студентів ІТ-спеціальностей. Вибрано показники якості тестових завдань та моделі і методи їх розрахунку, зокрема модель Rasch IRT. Наведено інтерпретацію значень показників якості тестових завдань, та розрахунок коефіцієнтів аномалії якості завдання, які є основою для формування поради щодо поліпшення якості тесту. Розроблено прототип інформаційної системи підтримки процесу аналізу якості тестових завдань, оцінювання результатів тестування та прийняття рішень про модифікацію тесту. Проведено тестування системи при оцінюванні результатів модульного контролю студентів третього курсу. Висновки: автоматизація та інформаційна підтримка розрахунку та аналізу показників якості тестових завдань та результатів тестування дозволить підвищити точність оцінювання та скоротити час на обробку результатів тестування.
Посилання
Avanesov, V. S. (1994), Scientific problems of test knowledge measurement [Nauchnye problemy testovogo kontrolya znanii], Moscow, ITsPKPS, 86 p.
Avanesov, V. S. (2006), Form of the tests [Forma testovykh zadanii], Moscow, Tsentr testirovaniya Publ., 156 p.
Omarov, М., Muradova, V. (2018), "Infological support of the information technology for managemant of distance education", Innovative Technologies and Scientific Solutions for Industries, No. 4 (6), P. 146–153. DOI: https://doi.org/10.30837/2522-9818.2018.6.146
Kovalʹčuk, Ju. O. (2012), Educational Measurement Theory [Teorija osvitnix vymirjuvanʹ], Nizhyn, Publisher PP Lysenko M. M., 200 p.
Lisova, T. V. (2012), Models and methods of the modern test theory [Modeli ta metody suchasnoyi teoriyi testiv], Nizhyn, Publisher PP Lysenko M. M. 112 p.
An, X. and Yung, Y. (2014), "Item Response Theory: What it is and how you can use the IRT procedure to apply it", Paper SAS364-2014 – Cary, NC, USA : SAS Institute Inc., 14 p., available at : http://support.sas.com/resources/papers/proceeding (last accessed 11.02.2020).
Razak, N. A., Razak, A. Z. K. and Lei, M.T. (2012), "Examining Quality of Mathemtics Test Items Using Rasch Model: Preminarily Analysis", Procedia - Social and Behavioral Sciences, Vol. 69, P. 2205–2214. DOI: https://doi.org/10.1016/j.sbspro.2012.12.187
Maiorov, A. N. (2002), Theory and practice of tests creating for the education system [Teoriya i praktika sozdaniya testov dlya sistemy obrazovaniya], Moscow, Intellekt-Tsentr Publ., 267 p.
Malieieva, Ju., Kosenko, V., Malyeyeva, O., Svetlichnyj, D. (2019), "Creation of collaborative development in the system of distance learning", Innovative Technologies and Scientific Solutions for Industries, No. 2 (8), P. 62–71. DOI: https://doi.org/10.30837/2522-9818.2019.8.062
Croker, L., Algina, J. (2010), Introduction to Classical and Modern Test Theory. [Vvedenie v klassicheskuyu i sovremennuyu teoriyu testov], Moscow, Logos Publ., 668 p.
Rasch, G. (1980), Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Danish Institute of Educational Research. (Expanded edition), 324 p.
Kim, V. S. (2005), "Test results analysis during Rasch measurement" ["Analiz rezul'tatov testirova-niya v protsesse Rasch measurement"], Pedagogicheskie izmereniya – Pedagogical Measurements, Vol. 4, P. 39–45.
Rusch, T., Lowry, P. B., Mair, P., Treiblmaier, H. (2017), "Breaking free from the limitations of classical test theory: Developing and measuring information systems scales using item response theory", Information & Management, Vol. 54, Issue 2, P. 189–203. DOI: https://doi.org/10.1016/j.im.2016.06.005
Wilson, M. (2005), Constructing Measures: An Item Response Modeling Approach, NJ : Lawrence Erlbaum Associates, 228 p. DOI: https://doi.org/10.4324/9781410611697
Mikheev, O. V. (2004), "The mathematical model of pedagogical measurements" ["Matematicheskie modeli pedagogicheskikh izmerenii"], Pedagogicheskie izmereniya – Pedagogical Measurements, Vol. 2, P. 75–88.
Dykhovichnyi, A. A., Dudko, A. F. (2013), "Automated system for computer testing in higher mathematics results analysis" ["Avtomatizirovannaya sistema analiza rezul'tatov komp'yuternogo testirovaniya po vysshei matematike"], Naukovі pratsі DonNTU. Serіya: "Pedagogіka, psikhologіya і sotsіologіya", Vol. 2 (14), P. 103–110.
Suparman, U. (2016), "Analyzing the quality of english test items of daily, mid semester and final school examinations in bandar lampung: (assessment and evaluation in language teaching)", International Conference On Educational Research & Evaluation, Yogyakarta, 14 p. URL: http://repository.lppm.unila.ac.id/id/eprint/3121 (last accessed 11.02.2020).
Quaigrain, K., Arhin, A. K. (2017), "Using reliability and item analysis to evaluate a teacher-developed test in educational measurement and evaluation", Cogent Education, Vol. 4 (1). P. 1–11. DOI: https://doi.org/10.1080/2331186X.2017.1301013.
##submission.downloads##
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2020 Leonid Smidovych, Olesia Artiukh, Nataliia Kosenko
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
