Створення шкали оцінювання умінь письма з урахуванням специфіки та контексту умов освіти України
DOI:
https://doi.org/10.17721/2663-0303.2022.1.02Ключові слова:
шкала оцінювання письма, тест підсумкового оцінювання, специфіка та контекст процесу освітиАнотація
Постановка проблеми: У контексті української університетської освіти оцінка писемного мовлення на мовних програмах традиційно здійснюється окремим викладачем; при цьому відсутні інституційно встановлені шкали або критерії, на які можна було б покластися і використовувати їх колегіально у процесі оцінювання письма. Використання шкал оцінювання із зовнішніх тестів зазвичай не може задовольнити вимогу повної відповідності навчальним програмам, які реалізуються в конкретних умовах. Основна причина цього полягає у невідповідності цілей курсу та структури тесту, а також типів завдань, що використовуються у зовнішніх та інституційних тестах. Водночас створення та застосування власних шкал нерідко має несистемний характер через часозатратність процесу та брак знань викладачів про етапи повного циклу створення шкали оцінювання.
Метою статті є дослідження процесу створення, впровадження та вдосконалення шкали оцінювання вмінь письма студентів мовних спеціальностей для колективного використання викладачами однієї кафедри (дослідницької групи, команди). Хоча викладачі можуть надавати перевагу використанню зовнішніх шкал оцінювання, автори вважають, що участь викладачів у розробленні шкал є більш цінним досвідом з точки зору їхнього професійного розвитку.
Методологія. Дослідження має емпіричний характер і здійснюється на таких етапах створення та порівняння двох версій шкали оцінювання умінь письма: 1) створення шкали; 2) інструктування команди викладачів; 3) застосування шкали (оцінювання письмових робіт); 4) оцінювання ефективності шкали викладачами; 5) аналіз результатів командою. Учасниками дослідження були 8 викладачів англійської мови, що добровільно взяли участь у процесі оцінювання письмових робіт студентів 2-го курсу, що вивчають англійську як другу іноземну мову .
Результати. Результати дослідження засвідчили вищий ступінь узгодженості оцінок у версії 2 шкали. Зазначена версія була модифікована після критичних зауважень щодо труднощів оцінювання робіт за критеріями «когерентність/ когезія» та «текстові характеристики». Зібрані дані дозволяють припустити, що підхід, запропонований у цьому дослідженні, може стати зразком для покращення не завжди високих стандартів тестів та іспитів у нашій країні, які часто є результатом відсутності досвіду тестування та оцінювання у викладачів.
Посилання
Aryadoust, V. (2010). Investigating Writing Sub-skills in Testing English as a Foreign Language: A Structural Equation Modeling Study. TESL-EJ, 13(4). https://www.tesl-
Banerjee, J., Franceschina, F., & Smith, A. M. (2007). Documenting features of written language production typical at different IELTS band score levels [IELTS Research Report No. 7, the British Council/ University of Cambridge Local Examinations Syndicate]. https://www.ielts.org/research/research-reports/volume-07-report-5
Becker, A. (2018). Not to scale? An argument-based inquiry into the validity of an L2 writing rating scale. Assessing Writing, 37, 1–12. https://doi.org/10.1016/j.asw.2018.01.001
Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2004). Working inside the black box: Assessment for learning in the classroom. Phi Delta Kappan, 86(1), 8–21. https://doi.org/10.1177/003172170408600105
Bolitho. R., & West, R. (2017). The internationalisation of Ukrainian universities: The English language dimension [British Council Ukraine report on English for Universities Project]. https://www.teachingenglish.org.uk/article/internationalisation-ukrainian-universities-english-language-dimension
Cho, D. (2008). Investigating EFL writing assessment in a classroom setting: Features of composition and rater behaviors. The Journal of Asia TEFL, 5(4), 49–84. https://www.earticle.net/Article/A182195
Clandfield et al., (2010). Global Upper Intermediate Student's Book. Macmillan ELT.
Crusan, D., Plakans, L., & Gebril, A. (2016). Writing assessment literacy: Surveying second language teachers’ knowledge, beliefs, and practices. Assessing Writing, 28, 43–56. https://doi.org/10.1016/j.asw.2016.03.001
Ducasse, A. M., & Hill, K. (2015). Development of a Spanish generic writing skills scale for the Colombian graduate skills assessment (SaberPro). Papers in Language Testing and Assessment, 4(2), 18–33. https://arts.unimelb.edu.au/__data/assets/pdf_file/0009/1770606/2.Ducasse-And-Hill.pdf
Fulcher, G. (2003). Testing second language speaking. Pearson Longman.
Gamaroff, R. (2000). Rater reliability in language assessment: The bug of all bears. System, 28(1), 31–53. https://doi.org/10.1016/S0346-251X(99)00059-7
Green, A. (2014). Exploring language assessment and testing: Language in action. Routledge. https://doi.org/10.4324/9781315889627
Hamp-Lyons, L. (1990). Second language writing: Assessment issues. In B. Kroll (Ed.), Second language writing assessment issues and options. Macmillan. https://doi.org/10.1017/CBO9781139524551.009
Hamp-Lyons, L. (1995). Rating nonnative writing: The trouble with holistic scoring. TESOL Quarterly, 29, 759-762.Hawkey, R., & Barker, F. (2004). Developing a common scale for the assessment of writing. Assessing Writing, 9, 122–159. https://doi.org/10.2307/3588173
Heaton, J.B. (1991). Writing English language tests. Longman.
Hill, K., & Ducasse, A.M. (2020). Advancing written feedback practice through a teacher-researcher collaboration in a university Spanish program. In M. Poehner, O. Inbar-Lourie (Eds.), Toward a reconceptualization of second language classroom assessment. Educational Linguistics (vol. 41). Springer, Cham. https://doi.org/10.1007/978-3-030-35081-9_8
Jeong, H. (2015). Rubrics in the classroom: do teachers really follow them? Language Testing in Asia, 5(6). https://doi.org/10.1186/s40468-015-0013-5
Kkese, E. T. (2018). Assessing L2 Writing in the Absence of Scoring Procedures: Construction of Rating Scales in a Cypriot Greek EFL in Class Context. Journal of English Education, 3(2), 46–56. https://doi.org/10.31327/jee.v3i2.809
Knoch, U. (2007). ‘Little coherence, considerable strain for reader’: A comparison between two rating scales for the assessment of coherence. Assessing Writing, 12, 108–128. https://doi.org/10.1016/j.asw.2007.07.002
Knoch, U. (2009). Diagnostic assessment of writing: A comparison of two rating scales. Language Testing, 26(2), 275–304. https://doi.org/10.1177/0265532208101008
Knoch, U. (2011). Rating scales for diagnostic assessment of writing: What should they look like and where should the criteria come from? Assessing Writing, 16, 81–96. https://doi.org/10.1016/j.asw.2011.02.003
Kvasova, O. & Kavytska, T. (2014). The assessment competence of university foreign language teachers: A Ukrainian perspective. CerleS, 4(1), 159–177. https://doi.org/10.1515/cercles-2014-0010
Kvasova, O., Kavytska, T. & Osidak, V. (2019). Investigation of writing assessment literacy of Ukrainian University teachers. Ars linguodidacticae, 4(2), 10–19. https://doi.org/10.17721/2663-0303.2019.4.02
Lim, G. S. (2011). The development and maintenance of rating quality in performance writing. assessment: A longitudinal study of new and experienced raters. Language Testing, 28, 543–560. https://doi.org/10.1177/0265532211406422
Lumley, T. (2002). Assessment criteria in a large-scale writing test: What do they really mean to the raters? Language Testing, 19(3), 246–276. https://doi.org/10.1191/0265532202lt230oa
Mai, D. (2019). A review of theories and research into second language writing assessment criteria. VNU Journal of Foreign Studies, 35(3). https://doi.org/10.25073/2525-2445/vnufs.4371
Mellati, M., & Khademi, M. (2018). Exploring teachers’ assessment literacy: Impact on learners’ writing achievements and implications for teacher development. Australian Journal of Teacher Education, 43(6). http://dx.doi.org/10.14221/ajte.2018v43n6.1.
Mendoza, A., & Knoch, U. (2017). Examining the validity of an analytic rating scale for a Spanish test for academic purposes. Assessing writing, 35, 41–55. https://doi.org/10.1016/j.asw.2017.12.003
North, B., & Schneider, G. (1998). Scaling descriptors for language proficiency scales. Language Testing, 15(2), 217–263. https://doi.org/10.1177/026553229801500204
Plakans, L. (2013). Writing scale development and use within a language program. TESOL Journal, 4(1). https://doi.org/10.1002/tesj.66
Skar, G. B., & Jølle, L. J. (2017). Teachers as raters: An investigation of a long-term writing assessment program. L1-Educational Studies in Language and Literature, 17, 1–30. https://doi.org/10.17239/L1ESLL-2017.17.01.06
Turner, C. E., & Upshur, J. A. (2002). Rating scales derived from student samples: Effects of the scale maker and the student sample on scale content and student scores. TESOL Quarterly, 36(1), 49–70. https://doi.org/10.2307/3588360
Vaughan, C. (1991). Holistic assessment: What goes on in the raters’ mind? In L. Hamp-Lyons (Ed.), Assessing second language writing in academic contexts (pp. 111–126). Norwood, NJ: Ablex.
Vogt, K. & Tsagari, D. (2014). Assessment literacy of foreign language teachers: Findings of a European study. Language Assessment Quarterly, 11(4), 374–402. http://dx.doi.org/10.1080/15434303.2014.960046
Weigle, S. C. (2002). Assessing writing. Cambridge University Press. https://doi.org/10.1017/CBO9780511732997
Weigle, S.C. (2007). Teaching writing teachers about assessment. Journal of Second Language Writing, 16(3), 194–209. https://doi.org/10.1016/j.jslw.2007.07.004
Yamanishi, H., Ono, M., & Hijikata, Y. (2019). Developing a scoring rubric for L2 summary writing: A hybrid approach combining analytic and holistic assessment. Language Testing in Asia, 9(13). https://doi.org/10.1186/s40468-019-0087-6
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
Політика охорони авторських прав відповідно до умов ліцензії: Creative Commons Attribution-NonCommercial (Атрибуція-Некомерційне використання) 4.0 Міжнародна (CC BY-NC 4.0).
Автори, що публікують свої статті в журналі "Ars Linguodidacticae" (журналі відкритого доступу) зберігають за собою такі права:
- Автори зберігають за собою права на авторство своєї статті та надають журналу "Ars Linguodidacticae" право першої публікації рукопису своєї статті на умовах ліцензії Creative Commons (CC BY-NC 4.0) Attribution License, яка дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на автора оригінальної роботи та першу оригінальну публікацію в журналі "Ars Linguodidacticae". Інформація про збереження права на авторство надається на титульній сторінці статті.
- Автори зберігають за собою право укладати окремі угоди на неексклюзивне розповсюдження своєї статті у тому вигляді, в якому вона була опублікована в журналі "Ars Linguodidacticae" (наприклад, розміщувати статтю в електронних бібліотеках, архівах та каталогах або публікувати у складі інститутських збірників та монографій), за умови обов'язкового повного посилання на першу оригінальну публікацію в журналі "Ars Linguodidacticae".
- Політика журналу "Ars Linguodidacticae" дає змогу та заохочує розміщення авторами в мережі Інтернет (наприклад в інститутському репозитарії або на персональному сайті) рукопису роботи як до її подання до редакції, так і під час її редакційного опрацювання, оскільки це сприяє продуктивній науковій дискусії та позитивно позначається на оперативності й динаміці цитування статті.
Редакція журналу зберігає за собою видавничі права на:
- зверстані оригінали статей та весь номер журналу;
- оформлення журналу, а також оригінальні ілюстративні та додаткові матеріали;
- репринтні перевидання журналу в друкованому та електронному вигляді.
Політика охорони авторських прав провадиться відповідно до умов ліцензії: Creative Commons Attribution-NonCommercial (Атрибуція-Некомерційне використання) 4.0 Міжнародна (CC BY-NC 4.0).
Для отримання додаткової інформації, будь ласка, прочитайте повний текст Публічної ліцензії CC BY-NC 4.0
Creative Commons Attribution-NonCommercial 4.0 International License.
