Experienced and Novice L2 Raters’ Cognitive Processes while Rating Integrated and Independent Writing Tasks

Kobra Tavassoli; Leila  Bashiri; Natasha  Pourdana

doi:10.17323/jle.2022.13466

Kobra Tavassoli Department of ELT, Karaj Branch, Islamic Azad University, Karaj, Iran https://orcid.org/0000-0002-8246-8584
Leila Bashiri Department of ELT, Karaj Branch, Islamic Azad University, Karaj, Iran https://orcid.org/0000-0002-3851-3501
Natasha Pourdana Department of ELT, Karaj Branch, Islamic Azad University, Karaj, Iran https://orcid.org/0000-0002-5738-1137

DOI: https://doi.org/10.17323/jle.2022.13466

Ключевые слова: когнитивные процессы, независимое письменное задание, интегрированное письменное задание, рейтинговый опыт, вербальный протокол, тип задания, рубрика, тип задания, рубрика

Аннотация

Введение. В последнее время наблюдается растущий интерес к личным качествам экспертов, которые определяют качество когнитивных процессов, связанных с практикой оценки письменных работ.

Цель. Соответственно, данное исследование нацелено на исследование того, как опыт экспертов в оценивании английского как второго языка может повлиять на их оценивание интегрированных и независимых письменных заданий.

Методы. Для достижения поставленной цели путем выборки по критериям были отобраны 13 опытных и 14 начинающих экспертов из Ирана. После посещения учебного курса по оценке письменных заданий обе группы подготовили интроспективные вербальные протоколы с результатами оценивания интегрированных и независимых письменных заданий, выполненные иранским учащимся, изучающими английский в качестве иностранного языка. Вербальные протоколы записывались на пленку и расшифровывались, а их содержание анализировалось исследователями.

Результаты. В результате проведенного контент-анализа были извлечены шесть основных тем для комментариев, которые включали содержание, формальные требования, общий языковой диапазон, использование языка, механику письма и организацию. Результаты показали, что тип письменного задания (интегрированное или независимое) является определяющим фактором для количества комментариев, представленных опытными и начинающими экспертами в рейтинговой рубрике TOEFL-iBT. Более того опыт экспертов в оценивании определял пропорции сделанных ими комментариев. Тем не менее, пропорциональные различия в комментариях опытных и начинающих экспертов были статистически значимыми только с точки зрения использования языка, механики письма, организации и общего комментария.

Conclusion. The variations in L2 raters’ rating performance on integrated and independent writing tasks emphasize the urgency of professional training to use and interpret the components of various rating writing scales by both experienced and novice raters.

Выводы. Различия в оценке экспертов при оценивании английского как второго языка при выполнении интегрированных и независимых письменных заданий подчеркивают безотлагательность профессиональной подготовки для использования и интерпретации компонентов различных шкал оценивания письма как опытными, так и начинающими экспертами.