19237

۱۹۲۳۷

تاثير ويژگي‌هاي ارزيابي‌كنندگان بر ميزان سخت‌گيري/ آسان‌گيري آنان در ارزيابي عملكرد نوشتن

كارشناسي ارشد

آموزش زبان انگليسي

۱۳۹۶/۱۱/۲۶

اكرم نيرنيا

ﺷﻬﻴﻦ واﻋﻈﻲ

زبان هاي خارجي

ارزيابي عملكرد زبان امر بسيار مهم و پيچيده‌‌اي است كه در آن نمره‌هاي آزمون‌دهندگان تحت تاثير برخي عوامل خارجي مانند ويژگي‌هاي ارزيابي‌كنندگان قرار مي‌گيرند. به منظور حصول اطمينان از صحت و اعتبار آزمون‌هاي بين‌المللي، شناسايي اين عوامل و جلوگيري از تاثير آنها امري ضروري است. در اين مطالعه تاثير برخي از ويژگي‌هاي ارزيابي‌كنندگان مانند سن، جنسيت، سطح مهارت زبان، رشته‌ي تحصيلي، مدرك تحصيلي، و ميزان تجربه در تدريس زبان انگليسي بر ميزان سخت‌گيري/آسان‌گيري آنان در ارزيابي مهارت نوشتن در آزمون آيلتس مورد بررسي قرار گرفت. سهم هريك از اين ويژگي‌ها نيز در ميزان سخت‌گيري/‌‌آسان‌گيري محاسبه شد. شركت‌كنندگان در اين مطالعه ۳۰ دانش آموخته‌ي كارشناسي و كارشناسي ارشد در رشته هاي مرتبط با زبان انگليسي، بودند. ابزار سنجش در اين تحقيق پرسشنامه‌اي بود كه شامل اطلاعات دموگرافيك ارزيابي‌كنندگان و ۲۰ نمونه از پاسخ‌هاي آزمون‌دهندگان به فعاليت دوم آيلتس بود كه ارزيابي‌كنندگان بايد به دو صورت كلي و تحليلي به آنها نمره مي‌دادند. نمره‌ي تحليلي بر اساس چهار معيار تعيين مي‌شد عبارتند از موفقيت در انجام فعاليت، همگرايي و همبستگي، منابع واژگاني، و دامنه و دقت دستوري در يك مقياس ليكرت شش نقطه. براي بررسي ارتباط ميان ويژگي‌هاي ارزيابي‌كنندگان و ميزان سخت‌گيري/آسان‌گيري آنان، از آزمون مربع كاي استفاده شد. رگرسيون چندگانه استاندارد نيز اجرا شد تا مشخص شود كه قدرت پيش‌بيني كدام يك از ويژگي‌ها در تعيين ميزان سخت‌گيري/‌‌آسان‌گيري بيشتر بوده و همچنين سهم بقيه‌ي ويژگي‌ها چقدر است. به علاوه آزمون ويلكاكسون اجرا شد تا مشخص شود كه آيا تفاوت چشمگيري بين نمرات جامع و تحليلي وجود دارد يا نه. نتايج نشان دادند كه هچ ارتباط چشمگيري ميان ويژگي‌هاي آزمون‌دهندگان و ميزان سخت‌گيري/آسان‌گيري وجود ندارد. همچنين تفاوت چشمگيري ميان نمرات جامع و تحليلي وجود داشت. اين مطالعه مي‌تواند براي توسعه‌دهندگان آزمون‌ها جهت برنامه ريزي در توسعه‌ي برنامه‌ي آموزشي براي تربيت ارزيابي‌كنندگاني بهتر و كار‌‌آمدتر مورد استفاده قرار بگيرد.

1397/05/12

The Impact of Rater Characteristics on Rater Severity/Leniency in Writing Performance Assessment

8/3/2018 12:00:00 AM

Language performance assessment is a notoriously difficult task where test-takers’ score might be influenced by such extraneous factors as rater characteristics. In order to ensure validity issues, it is crucially important to identify these factors and control for their effects. In this respect, the overriding purpose of this study was to investigate whether rater characteristics such as age, gender, language proficiency level, discipline, degree, and teaching experience have an impact on the severity/leniency of the raters in the IELTS writing performance assessments. The contribution of each characteristic to severity/leniency was also investigated. To this aim, 30 raters participated in this study. They were first given a demographic questionnaire and then 20 IELTS task-2 writing samples to rate both holistically and analytically based on four major criteria including task achievement, coherence and cohesion, lexical resource, and grammatical range and accuracy on a six-point Likert scale. The non-parametric chi-square test for independence was used to explore whether the characteristics of raters and their severity/leniency in the IELTS writing performance assessment were related. In addition, the standard multiple regression was utilized to determine which characteristics more predicted raters’ severity/leniency and how much was the contribution of each. Finally, wilcoxon signed rank test was calculated to see if there was significant difference between the holistic and analytic scores awarded by raters. The results revealed that although there was no significant relationship between the raters’ characteristics and their severity/leniency, a significant difference was observed between the holistic and analytic scores. This study recommended test-developers to plan on a rater training program to produce attentive raters who rate more appropriately and efficiently.