بررسی تاثیر میزان درک وتجربه مصححان برسنجش مهارت نگارش در زبان دوم
Subject Areas : آموزش زبان انگلیسی
1 - Zanjan Branch, Islamic Azad University, Zanjan, Iran
Keywords: اعتبار, پایایی, ارزشیابی, پایایی ارزیابها,
Abstract :
آموزش مصححان در اعتبار سازه ی آزمون های نگارش بسیار حائز اهمیت است. دلیل این اهمیت این است که از طریق آموزش، مصححان به استفاده از توانایی دانش آموزان بجای معیار های شخصی در ارزیابی مهارت نگارش تغییر رویه می دهند. با وجود آنکه مباحث زیادی در رابطه با سنجش مهارت نگارش مطرح شده، اما تحقیقات بسیار کمی به برسی نحوه ی نگرش مصححان و شیوه ی برخورد ایشان با برنامه ی آموزشی پرداخته اند. همچنین، مطالعات بسیار کمی تفاوتهای بین مصححان آموزش دیده و مصححان آموزش ندیده در ارزیابی مهارت نگارش را مورد برسی قرار داده اند. علاوه بر آن، مطالعات کمی در حوزه ی سنجش مهارت نگارش، از متد قبل و بعد آموزش استفاده کرده اند. در این تحقیق به برسی میزان تاثیر و نحوه ی عملکرد برنامه ی آموزشی بر روی مصححان با تجربه و مصححان بی تجربه پرداخته شد. 12 مصحح شرکت کننده در این مطالعه تعداد 45 برگه نگارش را در سه مرحله ی قبل، بعد و در خلال برنامه ی آموزشی تصحیح کردند. همچنین، این برگه ها توسط مربی دوره ی آموزشی به منظور استفاده به عنوان معیار سنجش نیز تصحیح شدند. یافته های این تحقیق نمایانگر وجود ناهماهنگی گسترده تری در میان مصححان بی تجربه نسبت به مصححان با تجربه در مرحله ی قبل از اجرای برنامه ی آموزشی بود. اما پس از اجرای برنامه ی آموزشی، نتایج از وجود هماهنگی بسیار بالاتری در میان مصححان بی تجربه در مقایسه با مصححان با تجربه در این مرحله از برنامه ی آموزشی حکایت دارند.
Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford: Oxford University Press.
Breland, H. M., & Jones, R. J. (1984).Perceptions of writing skills.Written Communication, 1(1), 101-119.
Charney, D. (1984). The validity of using holistic scoring to evaluate writing: A critical overview. Research in the Teaching of English, 18, 65-81.
Cumming, A. (1990). Expertise in evaluating second language compositions.Language Testing, 7, 31-51.
Diederich, P. B., French, J. E., & Carlton, S. T. (1998).Factors in judgments of writing ability.Educational Testing Service.Priceton, Nj.
Elder, C., Barkhuizen, G., Knoch, U., &Randow, J. (2007).Evaluating rater responses to an online training program for L2 writing assessment.Language Testing, 24(1), 37-64.
Hamilton, J., Reddel, S., & Spratt, M. (2001). Teachers’ perception of online rater training and monitoring .System, 29, 505-520.
Huot, B. (1990). In reliability, validity, and holistic scoring: What we know and what we need to know. College Composition and Communication, 41, 201-213.
Knoch, U., Read, J., &Randow, J. V. (2007). Re-training writing raters online: How does it compare with face-to-face training? Assessing Writing, 12, 26-43.
Linacre, J. M. (1989). Many-faceted Rasch measurement. Chicago, IL: MESA Press.
Reed, D. J. & Cohen, A. D. (2001). Revising raters and ratings in oral language assessment. In C. Elder, A. Brown, E. Grove, K. Hill, N. Iwashita, T. Lumley, T. McNamara, & K, O’Loughlin (Eds.), Experimenting with uncertainty: Essays in honor of Allan Davies. Cambridge: Cambridge University Press.
Ruth, L. & Murphy, S. (1988). Designing writing tasks for the assessment of writing. Norwood, NJ: Ablex Publishing Corp.
Shohamy, E., Gordon, C. M., & Kramer, R. (1992).The effects of raters’ backgrounds and training on the reliability of direct writing tests.Modern Language Journal, 76(1), 27-33.
Weigle, S. C. (1994a). Effects of training on raters of ESL compositions.Language Testing, 11, 197-223.
Weigle, S. C. (1994b). Effects of training on raters of English as a second language compositions: Qualitative and quantitative approaches. Unpublished Ph.D. dissertation, University of California, Los Angeles.
Wigglesworth, G. (1993). Exploring bias analysis as a tool for improving rater consistency in assessing oral interaction.Language Testing, 10, 305-23.
