Türkçeyi Yabancı Dil Olarak Öğreten ve Öğrenenler için A2 Düzeyi Yazma Becerisi Dereceli Puanlama Anahtarı Geliştirme Çalışması
Abstract
Etkili bir öğretim sürecinin en önemli öğelerinden bir ölçme ve değerlendirmedir. Üretici dil becerilerinden biri olan yazma; yazının doğasından, yazardan ve diğer pek çok etmenden en çok etkilenen becerilerden biri olduğu için değerlendirme süreci zor ve zahmetlidir. Bunun yanı sıra özellikle ikinci dilde bir yazının değerlendirmesinde değerlendiricinin deneyimi, duygu durumu vb. pek çok etken değerlendirme sürecine istemeden de olsa dâhil olur. Dolayısıyla değerlendiriciler tarafından verilen puanlar farklılaşır. Bu doğrultuda bu araştırmanın amacı yabancı dil olarak Türkçe öğretiminde yazma sürecinde kullanılmak üzere A2 düzeyinde geçerli ve güvenilir bir ölçme aracı geliştirmektir. Nitel ve nicel verilerin bir arada kullanıldığı araştırmada A2 düzeyi yazma sınavı, uzman görüş formu ve dereceli puanlama anahtarı veri toplama aracı olarak kullanılmıştır. Bu doğrultuda deneme uygulaması için 10, asıl uygulama için 34 öğrencinin yazma sınavı kullanılmıştır. Nitel veriler Lawshe (1975) tekniği ile analiz edilirken nicel verilerin analizinde grup içi korelasyon analizi gerçekleştirilmiştir. Lawshe (1975) analizinin bulguları her madde, alt boyutlar ve ölçeğin tamamı için kapsam geçerliliğinin literatüre göre yeterli olduğunu gösterirken grup içi korelasyon testinin sonuçları her madde, alt boyutlar ve ölçeğin tamamı için puanlayıcılar arası uyumun istatistiki olarak mükemmel düzeyde olduğunu göstermektedir.
References
- KAYNAKÇA Andrade, H. L., Wang, X., Du, Y., & Akawi, R. L. (2009). Rubric-referenced self-assessment and self-efficacy for writing. The Journal of Educational Research, 102(4), 287-302. https://doi.org/10.3200/JOER.102.4.287-302
- Atılgan, H., Kan, A., & Doğan, N. (2007). Eğitimde ölçme ve değerlendirme. Anı Yayıncılık.
- Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio: Revisiting the Original Methods of Calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. https://doi.org/10.1177/0748175613513808
- Çetin, Y. (2011). Reliability of raters for writing assessment: analytic—holistic, analytic—analytic, holistic – holistic. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(16), 471-486.
- Ghalib, T. K., & Al-Hattami, A. A. (2015). Holistic versus analytic evaluation of efl writing: a case study. English Language Teaching, 8(7), 225-236. https://doi.org/10.5539/elt.v8n7p225
- Hawe, E., Dixon, H., Murray, J., & Chandler, S. (2020). Using rubrics and exemplars to develop students’ evaluative and productive knowledge and skill. Journal of Further and Higher Education, 45(8), 1033-1047. https://doi.org/10.1080/0309877X.2020.1851358
- Hyland, K. (2003). Second language writing. Cambridge University Press.
- Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144. https://doi.org/10.1016/j.edurev.2007.05.002
- Knoch, U. (2011). Rating scales for diagnostic assessment of writing: What should they look like and where should the criteria come from? Assessing Writing, 16(2), 81-96. https://doi.org/10.1016/j.asw.2011.02.003
- Komisyon. (2020). Diller için Avrupa ortak başvuru metni: öğretme, öğretme ve değerlendirme-tamamlayıcı cilt- (Millî Eğitim Bakanlığı, Çev.). Avrupa Konseyi.
- Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting ıntraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155-163. https://doi.org/10.1016/j.jcm.2016.02.012
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575.
- Li, W. (2022). Scoring rubric reliability and internal validity in rater-mediated EFL writing assessment: Insights from many-facet Rasch measurement. Reading and Writing, 35(10), 2409-2431. https://doi.org/10.1007/s11145-022-10279-1
- Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7, 1-10. https://doi.org/10.7275/GCY8-0W24
- Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7, 1-6. https://doi.org/10.7275/Q7RM-GG74
- Obeid, R. (2017). Second language writing and assessment: voices from within the saudi efl context. English Language Teaching, 10(6), 174-181. https://doi.org/10.5539/elt.v10n6p174
- Türkiye Maarif Vakfı. (2020). Yabancı dil olarak Türkçe öğretimi programı (2bs). Erişim: https://www.turkiyemaarif.org/uploads/Turkcenin_Yabanci_Dil_Olarak_Ogretimi_Programi_2_Baski.pdf
- Weigle, S. C. (2009). Assessing writing (6. bs). Cambridge University Press.
- Yamanishi, H., Ona, M., & Hijikata, Y. (2019). Developing a scoring rubric for L2 summary writing: A hybrid approach combining analytic and holistic assessment. Language Testing in Asia, 9, 1-22.
- Yorgancı, O. K., & Baş, B. (2021). Yabancı dil olarak Türkçe öğrenenler için B1 düzeyi yazma becerisi dereceli puanlama anahtarı geliştirme çalışması. Okuma Yazma Eğitimi Araştırmaları, 9(1), 67-80. https://doi.org/10.35233/oyea.934684
Developing a Rubric for A2 Level Writing Skills for Learners and Teachers of Turkish as a Foreign Language
Abstract
Assessment and evaluation are among the most important elements of an effective teaching process. Since writing, one of the productive language skills, is one of the skills that is most influenced by the nature of writing, the writer, and many other factors, the assessment process is difficult and tedious. In addition, especially when assessing writing in a second language, many factors, such as the rater’s experience, emotional state, etc., unintentionally involve in the assessment process. Therefore, the scores given by raters differ. Accordingly, the aim of this study is to develop a valid and reliable assessment tool at the A2 level that can be used in teaching Turkish as a foreign language. In the study, using qualitative and quantitative data together, the A2 level writing test, the expert opinion form, and the rubric served as data collection tools. In this direction, 10 student writing exams were used for the pilot study, and 34 student writing exams were used for the actual study. While the qualitative data were analyzed using Lawshe’s (1975) technique, intra-group correlation analysis was used to analyze the quantitative data. The results of the Lawshe (1975) analysis show that the content validity for each item, the sub-dimensions, and the total scale is adequate according to the literature, while the results of the intra-group correlation testing show that the inter-rater agreement for each item, the sub-dimensions, and the total scale is statistically excellent.
References
- KAYNAKÇA Andrade, H. L., Wang, X., Du, Y., & Akawi, R. L. (2009). Rubric-referenced self-assessment and self-efficacy for writing. The Journal of Educational Research, 102(4), 287-302. https://doi.org/10.3200/JOER.102.4.287-302
- Atılgan, H., Kan, A., & Doğan, N. (2007). Eğitimde ölçme ve değerlendirme. Anı Yayıncılık.
- Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio: Revisiting the Original Methods of Calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. https://doi.org/10.1177/0748175613513808
- Çetin, Y. (2011). Reliability of raters for writing assessment: analytic—holistic, analytic—analytic, holistic – holistic. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(16), 471-486.
- Ghalib, T. K., & Al-Hattami, A. A. (2015). Holistic versus analytic evaluation of efl writing: a case study. English Language Teaching, 8(7), 225-236. https://doi.org/10.5539/elt.v8n7p225
- Hawe, E., Dixon, H., Murray, J., & Chandler, S. (2020). Using rubrics and exemplars to develop students’ evaluative and productive knowledge and skill. Journal of Further and Higher Education, 45(8), 1033-1047. https://doi.org/10.1080/0309877X.2020.1851358
- Hyland, K. (2003). Second language writing. Cambridge University Press.
- Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144. https://doi.org/10.1016/j.edurev.2007.05.002
- Knoch, U. (2011). Rating scales for diagnostic assessment of writing: What should they look like and where should the criteria come from? Assessing Writing, 16(2), 81-96. https://doi.org/10.1016/j.asw.2011.02.003
- Komisyon. (2020). Diller için Avrupa ortak başvuru metni: öğretme, öğretme ve değerlendirme-tamamlayıcı cilt- (Millî Eğitim Bakanlığı, Çev.). Avrupa Konseyi.
- Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting ıntraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155-163. https://doi.org/10.1016/j.jcm.2016.02.012
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575.
- Li, W. (2022). Scoring rubric reliability and internal validity in rater-mediated EFL writing assessment: Insights from many-facet Rasch measurement. Reading and Writing, 35(10), 2409-2431. https://doi.org/10.1007/s11145-022-10279-1
- Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7, 1-10. https://doi.org/10.7275/GCY8-0W24
- Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7, 1-6. https://doi.org/10.7275/Q7RM-GG74
- Obeid, R. (2017). Second language writing and assessment: voices from within the saudi efl context. English Language Teaching, 10(6), 174-181. https://doi.org/10.5539/elt.v10n6p174
- Türkiye Maarif Vakfı. (2020). Yabancı dil olarak Türkçe öğretimi programı (2bs). Erişim: https://www.turkiyemaarif.org/uploads/Turkcenin_Yabanci_Dil_Olarak_Ogretimi_Programi_2_Baski.pdf
- Weigle, S. C. (2009). Assessing writing (6. bs). Cambridge University Press.
- Yamanishi, H., Ona, M., & Hijikata, Y. (2019). Developing a scoring rubric for L2 summary writing: A hybrid approach combining analytic and holistic assessment. Language Testing in Asia, 9, 1-22.
- Yorgancı, O. K., & Baş, B. (2021). Yabancı dil olarak Türkçe öğrenenler için B1 düzeyi yazma becerisi dereceli puanlama anahtarı geliştirme çalışması. Okuma Yazma Eğitimi Araştırmaları, 9(1), 67-80. https://doi.org/10.35233/oyea.934684
Details
| Primary Language | Turkish |
|---|---|
| Journal Section | Original Articles |
| Authors | |
| Early Pub Date | November 30, 2022 |
| Publication Date | December 31, 2022 |
| Acceptance Date | December 14, 2022 |
| Published in Issue | Year 2022 Issue: 13 |
Cited By
Yabancı/İkinci dil olarak Türkçe öğretiminde temel seviyede yazma becerisi değerlendirme ölçütlerine ilişkin puanlama anahtarı örneği
RumeliDE Dil ve Edebiyat Araştırmaları Dergisi
https://doi.org/10.29000/rumelide.1455117
IBAD Sosyal Bilimler Dergisi / IBAD Journal of Social Sciences / IBAD
IBAD is under review EBSCO, SCOPUS, E-SCI and TÜBİTAK/ULAKBİM(TR) SBVT.