Çoktan Seçmeli, Açık Uçlu ve Karma Testlerden Sağlanan Bilginin Madde Tepki Kuramına Dayalı Olarak Karşılaştırılması
Abstract
Bu çalışmanın amacı, Matematik başarısına ilişkin olarak benzer bilişsel becerileri ölçen çoktan seçmeli ve yanıtı sınırlı açık uçlu maddelerin tek başına ve birlikte kullanıldığı, ve bu iki madde tipinin test içinde yer alma yüzdelerinin farklı olduğu testlerden Madde Tepki Kuramına göre kestirilen madde ve test bilgi fonksiyonlarının (item and test information function), göreli etkililik (relative efficiency) düzeylerinin farklı olup olmadığını araştırmaktır. Bu amaç doğrultusunda, TIMSS 2007 matematik testi iki numaralı kitapçıkta yer alan maddelerden test uzunluğu (madde sayısı: 15 ve 25) ve açık uçlu madde yüzdesi (%20 ve %40) farklı dört karma testte verilen yanıtlardan madde ve test bilgi fonksiyonları kestirilmiş, göreli etkinlik indeksleri hesaplanmıştır. Parametre kestirimleri, BILOG-MG programı kullanılarak yapılmıştır. Araştırma verileri, TIMSS 2007 matematik uygulamasına Türkiye’den katılan ve matematik testinin 2. kitapçığını alan 320 8.sınıf öğrencisine ait olan ve OECD’nin resmi web sayfasından (http://timss.bc.edu/) elde edilmiştir. Araştırma sonucunda, yanıtı sınırlı açık uçlu maddelerden oluşan testin öğrencilerin matematik başarısı hakkında çoktan seçmeli maddelerden oluşan teste göre daha fazla bilgi verdiği sonucuna ulaşılmıştır. Göreli etkililik değerleri, açık uçlu maddelerden oluşan testin diğer testlerden etkili olduğunu ortaya koymuştur. Bu doğrultuda, geniş ölçekli test uygulamalarında, çoktan seçmeli maddelerin yanı sıra, yanıtı sınırlı açık uçlu maddelere de yer verilmesi, hem çoktan seçmeli maddelerden gelen şans başarısı kaynaklı hataların puanlara karışmasını önleyebilecek, nitelikli sorular olmak koşuluyla ölçülen zihinsel becerilerin düzeyi yükselebilecek ve bu testlerin sonuçlarına göre verilen seçme veya yeterlik kararlarının daha geçerli ve güvenilir olması sağlanabilecektir.
References
- Baker, F. B. (2001). The Basis of Item Response Theory. USA: ERIC Clearinghouse on Assessment and Evaluation.
- Baker, F. B., Kim, S., (2004), Item Response Theory Parameter Estimation Techniques. New York:Marcel Dekker, Inc.
- Bastari, B., (2000), Linking Multiple-Choice and Constructed-Response Items to a Common Proficiency Scale. Doctoral Dissertation. University of Massachusetts Amherst.
- Bennett, R.E., and others, (1991), The Convergent Validity of Expert System Scores for Complex Constructed- Response Quantitative Items. GRE Research. GRE Board Professional Report No. 88-07bP.
- Berberoğlu, G., (2006), Sınıf İçi Ölçme ve Değerlendirme Teknikleri. İstanbul: Morpa Kültür Yayınları.
- Berberoğlu, G., (2009), CİTO Türkiye Öğrenci İzleme Sistemi (ÖİS) Öğrenci Sosyal Gelişim Programı’na (ÖSGP) İlişkin Ön Bulgular, CITO Eğitim: Kuram ve Uygulama Dergisi, Kasım-Aralık Sayısı, 32-42.
- Crocker, L. ve Algina, J. (1986). Introduction to Classical and Modern Test Theory. N.Y.: CBS College Publishing Company.
- Demirtaşlı, N. (2010). Açık uçlu soru formatı ve öğrenci izleme sistemi (ÖİS) akademik gelişimi izleme ve değerlendirme (AGİD) modülündeki kullanımı. Cito Eğitim: Kuram ve Uygulama. Nisan-Haziran, 21-30.
- Embretson, S. E., Reise, S. P., (2000), Item Response Theory For Psychologists. New Jersey: Lawrence Erlbaum Associates, Publishers.
- Ercikan, K., Schwarz, R.D., Julian, M.W., Burket, G.R., Weber, M.M., Link, V., (1998), Calibration and Scoring of Tests With Multiple-Choice and Constructed-Response Item Types. Journal of Educational Measurement, Vol. 35, No. 2, 137-154.
- Gonzales, P. (2008), Highlights From TIMSS 2007, Mathematics and Science Achievement of U.S. Fourth and Eighth Grade Students in an International Context, National Center for Education Statistics, USA. (http://nces.ed.gov/pubs2009/2009001.pdf adresinden 20.05.2009 tarihinde alınmıştır.)
- Haladyna, T. M. (1997). Writing Test Item to Evaluate Higher Order Thinking. USA: Allyn & Bacon.
- Hambleton, R. K., Swaminathan, H., Rogers, H. (1991), Fundamentals of Item Response Theory. Newbury Park CA: Sage Publications.
- Hambleton, R. K., Swaminathan, H. (1985), Item Response Theory. Principles and Applications. Boston: Kluwer Academic Publishers.
- IEA, (2005), TIMSS 2007 Assessment Frameworks, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- IEA, (2008-1), TIMSS 2007 Technical Report, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- IEA, (2008-2), TIMSS 2007 International Mathematics Report, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- Johnson, R.L., Penny, J., Gordon, B. (2000), The Relation Between Score Resolution Methods and Interrater Reliability: An Empirical Study of an Analytic Scoring Rubric. Applied Measurement in Education, Vol. 13, Issue 2
- Kinsey, T. L. (2003), A Comparison of IRT and Rasch Procedures in a Mixed-Item Format Test. University of North Texas. Doctoral Dissertation.
- Lord, F. M., Novick, M. R. (1968), Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley.
- Lukhele, R., Thissen, D., Wainer, H. (1994), On The Relative Value Of Multiple Choice, Contructed Response, And Examinee Selected İtems On Two Achievement Tests. Journal Of Educational Measurement, 31, 231- 250.
- Milli Eğitim Bakanlığı Talim Terbiye Kurulu Başkanlığı, (2005), İlköğretim Matematik Dersi Öğretim Programı ve Kılavuzu 1-5. Sınıflar. Ankara: Devlet Kitapları Müdürlüğü.
- Milli Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı, (2007), PISA 2006 Uluslararası Öğrenci http://earged.meb.gov.tr/pisa/dokuman/2006/rapor/Pisa_2006_ alınmıştır.) Değerlendirme Programı Ulusal Ön
- Ulusal_On_Rapor.pdf tarihinde adresinden
- Schaeffer, G. A., Montero, D. H., Julian, M., Bené, N. H., (2002), A Comparison of Three Scoring Methods for Tests With Selected-Response and Constructed-Response Items. Educational Assessment, 8(4), 317–340
- Shin, D., (2007), A Comparison of Method of Estimating Subscale Scores for Mixed-Format Tests. Pearson Educational Measurement Research Reports. (24.12.2008 tarihinde www.pearsonedmeasurement.com/ research/research.htm adresinden alınmıştır.)
- Shermis, M. D., Burstein, J. C., (2003), Automated Essay Scoring: A Cross-Disciplinary Perspective. Mahwah, NJ: Lawrence Erlbaum Associates.
- Sykes, R. C., Truskosky, D., White, H. (11-12 April 2001), Determining The Representation of Constructed Response Items in Mixed-Item-Format Exams. Paper presented at Annual Meeting of the National Council on Measurement in Education, Seattle
- Tekin, H., (1991), Eğitimde Ölçme ve Değerlendirme. Ankara: Yargı Yayınları.
- Umay, A. (1997), Yanıtlayıcı Davranışların Analizi Yolu İle Matematikte Problem Çözümleri İçin Bir Güvenirlik ve Geçerlik Araştırması, Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 13, 47-56.
- Uyeno, R. K. (2004), Assessing The Content Standarts of a Large-Scale, Standards-Based Test: A Psychometric Validty Study of The 2002 Hawai’i State Assessment Grade 8 and Grade 10 Reading Tests. University of Hawai’i. Doctoral Thesis.
- Wainer, H., Thissen, D. (1993), Combining Multiple-Choice and Constructed-Response Test Scores: Toward a Marxist Theory of Test Construction. Applied Measurement in Education, 6(2), 103-118.
- Zhao, Y. (2008). Approaches For Addressing The Fit Of Item Response Theory Models To Educational Test Data. University of Massachusetts: Doctoral Thesis.
Comparing the Test Information Obtained From Multiple-Choice, Open-Ended and Mixed Item Tests Based on Item Response Theory
Abstract
The purpose of this study is to find out whether there is a difference between item-test functions and the level
of their relative efficiency which are estimated according to the Item Response Theory among the tests which measure
similar cognitive skills related to success in mathematics, and in which multiple-choice and constructed response items are
employed together with varying percentages. For that purpose, item and test information functions were estimated and
relative efficiency indices were calculated through responses given to four mixed item tests, among the items within TIMSS
2007 Maths test booklet #2, the test length (number of items: 15 and 25) and open-ended item percentages (20% and 40%) of
which were different. Parameter estimations were carried out via BILOG-MG software. Research data were obtained from
320 eight-grade students who participated in TIMMS 2007 maths application from Turkey and who were given the booklet
#2, via the official webpage of OECD (http://timss.bc.edu/). At the end of the research, it is determined that the test
composed of constructed response items yields more information in terms of students’ level of competence in mathematics
than the one composed of multiple-choice items. Relative efficiency values indicate that the test composed of open-ended
items is the most efficient of all tests.
References
- Baker, F. B. (2001). The Basis of Item Response Theory. USA: ERIC Clearinghouse on Assessment and Evaluation.
- Baker, F. B., Kim, S., (2004), Item Response Theory Parameter Estimation Techniques. New York:Marcel Dekker, Inc.
- Bastari, B., (2000), Linking Multiple-Choice and Constructed-Response Items to a Common Proficiency Scale. Doctoral Dissertation. University of Massachusetts Amherst.
- Bennett, R.E., and others, (1991), The Convergent Validity of Expert System Scores for Complex Constructed- Response Quantitative Items. GRE Research. GRE Board Professional Report No. 88-07bP.
- Berberoğlu, G., (2006), Sınıf İçi Ölçme ve Değerlendirme Teknikleri. İstanbul: Morpa Kültür Yayınları.
- Berberoğlu, G., (2009), CİTO Türkiye Öğrenci İzleme Sistemi (ÖİS) Öğrenci Sosyal Gelişim Programı’na (ÖSGP) İlişkin Ön Bulgular, CITO Eğitim: Kuram ve Uygulama Dergisi, Kasım-Aralık Sayısı, 32-42.
- Crocker, L. ve Algina, J. (1986). Introduction to Classical and Modern Test Theory. N.Y.: CBS College Publishing Company.
- Demirtaşlı, N. (2010). Açık uçlu soru formatı ve öğrenci izleme sistemi (ÖİS) akademik gelişimi izleme ve değerlendirme (AGİD) modülündeki kullanımı. Cito Eğitim: Kuram ve Uygulama. Nisan-Haziran, 21-30.
- Embretson, S. E., Reise, S. P., (2000), Item Response Theory For Psychologists. New Jersey: Lawrence Erlbaum Associates, Publishers.
- Ercikan, K., Schwarz, R.D., Julian, M.W., Burket, G.R., Weber, M.M., Link, V., (1998), Calibration and Scoring of Tests With Multiple-Choice and Constructed-Response Item Types. Journal of Educational Measurement, Vol. 35, No. 2, 137-154.
- Gonzales, P. (2008), Highlights From TIMSS 2007, Mathematics and Science Achievement of U.S. Fourth and Eighth Grade Students in an International Context, National Center for Education Statistics, USA. (http://nces.ed.gov/pubs2009/2009001.pdf adresinden 20.05.2009 tarihinde alınmıştır.)
- Haladyna, T. M. (1997). Writing Test Item to Evaluate Higher Order Thinking. USA: Allyn & Bacon.
- Hambleton, R. K., Swaminathan, H., Rogers, H. (1991), Fundamentals of Item Response Theory. Newbury Park CA: Sage Publications.
- Hambleton, R. K., Swaminathan, H. (1985), Item Response Theory. Principles and Applications. Boston: Kluwer Academic Publishers.
- IEA, (2005), TIMSS 2007 Assessment Frameworks, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- IEA, (2008-1), TIMSS 2007 Technical Report, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- IEA, (2008-2), TIMSS 2007 International Mathematics Report, International Study Center, Lynch School of Education, Boston College: USA. (http://timss.bc.edu/ adresinden 03.04.2009 tarihinde alınmıştır.)
- Johnson, R.L., Penny, J., Gordon, B. (2000), The Relation Between Score Resolution Methods and Interrater Reliability: An Empirical Study of an Analytic Scoring Rubric. Applied Measurement in Education, Vol. 13, Issue 2
- Kinsey, T. L. (2003), A Comparison of IRT and Rasch Procedures in a Mixed-Item Format Test. University of North Texas. Doctoral Dissertation.
- Lord, F. M., Novick, M. R. (1968), Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley.
- Lukhele, R., Thissen, D., Wainer, H. (1994), On The Relative Value Of Multiple Choice, Contructed Response, And Examinee Selected İtems On Two Achievement Tests. Journal Of Educational Measurement, 31, 231- 250.
- Milli Eğitim Bakanlığı Talim Terbiye Kurulu Başkanlığı, (2005), İlköğretim Matematik Dersi Öğretim Programı ve Kılavuzu 1-5. Sınıflar. Ankara: Devlet Kitapları Müdürlüğü.
- Milli Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı, (2007), PISA 2006 Uluslararası Öğrenci http://earged.meb.gov.tr/pisa/dokuman/2006/rapor/Pisa_2006_ alınmıştır.) Değerlendirme Programı Ulusal Ön
- Ulusal_On_Rapor.pdf tarihinde adresinden
- Schaeffer, G. A., Montero, D. H., Julian, M., Bené, N. H., (2002), A Comparison of Three Scoring Methods for Tests With Selected-Response and Constructed-Response Items. Educational Assessment, 8(4), 317–340
- Shin, D., (2007), A Comparison of Method of Estimating Subscale Scores for Mixed-Format Tests. Pearson Educational Measurement Research Reports. (24.12.2008 tarihinde www.pearsonedmeasurement.com/ research/research.htm adresinden alınmıştır.)
- Shermis, M. D., Burstein, J. C., (2003), Automated Essay Scoring: A Cross-Disciplinary Perspective. Mahwah, NJ: Lawrence Erlbaum Associates.
- Sykes, R. C., Truskosky, D., White, H. (11-12 April 2001), Determining The Representation of Constructed Response Items in Mixed-Item-Format Exams. Paper presented at Annual Meeting of the National Council on Measurement in Education, Seattle
- Tekin, H., (1991), Eğitimde Ölçme ve Değerlendirme. Ankara: Yargı Yayınları.
- Umay, A. (1997), Yanıtlayıcı Davranışların Analizi Yolu İle Matematikte Problem Çözümleri İçin Bir Güvenirlik ve Geçerlik Araştırması, Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 13, 47-56.
- Uyeno, R. K. (2004), Assessing The Content Standarts of a Large-Scale, Standards-Based Test: A Psychometric Validty Study of The 2002 Hawai’i State Assessment Grade 8 and Grade 10 Reading Tests. University of Hawai’i. Doctoral Thesis.
- Wainer, H., Thissen, D. (1993), Combining Multiple-Choice and Constructed-Response Test Scores: Toward a Marxist Theory of Test Construction. Applied Measurement in Education, 6(2), 103-118.
- Zhao, Y. (2008). Approaches For Addressing The Fit Of Item Response Theory Models To Educational Test Data. University of Massachusetts: Doctoral Thesis.
Details
| Primary Language | Turkish |
|---|---|
| Journal Section | Articles |
| Authors | |
| Publication Date | June 26, 2012 |
| Published in Issue | Year 2012 Volume: 11 Issue: 1 |