Bu çalışmada Angoff ve Madde Tepki Kuramına (MTK) dayalı Madde Haritalama yöntemleri ile belirlenen kesme puanlarının karşılaştırması amaçlanmıştır. Çalışma için ÖSYM tarafından 2000-2012 yılları arasında, yılda iki kez yapılan ve akademik kadrolara atanma aşamasında puanları ön koşul olarak kabul edilen ÜDS’nin 2005 yılı Sosyal Bilimler İngilizce testi arşiv verileri kullanılmıştır. Her iki yöntemin yürütülmesinde de yedi yargıcı ile çalışılmış ve bu yöntemlerle belirlenecek 3 kesme puanına ilişkin yeterlik düzeylerinin sınırında kalan adayların dil yeterlikleri Avrupa dil portfolyosu çerçevesi esas alınarak 15 kişilik bir uzman grubunun görüşleri doğrultusunda tanımlanmıştır. İki yönteme göre belirlenen kesme puanlarının “öğretim üyesi dışındaki öğretim elemanı kadrolarına atanabilme” düzeyi için anlamlı derecede farklı olduğu ancak “Doçentlik başvurusu yapabilme” ve “ İngilizce okutmanlığı başvurusu yapabilme” düzeyleri için benzer olduğu bulunmuştur. MTK’ya dayalı belirlemelere bir geçerlik kanıtı oluşturmak amacıyla yanıtlayıcı örneklemine ait verilerden elde edilen madde parametrelerine göre maddeler yeniden haritalanmış ve yargıcılarla ikinci bir madde haritalama çalışması yürütülmüştür. Bu iki uygulamada verilen kararların birbirleri ile uyumlu olması, yapılan işlemin geçerliği için kanıt olarak kabul edilmiştir. Angoff ve MTK’ya dayalı Madde Haritalama yöntemleri ile üç ayrı kesme puanının belirlenmesinde yargıcılar arası uyum araştırılmıştır. MTK’ya dayalı Madde Haritalama yönteminde yargıcıların birbirleri ile uyumlu kararlar verdikleri, Angoff yöntemi için yargıcılar tarafından verilen kararların birbirleri ile uyumlu olmadığı görülmüştür. Yargıcıların iş yükünü azaltma ve onlara ortak standardı yakalama konusunda yol göstererek daha tutarlı sonuçlar elde etmeyi sağlama gibi avantajları sebebiyle MTK’ya dayalı Madde Haritalama Yöntemi’nin daha güvenilir ve kullanışlı olduğu görülmüştür.
This study aims to compare the cutoff scores determined by Angoff and Item Response Theory (IRT) based Item Mapping methods. Archive data of UDS, which was made by ÖSYM was used in the study. Seven judges worked on the implementation of both methods. It has been found that the cutoff scores determined according to the two methods are significantly different for the level of "assignment to faculty members other than assistant professors, associate professors and professors", but similar for the levels of "applying for Associate Professorship" and "applying for English lecturer". In order to establish a proof of validity for the MTK based determinations, the items were re-mapped according to the item parameters obtained from the data of the respondent sample and a second item mapping study was conducted with the judges. The coherence of the decisions taken as a result of these two conduction are accepted as evidence for the validity of the applications. Consistency between judges was investigated in determining three different cut-off points with Angoff and MTK-based Item Mapping methods. Consistency between judges in determining three different cut-off points with Angoff and MTK-based Item Mapping methods was investigated. It was observed that judges made consistent decisions with each other in the Item Mapping method based on MTK, and the decisions made by the judges for the Angoff method were not consistent with each other
Primary Language | Turkish |
---|---|
Subjects | Studies on Education |
Journal Section | Articles |
Authors | |
Publication Date | November 26, 2020 |
Submission Date | September 10, 2020 |
Published in Issue | Year 2020 Volume: 3 Issue: 2 |