The aim of this study was to develop a rubric for assessing the story writing skills of middle school students. Valid and reliable assessment of story writing skills is important for monitoring students’ development in written expression and for planning the instructional process more effectively. Accordingly, the study aimed to develop a qualified assessment instrument that could be used effectively in educational settings. The study group consisted of 20 students enrolled in the 5th, 6th, 7th, and 8th grades at a public school in Kütahya, Türkiye. Statistical analyses were systematically conducted to determine the validity and reliability of the rubric developed to assess story writing skills. First, the content validity of the rubric was examined based on expert opinions using Lawshe’s Content Validity Ratio (CVR) method. Subsequently, principal component analysis was conducted to determine the construct validity of the rubric. The analysis revealed that the sub-criteria were grouped under three factors. These factors were named “Content and Meaning Coherence,” “Language and Expression,” and “Formal Organization,” and the rubric was structured under these three main dimensions. In addition, the reliability of the developed assessment instrument was examined using different analyses. Reliability analyses were conducted using Cronbach’s alpha coefficient, and the coefficients ranged from .79 to .94. Fleiss’ kappa coefficients, calculated to determine the agreement among raters, ranged from .73 to .85. Overall, the findings indicated that the developed rubric was a valid, reliable, and objectively applicable assessment instrument for evaluating middle school students’ story writing skills. As a result of all analyses, a valid and reliable three-point Likert-type rubric consisting of three main criteria and 16 sub-criteria was developed to assess students’ story writing skills.

Story writing skills, analytic rubric, scoring rubric, validity, reliability.

Bu araştırmanın amacı ortaokul öğrencilerinin hikâye yazma becerilerini ölçmeye yönelik dereceli puanlama anahtarı geliştirmektir. Hikâye yazma becerisinin geçerli ve güvenilir biçimde değerlendirilmesi, öğrencilerin yazılı anlatım gelişimlerinin izlenmesi ve öğretim sürecinin daha etkili planlanması açısından önem taşımaktadır. Bu doğrultuda araştırmada, uygulamada kullanılabilecek nitelikli bir değerlendirme aracının geliştirilmesi hedeflenmiştir. Bu araştırmanın çalışma grubunu Kütahya ilindeki bir devlet okulunda ortaokul 5, 6, 7 ve 8. sınıfta öğrenim gören 20 öğrenci oluşturmaktadır. Araştırma sürecinde geliştirilen dereceli puanlama anahtarının geçerlik ve güvenirliğini belirlemeye yönelik istatistiksel analizler sistematik bir şekilde gerçekleştirilmiştir. İlk olarak hikâye yazma becerisi dereceli puanlama anahtarının kapsam geçerliliği, uzman görüşlerine dayalı olarak Lawshe’nin içerik geçerlik oranı (CVR) yöntemi kullanılarak hesaplanmıştır. Daha sonra hikâye yazma becerisi dereceli puanlama anahtarının yapı geçerliliğini belirlemek amacıyla temel bileşenler faktör analizi uygulanmıştır. Yapılan analiz sonucunda alt ölçütlerin üç faktör altında toplandığı tespit edilmiştir. Bu faktörlere “İçerik ve Anlam Bütünlüğü”, “Dil ve Anlatım Özellikleri” ve “Biçimsel Düzen” adları verilmiş ve dereceli puanlama anahtarı bu üç temel başlık altında yapılandırılmıştır. Araştırmada ayrıca geliştirilen değerlendirme aracının güvenirliği farklı analizlerle incelenmiştir. Güvenirlik analizleri Cronbach’s Alpha katsayısı kullanılarak yapılmış ve analiz sonucunda güvenilirlik katsayılarının .79 ile .94 arasında değiştiği belirlenmiştir. Puanlayıcılar arasındaki uyumu belirlemek amacıyla hesaplanan Fleiss Kappa katsayılarının ise .73 ile .85 arasında olduğu tespit edilmiştir. Elde edilen tüm bulgular, geliştirilen hikâye yazma becerisi dereceli puanlama anahtarının geçerli, güvenilir ve nesnel biçimde uygulanabilir bir değerlendirme aracı olduğunu göstermektedir. Yapılan tüm analizlerin sonucunda geçerli ve güvenilir, 3 ana ölçüt ve 16 alt ölçütten oluşan üçlü Likert tipi hikâye yazma becerisi değerlendirme dereceli puanlama anahtarı geliştirilmiştir.

Hikâye yazma becerisi, analitik rubrik, dereceli puanlama anahtarı, geçerlik, güvenirlik.