Madde Analizi Nedir? Güçlük ve Ayırt Edicilik İndeksi

Madde analizi; bir testte yer alan her bir sorunun zorluk derecesini, bilen ile bilmeyeni ayırt etme gücünü ve çeldiricilerinin çalışma düzeyini belirlemek amacıyla yapılan istatistiksel inceleme sürecidir. Bu yöntem, testin genel güvenilirliğini artırırken hatalı veya ölçme amacına hizmet etmeyen soruların tespit edilerek elenmesini sağlar.

Eğitim kurumlarında veya kurumsal değerlendirmelerde kullanılan çoktan seçmeli testlerin geçerliği, soruların psikometrik gücüne bağlıdır. Bir sınavın ardından toplanan ham puanlar tek başına soruların kalitesini göstermez. Kaliteli bir ölçme aracı geliştirmek için maddelerin tek tek ele alınması gerekir. Soruların amaca uygunluğu incelenirken norm referanslı ve kriter referanslı değerlendirme yöntemlerine göre farklı indeks eşikleri dikkate alınır.

Madde Güçlük İndeksi (p) Nedir ve Nasıl Hesaplanır?

Madde güçlük indeksi, bir sorunun katılımcılar tarafından doğru yanıtlanma oranını ifade eder. 'p' simgesiyle gösterilen bu değer 0,00 ile 1,00 arasında değişir. Değer 1,00 değerine yaklaştıkça sorunun kolaylaştığı, 0,00 değerine yaklaştıkça zorlaştığı anlaşılır.

Geleneksel yöntemle hesaplama yapılırken katılımcılar aldıkları toplam puana göre en yüksekten en düşüğe sıralanır. En yüksek puanı alan üst %27'lik grup ile en düşük puanı alan alt %27'lik grup belirlenir. Hesaplama adımları şu şekildedir:

• Üst gruptaki doğru sayısı (DÜ) ve alt gruptaki doğru sayısı (DA) toplanır.
• Elde edilen toplam, her iki gruptaki toplam katılımcı sayısına (N) bölünür.
• Formül: p = (DÜ + DA) / N olarak ifade edilir.

Elde edilen p değeri 0,00 ile 0,29 arasındaysa soru 'zor', 0,30 ile 0,69 arasındaysa 'orta güçlükte', 0,70 ile 1,00 arasındaysa 'kolay' kabul edilir. Başarı testlerinde soruların ortalama güçlüğünün 0,50 civarında olması hedeflenir.

Madde Ayırt Edicilik İndeksi (r) ve Yorumlanması

Madde ayırt edicilik indeksi, bir sorunun ölçülen özelliği taşıyanlar (başarılı grup) ile taşımayanları (başarısız grup) ne derece birbirinden ayırabildiğini gösterir. Bu değer -1,00 ile +1,00 arasında seyreder ve genellikle 'r' ya da 'd' harfiyle temsil edilir.

Ayırt edicilik hesabı yapılırken üst grupta doğru yanıt verenlerin sayısından, alt grupta doğru yanıt verenlerin sayısı çıkarılır. Elde edilen fark, gruplardan yalnızca birindeki katılımcı sayısına (n) bölünür. Formül: r = (DÜ - DA) / n şeklindedir.

Negatif bir ayırt edicilik değeri, alt gruptaki katılımcıların ilgili soruyu üst gruptakilerden daha yüksek oranda doğru yaptığını gösterir. Bu durum soruda bir anahtarlama hatası, anlatım bozukluğu ya da yanıltıcı bir çeldirici olduğuna işaret eder.

Hangi Soru Elenir, Hangi Soru Tutulur?

Test geliştiriciler, hesaplanan ayırt edicilik değerlerine göre sorular hakkında nihai karar verir. Aşağıdaki tablo, madde analizi neticesinde izlenecek adımları özetlemektedir:

Sınavların uzaktan yürütüldüğü durumlarda, soruların ayırt ediciliğini olumsuz etkileyebilecek kopya girişimlerini önlemek adına sınav gözetimi (proctoring) çözümleri değerlendirme güvenirliğini doğrudan destekler.

Çeldirici Analizi Nasıl Yapılır?

Çoktan seçmeli sorularda doğru yanıt dışındaki seçenekler çeldirici olarak adlandırılır. Sağlıklı bir çeldiricinin alt gruptaki zayıf öğrencileri kendine çekmesi, üst gruptaki başarılı öğrenciler tarafından ise tercih edilmemesi beklenir.

Üst gruptaki katılımcıların yoğunlaştığı bir çeldirici varsa, bu seçenekte kafa karıştıran bir ifade ya da birden fazla doğru yanıt ihtimali bulunabilir. Hiçbir katılımcı tarafından seçilmeyen bir çeldirici ise işlevsizdir ve testin ölçme gücüne katkı sağlamaz; revize edilmesi önerilir.

Adım Adım Hesaplama Örneği

100 kişilik bir katılımcı grubuna uygulanan bir test üzerinden örnek bir soruyu inceleyelim. En yüksek puan alan 27 kişi (Üst Grup) ve en düşük puan alan 27 kişi (Alt Grup) analize dahil edilir (toplam n = 54):

• Üst grupta doğru yanıtlayan sayısı (DÜ): 22 kişi
• Alt grupta doğru yanıtlayan sayısı (DA): 8 kişi
• Madde Güçlük İndeksi (p): (22 + 8) / 54 = 30 / 54 = 0,55 (Orta güçlükte, ideal bir soru)
• Madde Ayırt Edicilik İndeksi (r): (22 - 8) / 27 = 14 / 27 = 0,51 (0,40 üzerinde olduğu için mükemmel ayırt edicilik)

Bu hesaplama neticesinde incelenen sorunun hem zorluk düzeyi dengeli çıkmış hem de üst ve alt grubu kusursuz biçimde ayırt ettiği kanıtlanmıştır. Dolayısıyla bu soru soru havuzunda korunmalıdır.

Tested platformu; sınırsız test oluşturma, uygulama ve ayrıntılı Excel/PDF raporlama imkanını süresiz ücretsiz çekirdek sürümünde sunarak ölçme süreçlerinizi kolaylaştırır. Mevcut testlerinizdeki soruların yanıt dağılımlarını sistemden dışa aktararak çeldirici ve zorluk incelemelerini gecikmeden tamamlayabilirsiniz.

Bir sonraki test uygulamanızın hemen ardından ham başarı puanlarına odaklanmak yerine, en düşük ayırt edicilik gösteren üç soruyu tespit edip çeldiricilerindeki metin kaymalarını düzeltmek soru havuzunuzun kalitesini kalıcı olarak yükseltecektir.