Etki Büyüklüğü: Fark Var mı Değil, Ne Kadar Büyük?

Etki büyüklüğü nedir?

Etki büyüklüğü (effect size), bir müdahalenin, grup farkının ya da değişkenler arasındaki ilişkinin ne kadar güçlü olduğunu gösteren ölçüdür. Örneklem sayısına bağlı olmaması en önemli özelliğidir: aynı fark küçük ya da büyük bir örneklemde aynı etki büyüklüğünü verir.

Bu özellik, sonuçları birbirleriyle karşılaştırmayı mümkün kılar. Farklı ölçeklerde ölçülmüş çalışmalar, standartlaştırılmış bir etki ölçüsüyle ortak bir dile çevrilir.

p değerinden farkı nedir?

p değeri, boş hipotez doğruysa gözlenen kadar uç bir sonucun görülme olasılığını verir; farkın büyüklüğü hakkında bilgi taşımaz. Çok büyük bir örneklemde ihmal edilebilir bir fark bile anlamlı çıkabilir. Küçük bir örneklemde ise gerçekte önemli bir fark anlamlı çıkmayabilir.

Bu yüzden iki ölçü birlikte okunur. Anlamlı ama küçük etki, sonucun şansa bağlı olmadığını ama pratik değerinin düşük olabileceğini söyler. Anlamlı olmayan ama büyük görünen etki ise çalışmanın yeterli güce sahip olmadığına, yani daha fazla veriye ihtiyaç olduğuna işaret edebilir.

Cohen's d nasıl hesaplanır?

Cohen's d, iki grup ortalamasının farkını ortak standart sapmaya böler: d = (birinci ortalama eksi ikinci ortalama) / ortak standart sapma. Sonuç, farkın kaç standart sapma olduğunu gösterir. Birimsizdir, bu yüzden saniye ile puanı ya da farklı ölçekleri karşılaştırmak mümkün olur.

Örneğin yeni bir onboarding akışı alan kullanıcıların etkinleşme süresi ile eski akıştakilerin süresi karşılaştırılıyor olsun. Süreler dakika, grup içi yayılım ise standart sapma ile ölçülür. Fark, bu yayılımın küçük bir kesri kadarsa etki küçük, büyük bir kesriyse etki büyüktür. Kurgusal bir senaryodur; gerçek analizde ortak standart sapma iki grubun büyüklüğüne göre ağırlıklandırılarak hesaplanır.

Nasıl yorumlanır?

Cohen, d için küçük, orta ve büyük etki yorumları öneren kaba rehber değerler vermiştir. Bunlar başlangıç noktasıdır, evrensel bir ölçüt değildir: ilaç dozunda küçük bir etki hayat kurtarabilir, bir arayüz değişikliğinde büyük görünen etki maliyete değmeyebilir.

Yorum yaparken şu sorular sorulur: • Etki, alan bilgisine ve önceki çalışmalara göre makul mü? • Fark, karar vermeyi değiştirecek kadar büyük mü? • Etkinin güven aralığı ne kadar geniş? Dar aralık kesin, geniş aralık belirsiz bir tahmin demektir.

Etki büyüklüğü tek bir sayıyla değil, güven aralığıyla birlikte raporlandığında daha dürüst bir resim sunar.

Sık yapılan hatalar

En yaygın hata, "anlamlı" sözcüğünü "önemli" ile eş tutmaktır. İstatistiksel anlamlılık sonucun şansla açıklanmadığını söyler, değeri hakkında hüküm vermez.

İkinci hata, etiketleri otomatik uygulamaktır; "orta etki" demek tek başına bir karar gerekçesi değildir. Üçüncü hata, farklı türden etki ölçülerini karıştırmaktır: Cohen's d ortalama farkı, korelasyon katsayısı ilişkiyi, olasılık oranı ise olay şansını ölçer. Dördüncü hata, anlamlı çıkmayan bir çalışmada etki büyüklüğünü hiç raporlamamaktır; oysa tahmin edilen etki, ileri çalışmaların planlanmasına yardım eder.

Etki büyüklüğü Mindset programlarında nerede geçer?

Konu, Veri Bilimi için İstatistik Eğitimi'nde Hipotezlerin Sınanması modülüyle, Data Science Uzmanlığı Sertifika Programı'nda ise İstatistik ve Analitik Düşünme bölümüyle ilişkilidir. A/B test sonuçlarını raporlayan analistler için pratik karşılığı, p değerinin yanına farkın büyüklüğünü ve belirsizliğini de koymaktır.