p Değeri Nedir? Anlamı, Yorumu ve Yaygın Yanlışlar
p değeri, boş hipotez doğruysa gözlenen sonuca eşit ya da daha uç bir sonuç görme olasılığıdır. Nasıl hesaplandığını, yorumlandığını ve sık yanlışları öğrenin.
p değeri nedir
p değeri (p-value), bir istatistiksel testte boş hipotezin doğru olduğunu varsaydığımızda, eldeki veriden gözlenen sonuca eşit ya da daha uç bir sonucun rastgele şansla ortaya çıkma olasılığıdır. Sonuç, veri ile boş hipotez arasındaki uyumsuzluğun ölçüsüdür.
Boş hipotez, genellikle "fark yok" ya da "etki yok" iddiasıdır. p değeri küçüldükçe verinin bu iddiayla bağdaşması zorlaşır ve boş hipotezi reddetmek için daha güçlü kanıt oluşur. Bu yüzden p değeri, "bir fark olmadığı halde bu kadar büyük fark ne kadar şaşırtıcıdır" sorusunun sayısal yanıtıdır.
p değeri nasıl çalışır
Test şu sırayla ilerler: Önce boş hipotez ve alternatif hipotez yazılır. Sonra veriden bir test istatistiği hesaplanır; bu, gözlenen farkı veri değişkenliğine göre standartlaştıran tek bir sayıdır. Boş hipotez doğruyken bu istatistiğin nasıl dağılacağı bilindiği için gözlenen değerin ne kadar uç kaldığı olasılık olarak hesaplanır. İşte bu olasılık p değeridir.
Karar için araştırmacı, veriye bakmadan önce bir anlamlılık düzeyi belirler. p değeri bu düzeyin altındaysa sonuç istatistiksel olarak anlamlı kabul edilir ve boş hipotez reddedilir. Eşik, alanın ve hata maliyetinin gereğine göre seçilir; kaçırılmasının maliyeti yüksek bir hatada daha sıkı eşik tercih edilir.
Bir örnek: A/B testi
Örneğin bir e-ticaret sitesi, ödeme sayfasının yeni tasarımını eskisiyle karşılaştırmak için kullanıcıları rastgele gruplara ayırır. Boş hipotez, tasarımların dönüşüm oranının aynı olduğudur. Test sonunda yeni tasarım daha yüksek dönüşüm göstermiş olsun ve test p değerini küçük bulsun.
Bu sonucun anlamı şudur: eğer tasarımlar gerçekte aynı olsaydı, bu kadar büyük bir fark şans eseri çok nadir görülürdü. Dolayısıyla fark gerçek olabilir. Ancak p değeri farkın büyüklüğünü ya da ticari önemini söylemez; bunun için etki büyüklüğüne ve güven aralığına ayrıca bakmak gerekir.
p değeri neyi söylemez: yaygın yanlışlar
p değeri çok sık yanlış yorumlanır: • Boş hipotezin doğru olma olasılığı değildir. p değeri, hipotezin doğruluğuyla değil, verinin hipotezle uyumuyla ilgilidir. • Alternatif hipotezin doğru olma olasılığı değildir. • Etkinin büyük ya da önemli olduğunu göstermez; çok büyük örneklemde küçük ve işe yaramaz farklar bile anlamlı çıkabilir. • Anlamlı olmama, etkinin olmadığını kanıtlamaz; örneklem küçük olabilir. • Eşiğin hemen altındaki ve hemen üstündeki değerler arasında mutlak bir keskin ayrım yoktur.
Bu nedenle p değeri tek başına karar ölçütü olmamalı, etki büyüklüğü, güven aralığı ve konu bilgisiyle birlikte okunmalıdır.
p değeri hacklemesi ve çoklu test
Aynı veri üzerinde çok sayıda test ya da karşılaştırma yapıp yalnız anlamlı çıkanı raporlamak, p değerini anlamsızlaştırır. Yeterince çok deneme yapıldığında, hiçbir gerçek etki olmasa bile şans eseri anlamlı görünen sonuçlar çıkar. Buna p-hacking denir.
Bunu önlemek için hipotezler veriye bakmadan önce yazılır, test sayısı kayda geçirilir ve çoklu karşılaştırma varsa düzeltme yöntemleri kullanılır. Çevrimiçi deneylerde sonucu sık sık kontrol edip anlamlı olunca durdurmak da aynı hataya yol açar; deney süresi ve örnek boyutu önceden planlanmalıdır.
İlişkili kavramlarla farkı
Anlamlılık düzeyi, karardan önce seçilen eşiktir; p değeri ise veriden hesaplanan sonuçtur. Güven aralığı, etkinin olası aralığını gösterir ve farkın büyüklüğü hakkında p değerinden daha fazla bilgi taşır. Etki büyüklüğü farkın pratik önemini ölçer. Güç (power) ise gerçek bir etki varken onu yakalama olasılığıdır ve örnek boyutu hesabında kullanılır. Bu kavramlar birlikte kullanıldığında test sonuçlarının yorumu sağlamlaşır.
Mindset eğitimlerinde p değeri
Hipotez Testi ve İstatistiksel Çıkarım programı hipotez testi çerçevesi, parametrik ve parametrik olmayan testler, çoklu test ve hata kontrolü modüllerini kapsar. İstatistik Temelleri (İş Profesyonelleri İçin) programı hipotez testi ve anlamlılığı iş yaşamı örnekleriyle işler. A/B Test Tasarımı ve İstatistiksel Analiz programı ise örnek boyutu, deney yürütme ve P değeri yorumunu pazarlama ve ürün ekipleri için uygular.
İlgili Mindset programı
Hipotez Testi ve İstatistiksel Çıkarım
Sık sorulan sorular
p değeri küçükse sonuç kesinlikle doğru mudur?
Hayır. Küçük p değeri, boş hipotezle verinin bağdaşmadığına dair kanıtın güçlü olduğunu gösterir ama kesinlik vermez. Hatalı yöntem, önyargılı örneklem ya da çok sayıda test yüzünden de küçük p değeri çıkabilir. Sonuç, etki büyüklüğü ve çalışmanın tasarımıyla birlikte değerlendirilmelidir.
Anlamlılık düzeyi nasıl seçilir?
Anlamlılık düzeyi, yanlış alarm riskini ne kadar tolere edebildiğinize bağlıdır ve veriye bakmadan önce belirlenir. Alanlarda yerleşik alışkanlıklar vardır ama zorunlu bir eşik yoktur. Yanlış kararın maliyeti yüksekse daha sıkı bir düzey seçilir. Seçimin gerekçesini raporda açıkça yazmak iyi uygulamadır.
p değeri etki büyüklüğünü gösterir mi?
Hayır. p değeri farkın şansla açıklanıp açıklanamayacağını söyler, farkın ne kadar büyük olduğunu söylemez. Çok büyük örneklemde önemsiz bir fark bile küçük p değeri verebilir. Bu yüzden güven aralığı ve standartlaştırılmış etki büyüklüğü p değerinin yanında raporlanmalıdır.
Anlamlı çıkmayan sonuç ne anlama gelir?
Anlamlı çıkmama, etkinin olmadığını kanıtlamaz; yalnızca eldeki veriyle etkiyi güvenle ayırt edemediğinizi gösterir. Örneklem küçük, ölçüm gürültülü ya da etki küçük olabilir. Böyle durumda güç analizi yapılır ve gerekirse daha fazla veriyle test tekrarlanır.