Tip I ve Tip II hata: hipotez testinde iki farklı yanılma
Hipotez testi iki yönde yanılabilir: fark yokken var demek (Tip I) ya da fark varken görememek (Tip II). Alfa ve beta bu iki riskin olasılığıdır ve birini azaltmak çoğu zaman diğerini artırır.
Bir bakışta
- Tip I hata, doğru olan sıfır hipotezini reddetmektir. Yanlış pozitif ya da yanlış alarm olarak da anılır; olasılığı alfadır.
- Tip II hata, yanlış olan sıfır hipotezini reddedememektir. Yanlış negatif ya da kaçırılan etki olarak da anılır; olasılığı betadır.
- Birini düşürmek genellikle diğerini yükseltir. Aynı örneklemle alfa küçüldükçe beta büyür.
- Örneklemi büyütmek iki hatayı birden azaltabilir. Gücü artırmanın en doğrudan yolu daha fazla gözlem toplamaktır.
Tip I ve Tip II hata nedir?
Hipotez testinde gerçek durumu bilmeden, örnekten karar verirsiniz. Karar iki biçimde yanlış olabilir.
Tip I hata (birinci tip hata, alfa hatası): Gerçekte fark yokken sıfır hipotezini reddedip fark var demektir. Örneğin yeni bir sayfa tasarımı aslında hiçbir şeyi değiştirmediği hâlde A/B testi onu kazanan ilan eder.
Tip II hata (ikinci tip hata, beta hatası): Gerçekte fark varken sıfır hipotezini reddedememektir. Yeni tasarım gerçekten daha iyi olduğu hâlde test bunu yakalayamaz ve iyi fikir çöpe gider.
Karar ve gerçek durum, iki doğru ve iki hatalı sonuç üretir
Karar ile gerçeğin kesişimi
Alfa, beta ve güç nasıl ilişkilidir?
Alfa, testten önce sizin belirlediğiniz bir eşiktir. Alfayı küçültürseniz sıfır hipotezini reddetmek zorlaşır; bu yanlış alarmı azaltır ama gerçek farkı kaçırma ihtimalini artırır. Yani beta büyür.
Güç, betanın tamamlayıcısıdır: bir eksi beta. Güç, gerçek bir etki varken testin bunu yakalama olasılığıdır. Güç şu etkenlerle artar:
- Örneklem büyüklüğünün artması
- Gerçek etkinin büyük olması
- Verideki değişkenliğin az olması
- Alfanın daha yüksek seçilmesi
İlk üçü hatayı gerçekten azaltır; dördüncüsü yalnız riski bir yönden diğerine taşır.
Hangi hata daha kötüdür?
Bağlama göre değişir. Yeni bir ilacın etkili olduğunu yanlışlıkla ilan etmek ağır sonuç doğuracağından Tip I hata daha pahalıdır; bu durumda alfa küçük tutulur. Buna karşılık bir güvenlik taramasında gerçek bir sorunu kaçırmak (Tip II) daha tehlikeli olabilir; burada yanlış alarmı göze alıp gücü yükseltmek tercih edilir.
Bu yüzden alfa her yerde aynı değerde sabit bir kural değil, hatanın maliyetine göre verilen bir karardır. Karar, veriye bakmadan önce yazılı olarak belirlenmelidir.
p-değeri ile ilişkisi
p-değeri, sıfır hipotezi doğruysa gözlenen kadar uç bir sonucun çıkma olasılığıdır. p-değeri alfadan küçükse sıfır hipotezi reddedilir. Bu kararın yanlış çıkma payı alfadır, yani Tip I hata riskidir.
Çok sayıda test aynı anda yapılıyorsa yanlış alarm olasılığı birikir: bir kısmı sırf şans eseri anlamlı çıkar. Çoklu karşılaştırma düzeltmeleri bu birikimi sınırlamak için vardır. p-değerinin küçük olması, etkinin büyük ya da önemli olduğu anlamına da gelmez.
Sık yapılan hatalar
En yaygın hata, anlamlı sonuç bulunamadığında "fark yok" sonucuna varmaktır. Reddedememek, sıfır hipotezinin doğru olduğunu kanıtlamaz; test gücü düşükse etkiyi sadece göremiyor olabilirsiniz. Bu, Tip II hatanın tipik hâlidir.
Bir diğer hata, sonuçları gördükten sonra alfayı değiştirmek ya da çok sayıda alt grubu denemektir. İkisi de gerçek yanlış alarm oranını bildirilen alfadan yüksek yapar. Testi planlarken gereken örneklem büyüklüğünü güç analiziyle önceden hesaplamak bu hataları önler.
Mindset programlarında hata türleri
'Veri Bilimi için İstatistik Eğitimi' Hipotezlerin Sınanması modülünde sıfır hipotezi, alfa ve iki hata türünü birlikte ele alır. 'A/B Test Tasarımı ve İstatistiksel Analiz' programı, bu riskleri deney tasarımında ve örneklem büyüklüğü kararında uygulamak isteyen ürün ve pazarlama ekipleri için uygundur.
İlgili Mindset programı
Veri Bilimi için İstatistik Eğitimi
Sık sorulan sorular
Tip I hatayı hatırlamanın kolay yolu var mı?
Tip I, yanlış alarmdır: yangın yokken alarm çalması gibi. Tip II ise kaçırılan alarmdır: yangın varken alarmın çalmaması. Bu benzetme hangi hatanın hangi yönde olduğunu akılda tutmayı kolaylaştırır.
Tip I ve Tip II hata aynı anda yapılabilir mi?
Aynı testte ikisi birden yapılamaz, çünkü sıfır hipotezi ya doğrudur ya yanlıştır. Hangi hatanın mümkün olduğu gerçeğe bağlıdır: hipotez doğruysa yalnız Tip I, yanlışsa yalnız Tip II ihtimal vardır. Gerçeği bilmediğimiz için ikisini de planlamada yönetiriz.
Yanlış pozitif ve yanlış negatif ile aynı şey midir?
Kavramsal olarak karşılıklıdır: yanlış pozitif Tip I, yanlış negatif Tip II hataya denk gelir. Sınıflandırma modellerinde bu terimler karışıklık matrisi üzerinden sayılır, hipotez testinde ise sıfır hipotezine göre tanımlanır.
Betayı doğrudan nasıl düşürürüm?
Örneklemi büyütmek, ölçüm gürültüsünü azaltmak ya da gruplar arası farkı daha belirgin hale getirecek bir tasarım kurmak betayı düşürür. Alfayı yükseltmek de betayı düşürür ama Tip I hata riskini artırır, bu yüzden son çaredir.