Regresyon analizi nedir, nasıl yorumlanır?

Regresyon analizinin tanımı

Regresyon analizi, bir sonuç değişkeninin (bağımlı değişken) bir ya da daha fazla açıklayıcı değişkene (bağımsız değişkenler) göre nasıl değiştiğini ölçen istatistiksel yöntemdir. Amaç, bu ilişkiyi bir denklemle ifade edip hem ilişkinin yönünü ve gücünü anlamak hem de yeni durumlar için tahmin yapmaktır.

Örneğin satış tutarının reklam harcaması, fiyat ve mevsime göre nasıl değiştiğini görmek, bir regresyon sorusudur.

Nasıl çalışır?

En yaygın biçim olan doğrusal regresyonda, veri noktalarının arasından geçen ve noktalara olan dikey uzaklıkların karelerinin toplamını en küçük yapan doğru bulunur. Bu yönteme en küçük kareler yöntemi denir.

Ortaya çıkan denklemin iki temel parçası vardır: • Sabit terim: Tüm açıklayıcı değişkenler sıfırken sonuç değişkeninin beklenen değeri. • Katsayılar: Bir açıklayıcı değişken bir birim arttığında, diğerleri sabitken sonucun ortalama ne kadar değiştiği.

Modelin ne kadar iyi uyduğu genellikle R kare ile, katsayıların tesadüf olup olmadığı ise anlamlılık testleri (p değeri) ve güven aralıklarıyla değerlendirilir. Artıklar, yani gerçek değerle tahmin arasındaki farklar, modelin varsayımlarının sağlanıp sağlanmadığını kontrol etmek için incelenir.

Regresyon türleri

• Basit doğrusal regresyon: Tek açıklayıcı değişken, sürekli bir sonuç.
• Çoklu doğrusal regresyon: Birden fazla açıklayıcı değişken. Her katsayı, diğer değişkenlerin etkisi sabit tutularak yorumlanır.
• Lojistik regresyon: Sonuç evet/hayır gibi iki kategorili olduğunda kullanılır; doğrudan değer yerine bir olayın olasılığını tahmin eder. Müşterinin aboneliği bırakıp bırakmayacağı buna örnektir.
• Polinom ve düzenlileştirilmiş regresyon: İlişki doğrusal değilse ya da çok sayıda değişken varsa (ridge, lasso) kullanılır; makine öğrenmesinde sık görülür.

Küçük bir iş örneği

Bir e-ticaret ekibi, haftalık sipariş sayısını açıklamak için reklam harcamasını, indirim kampanyası olup olmadığını ve haftanın tatil içerip içermediğini değişken olarak alır. Çoklu regresyon sonucunda reklam harcamasının katsayısı pozitif ve anlamlı, tatil değişkeninin katsayısı ise anlamsız çıkar.

Ekip bundan iki sonuç çıkarır: Reklam bütçesi sipariş üzerinde ölçülebilir bir etki gösteriyor, tatil haftaları ise bu veride ayrı bir fark yaratmıyor. Sonraki adım, modeli geçmişte görmediği haftalar üzerinde test edip tahmin hatasını ölçmektir.

Korelasyon ve nedensellikle farkı

Korelasyon iki değişkenin birlikte hareket edip etmediğini tek bir ölçüyle özetler. Regresyon ise bir değişkeni diğerleriyle açıklayan bir denklem kurar ve birden fazla etkeni aynı anda hesaba katar.

İkisi de tek başına nedensellik kanıtlamaz. Reklam harcaması ile satış arasındaki ilişki, örneğin ekibin talebin zaten yüksek olduğu dönemlerde daha çok harcama yapmasından da kaynaklanabilir. Neden sonuç iddiası için deney tasarımı ya da nedensel çıkarım yöntemleri gerekir.

Sık yapılan hatalar

• Birbirine çok bağlı açıklayıcı değişkenleri aynı modele koymak (çoklu doğrusal bağlantı); katsayılar kararsızlaşır.
• Aykırı değerleri kontrol etmeden model kurmak; tek bir uç nokta doğrunun eğimini değiştirebilir.
• Modeli eğitildiği veri aralığının çok dışında tahmin için kullanmak.
• Yalnızca R kareye bakıp artıkları incelememek.
• Anlamlı katsayıyı otomatik olarak önemli etki saymak; etkinin büyüklüğü iş açısından ayrıca değerlendirilmelidir.

Bu konuyu Mindset programlarında nerede çalışırsınız?

Veri Bilimi için İstatistik Eğitimi'ndeki "Korelasyon ve Regresyon" modülü yöntemin istatistiksel temelini, "Hipotezlerin Sınanması" modülü de katsayıların anlamlılığını değerlendirmeyi ele alır. Makine Öğrenmesi (Uygulamalı) Programı'nda "Denetimli Öğrenme - Regresyon" modülü regresyonu Python ile tahmin modeline dönüştürür.