Çoklu Doğrusal Bağlantı: Regresyonda Birbirini Tekrar Eden Değişkenler
Çoklu doğrusal bağlantı, bir regresyon modelindeki açıklayıcı değişkenlerin birbirini büyük ölçüde tekrar etmesidir. Katsayıları güvenilmez kılar; VIF bu sorunu ölçmenin ve gidermenin yolunu gösterir.
Bir bakışta
- Sorun değişkenlerin birbiriyle ilişkili olmasıdır. Modeldeki iki ya da daha fazla açıklayıcı değişken aynı bilgiyi taşıyorsa her birinin ayrı etkisi ayrıştırılamaz.
- Asıl zarar katsayıların yorumunda görülür. Katsayılar kararsızlaşır, standart hatalar büyür, işaretler beklenmedik biçimde değişebilir.
- VIF değişken başına sorunu ölçer. Değişkenin diğerlerince ne kadar açıklandığına bağlıdır; açıklanma arttıkça VIF hızla büyür.
- Çözüm amaca göre seçilir. Değişken çıkarmak, birleştirmek, düzenlileştirme kullanmak ya da daha fazla veri toplamak olası yollardır.
Çoklu doğrusal bağlantı nedir?
Çoklu doğrusal bağlantı (multicollinearity), çoklu regresyonda iki ya da daha fazla bağımsız değişkenin birbiriyle güçlü doğrusal ilişki içinde olmasıdır. Değişkenlerden biri diğerlerinin doğrusal bileşimiyle neredeyse yazılabiliyorsa model, her değişkenin etkisini ayrı ayrı belirlemekte zorlanır.
Bir konut fiyatı modelinde metrekare ve oda sayısı birlikte kullanıldığında bu durum sık görülür: büyük evlerde oda sayısı da yüksektir. Model, fiyat artışının metrekareden mi yoksa oda sayısından mı geldiğini güvenle söyleyemez.
Neden sorun olur?
Bağlantının asıl zararı yorum tarafındadır. Değişkenlerin etkisi ayrışamadığı için katsayı tahminleri örneklemden örnekleme çok değişir; standart hatalar büyür, bu yüzden gerçekten etkili bir değişken anlamsız görünebilir. Veride küçük bir değişiklik katsayının işaretini bile tersine çevirebilir.
Önemli bir ayrım: modelin amacı yalnız tahminse, bağlantı tahmin başarımını her zaman bozmaz; sorun çoğunlukla katsayıları yorumlamak istediğinizde ortaya çıkar. Bu yüzden önce modelin amacı sorulmalıdır: açıklama mı, tahmin mi?
VIF ile nasıl tespit edilir?
İlk adım korelasyon matrisine bakmaktır; değişken çiftleri arasında çok yüksek ilişki varsa uyarıdır. Ancak bağlantı bazen iki değişkenden fazlasını içerir ve ikili korelasyonlarda görünmez. Bu nedenle VIF kullanılır.
VIF, her değişken için bir ölçüdür: o değişken diğer tüm açıklayıcı değişkenlerle regresyona sokulur ve ne kadar iyi açıklandığına (R kare) bakılır. Açıklanma yükseldikçe VIF hızla büyür. Hiç ilişki yoksa VIF alt sınırında kalır. Yaygın uygulamada belirli eşikler kullanılır, ama bunlar kesin kural değildir; amaç, veri hacmi ve alan bilgisiyle birlikte değerlendirilmelidir.
Tespitten doğrulamaya dört adım
Sorunu çözme sırası
- Tespit etKorelasyon matrisi ve her değişken için VIF hesaplanır.
- Kaynağı bulHangi değişkenlerin aynı bilgiyi taşıdığı belirlenir.
- GiderDeğişken çıkarılır, birleştirilir ya da düzenlileştirme kullanılır.
- DoğrulaVIF ve katsayıların kararlılığı yeniden kontrol edilir.
Nasıl giderilir?
Çözüm, modelin amacına ve değişkenlerin anlamına bağlıdır: • Gereksiz değişkeni çıkarmak: Aynı bilgiyi taşıyan değişkenlerden biri modelden çıkarılır; hangisinin kalacağı alan bilgisiyle seçilir. • Değişkenleri birleştirmek: İlişkili değişkenlerden bir endeks, oran ya da temel bileşen türetilir. • Düzenlileştirme: Ridge gibi yöntemler katsayıları kısıtlayarak kararlılığı artırır. • Merkezleme: Polinom ya da etkileşim terimlerinde değişkeni ortalamasından çıkarmak yapay bağlantıyı azaltır. • Daha fazla ve çeşitli veri: Değişkenler arasındaki ilişkiyi kıracak gözlemler eklemek yardım eder.
Her çözümün bir bedeli vardır: değişken çıkarmak bilgi kaybettirebilir, birleştirmek yorumu zorlaştırabilir. Bu nedenle çözümden sonra model yeniden değerlendirilmelidir.
Sık yapılan hatalar
En yaygın hata, VIF yüksek diye değişkeni otomatik çıkarmaktır. Değişken iş açısından zorunluysa çıkarmak modeli anlamsız kılar. İkinci hata, yalnız ikili korelasyonlara bakıp çoklu bağlantıyı görmemektir.
Üçüncü hata, kategorik değişkenlerin kukla (dummy) kodlanmasında bütün kategorileri birlikte modele koymaktır; bu mükemmel bağlantı yaratır. Dördüncü hata, bağlantıyı tahmin amaçlı modelde de aynı ciddiyetle düzeltmeye çalışıp gereksiz karmaşıklık eklemektir. Amaç yorumsa sorun gerçektir, amaç tahminse çoğunlukla ikinci planda kalır.
Çoklu doğrusal bağlantı Mindset programlarında nerede geçer?
Konu, Veri Bilimi için İstatistik Eğitimi'nin Korelasyon ve Regresyon modülünde, Makine Öğrenmesi (Uygulamalı) Programı'nın Denetimli Öğrenme - Regresyon modülünde, Data Science Uzmanlığı Sertifika Programı'nda ise İstatistik ve Analitik Düşünme bölümünde işlenir. Model kuran analistler için pratik değer, katsayıları yorumlamadan önce değişkenlerin birbirini tekrar edip etmediğini kontrol etmektir.
İlgili Mindset programı
Veri Bilimi için İstatistik Eğitimi
Sık sorulan sorular
Çoklu doğrusal bağlantı tahmin başarımını bozar mı?
Her zaman değil. Model yalnız tahmin amaçlıysa ve yeni veri eğitim verisine benzer bir yapıdaysa tahminler genellikle makul kalır. Sorun, katsayıları yorumlamaya ve yeni veri yapısı değiştiğinde modelin kararlılığına yansır.
VIF için kesin bir eşik var mı?
Hayır. Literatürde ve uygulamada yaygın eşikler anılır, ama bunlar bağlama göre değişen pratik işaretlerdir. Örneklem küçükse, alan bilgisi güçlüyse ya da amaç tahminse daha yüksek değerler tolere edilebilir; önemli olan katsayıların kararlı ve yorumlanabilir kalmasıdır.
Korelasyon yüksekse kesin çoklu bağlantı var mıdır?
İkili korelasyon yüksekse güçlü bir işarettir, ama düşük ikili korelasyonlar çoklu bağlantı olmadığı anlamına gelmez; birkaç değişkenin birleşimi başka bir değişkeni açıklıyor olabilir. Bu nedenle korelasyon matrisi yanında VIF gibi çok değişkenli bir ölçü kullanılır.
Ridge regresyon çoklu bağlantıyı giderir mi?
Ortadan kaldırmaz ama etkisini hafifletir. Katsayıları küçülterek tahminleri kararlı hale getirir. Bunun karşılığında katsayılar hafif yanlı olur, bu yüzden yorumda dikkat edilmelidir. Amaç tahminse çoğu durumda uygun bir seçenektir.