Lasso mu Ridge mi? Düzenlileştirme aşırı öğrenmeyi nasıl frenler
Düzenlileştirme, hata fonksiyonuna katsayı büyüklüğüne bağlı bir ceza ekleyerek modelin ezberlemesini zorlaştırır. L1 (Lasso) gereksiz özellikleri eler, L2 (Ridge) katsayıları küçültür.
Bir bakışta
- Düzenlileştirme karmaşıklığı cezalandırır. Büyük katsayılar ek maliyet getirdiği için model eğitim verisindeki gürültüye uymakta zorlanır.
- L1 seçim yapar, L2 yumuşatır. Lasso bazı katsayıları tam sıfıra çeker; Ridge hepsini küçültür ama nadiren sıfırlar.
- Ceza gücü bir hiperparametredir. Çok zayıf ceza etkisiz kalır, çok güçlü ceza modeli yetersiz öğrenmeye iter.
- Özellikler aynı ölçeğe getirilmelidir. Ceza katsayı büyüklüğüne baktığı için ölçeksiz özellikler adil değerlendirilmez.
Düzenlileştirme nedir?
Düzenlileştirme (regularization), bir makine öğrenmesi modelinin eğitim verisini ezberlemesini zorlaştıran tekniklerin genel adıdır. En yaygın biçimi, modelin hata fonksiyonuna katsayıların büyüklüğüne bağlı bir ceza eklemektir. Model hem hatayı küçültmeye hem de katsayıları küçük tutmaya çalışır; gürültüye ayak uyduran aşırı esnek çözümler böylece pahalı hale gelir.
Amaç eğitim hatasını sıfırlamak değil, görmediği veride de tutarlı çalışan bir model elde etmektir. Bu yüzden düzenlileştirme, aşırı öğrenmeyle mücadelede ilk başvurulan araçlardan biridir. Doğrusal ve lojistik regresyonda doğrudan ceza terimi olarak, sinir ağlarında ise ağırlık cezası ya da dropout gibi biçimlerde karşımıza çıkar.
Ceza terimi nasıl çalışır?
Düzenlileştirilmiş modelin amacı şöyle okunabilir: toplam maliyet, veri hatası ile ceza teriminin toplamıdır. Ceza terimi, katsayılar büyüdükçe artar ve bir çarpanla (çoğu kitaplıkta alpha ya da lambda adıyla geçer) ölçeklenir. Çarpan sıfıra yaklaştığında model sıradan regresyona döner; çarpan büyüdükçe katsayılar giderek daha fazla bastırılır.
Bu denge gündelik bir benzetmeyle anlaşılır: bütçesi sınırlı bir ekip, her ek özelliğe kaynak ayırmadan önce gerçekten fark yaratıp yaratmadığını sorgular. Katsayı bir kaynak harcamasıdır; özellik yeterince bilgi taşımıyorsa küçük kalır. Cezanın biçimi, yani katsayıların mutlak değerinin mi yoksa karesinin mi hesaba katılacağı, Lasso ile Ridge arasındaki farkı belirler.
Maliyet, veri hatası ile katsayı cezasının toplamıdır
- Veri hatasıModelin tahminleri eğitim verisinden ne kadar uzak.
- Ceza terimiKatsayılar büyüdükçe artan ek maliyet.
- Toplam maliyetEğitim bu toplamı küçültecek katsayıları arar.
L1 (Lasso) ve L2 (Ridge) arasındaki fark
L1 düzenlileştirmesi (Lasso), katsayıların mutlak değerlerinin toplamını cezalandırır. Bu ceza, bilgi taşımayan özelliklerin katsayısını tam olarak sıfıra indirebilir; yani Lasso aynı zamanda otomatik özellik seçimi yapar. Çok sayıda özelliğin bulunduğu ve çoğunun gürültü olduğundan şüphelenilen veri setlerinde bu yararlıdır.
L2 düzenlileştirmesi (Ridge), katsayıların karelerinin toplamını cezalandırır. Katsayıları sıfıra doğru küçültür ama nadiren tam sıfır yapar; birbiriyle ilişkili özellikler arasında ağırlığı dengeli paylaştırır. Bu yüzden korelasyonlu özelliklerin çok olduğu verilerde Ridge genellikle daha kararlıdır. İkisini harmanlayan elastik ağ (elastic net) yöntemi de vardır: hem eleme hem de kararlılık istendiğinde kullanılır.
Lasso özellik eler, Ridge katsayıları yumuşatır
| L1 (Lasso) | L2 (Ridge) | |
|---|---|---|
| Ceza | Katsayıların mutlak değerleri | Katsayıların kareleri |
| Katsayılara etkisi | Bazılarını tam sıfıra çeker | Hepsini küçültür, nadiren sıfırlar |
| Özellik seçimi | Kendiliğinden yapar | Yapmaz, hepsini tutar |
| Korelasyonlu özellikler | Birini seçip diğerini düşürebilir | Ağırlığı aralarında paylaştırır |
| Uygun durum | Çok özellik, az sayıda anlamlı olan | Çoğu özellik az da olsa katkı veriyor |
Küçük bir örnek: kira tahmini
Bir emlak platformunun, ilan başına çok sayıda özellikle kira tahmini yaptığını düşünün: metrekare, oda sayısı, kat, bina yaşı, ilan metnindeki kelimeler, fotoğraf sayısı. Düzenlileştirmesiz doğrusal model, eğitim verisinde hemen her dalgalanmayı açıklamaya çalışır ve yeni ilanlarda hatalı tahminler üretir.
Lasso uygulandığında fotoğraf sayısı ya da rastgele kelimeler gibi zayıf sinyalli özelliklerin katsayısı sıfıra iner; geriye metrekare, bölge ve oda gibi güçlü özellikler kalır. Ridge uygulandığında hiçbiri silinmez ama metrekare ile oda sayısı gibi birbirine bağlı özelliklerin katsayıları makul düzeyde tutulur. Her iki durumda da eğitim hatası biraz yükselir, yeni ilanlardaki hata ise genellikle düşer.
Ceza gücü nasıl seçilir?
Ceza çarpanı eğitimden önce seçilen bir hiperparametredir ve en güvenilir yolu çapraz doğrulamayla birkaç adayı denemektir. Doğrulama hatasının en düşük olduğu değer seçilir; test seti bu karara karıştırılmaz. Kitaplıkların çoğu, çapraz doğrulamayı içine alan hazır Lasso ve Ridge sürümleri sunar.
İki ön hazırlık sonucu doğrudan etkiler. Birincisi ölçekleme: cezalar katsayı büyüklüğüne baktığı için özellikler aynı ölçeğe getirilmezse, küçük birimle ölçülen özellik haksız yere daha az cezalandırılır. İkincisi kesim noktası (intercept): ceza genellikle yalnızca özelliklerin katsayılarına uygulanır, kesim noktasına uygulanmaz.
Seçim, verinin yapısına ve amaca bağlıdır
- Çok özellik var, çoğunun gürültü olduğundan şüpheleniliyorLasso (L1)Sade, yorumlanması kolay bir model verir.
- Özellikler birbiriyle güçlü ilişkili, hepsi az da olsa katkılıRidge (L2)Katsayılar daha kararlı kalır.
- Hem eleme hem kararlılık isteniyorElastik ağİki cezanın karışımıdır; oran da ayarlanır.
Sık yapılan hatalar
En yaygın hata, özellikleri ölçeklemeden düzenlileştirme uygulamaktır. Bir diğeri, çarpanı test setindeki sonuca bakarak ayarlamaktır; bu, test setini eğitimin parçası yapar ve sonucu şişirir. Ayrıca yüksek cezanın modeli düzelteceği sanılır, oysa aşırı güçlü ceza tüm katsayıları sıfıra yaklaştırıp yetersiz öğrenmeye neden olur.
Lasso'nun seçtiği özellikleri nedensel olarak önemli saymak da yanıltıcıdır: korelasyonlu özelliklerden hangisinin elendiği veri örneklemine göre değişebilir. Düzenlileştirme bir ilacın değil, bir denge ayarının adıdır; yanlılık-varyans dengesinde varyansı azaltmak için yanlılığı bilinçli olarak biraz artırır.
Mindset programlarında düzenlileştirme
Makine Öğrenmesi (Uygulamalı) Programı'nın regresyon ve model doğrulama modülleri, Lasso ve Ridge'in veri üzerinde denenmesi ve ceza gücünün çapraz doğrulamayla seçilmesi için doğal bir zemindir. Veri Bilimi alanında çalışan ya da bu alana geçmek isteyenler, tahmin modellerini sadeleştirme ve genelleme becerisini bu modüllerde pekiştirebilir.
İlgili Mindset programı
Makine Öğrenmesi (Uygulamalı) Programı
Sık sorulan sorular
Lasso ile Ridge arasında hangisi daha iyi sonuç verir?
Birinin her zaman üstün olduğu söylenemez. Anlamlı özelliklerin az, gürültülü özelliklerin çok olduğu durumlarda Lasso öne çıkar; çoğu özelliğin küçük ama gerçek katkı verdiği ve özelliklerin birbirine bağlı olduğu durumlarda Ridge daha kararlı çalışır. Doğrulama hatası iki yöntemi aynı veride karşılaştırmanın en dürüst yoludur.
Düzenlileştirme eğitim hatasını neden yükseltir?
Model artık yalnızca veriye uymaya değil, aynı zamanda katsayıları küçük tutmaya da çalıştığı için eğitim verisini tam olarak kovalayamaz. Eğitim hatasındaki bu küçük artış bilinçli bir bedeldir; karşılığında yeni veride hata genellikle azalır, yani model daha iyi genellenir.
Düzenlileştirme sinir ağlarında da kullanılır mı?
Evet. Ağırlıklara L2 cezası eklemek (ağırlık sönümü) yaygın bir uygulamadır; ayrıca dropout ve erken durdurma gibi farklı düzenlileştirme biçimleri de kullanılır. Hepsinin ortak amacı, modelin eğitim verisine fazla uyum sağlamasını engellemektir.
Hiç düzenlileştirme yapmamak ne zaman sorun olmaz?
Veri çok büyük, özellik sayısı az ve model basitse aşırı öğrenme riski düşüktür; ceza gereksiz kalabilir. Yine de doğrulama ve eğitim hataları arasındaki farkı izlemek gerekir. Fark açılıyorsa, ek veri toplamanın yanında düzenlileştirme de ilk denenecek çözümlerdendir.
Elastik ağ ne işe yarar?
Elastik ağ, L1 ve L2 cezalarını birlikte kullanır. Lasso'nun özellik eleme yeteneğini, Ridge'in korelasyonlu özelliklerde sağladığı kararlılıkla birleştirir. Karışım oranı ayrı bir hiperparametre olduğundan çapraz doğrulamayla ayarlanması gerekir.