Topluluk Öğrenmesi: Zayıf Modellerden Güçlü Tahmin

Ensemble öğrenme nedir?

Ensemble öğrenme, tek bir modele güvenmek yerine birçok modeli birlikte kullanma fikridir. Her model aynı soruya kendi tahminini verir; bu tahminler oylama, ortalama ya da daha gelişmiş bir kuralla birleştirilir. Fikrin dayanağı, farklı hatalar yapan modellerin birleşince birbirini dengelemesidir.

Bunu bir soruya birden çok uzmanın cevap vermesine benzetmek mümkündür. Her uzman zaman zaman yanılır ama yanıldıkları yerler farklıysa ortak karar tek uzmanın kararından çoğu zaman daha güvenilirdir. Önemli koşul, modellerin birbirinin kopyası olmamasıdır.

Bagging nedir?

Bagging, bootstrap aggregating'in kısaltmasıdır. Eğitim verisinden yerine koymayla çok sayıda farklı örneklem çekilir, her örneklemle ayrı bir model eğitilir ve modellerin tahminleri birleştirilir: sınıflandırmada oylama, regresyonda ortalama.

Modeller birbirinden bağımsız ve paralel eğitilir. Bagging asıl olarak varyansı azaltır, yani modelin eğitim verisindeki küçük değişikliklere aşırı duyarlılığını düşürür. Bu yüzden derin karar ağaçları gibi yüksek varyanslı modellerle iyi çalışır. Rastgele orman (random forest), karar ağaçlarına baggingin yanında her bölünmede rastgele özellik seçimi ekleyen bilinen örnektir.

Boosting nedir?

Boosting, modelleri ardışık eğitir. İlk model basit ve zayıf bir tahmin yapar; sonraki model, öncekinin yanıldığı örneklere daha fazla odaklanarak eğitilir. Bu süreç tekrarlanır ve modeller birlikte güçlü bir tahmin edici oluşturur.

Bagging'in aksine adımlar birbirine bağlıdır ve paralel çalışmaz. Boosting asıl olarak yanlılığı (bias) azaltır, yani modelin gerçek örüntüyü yakalayamama sorununu düşürür. Gradient boosting, hata fonksiyonunun gradyanını izleyerek her yeni modeli önceki modellerin artık hatasını düzeltmek üzere ekler. XGBoost, LightGBM ve CatBoost bu fikrin yaygın uygulamalarıdır.

Bagging ve boosting arasındaki fark

Eğitim biçimi: Bagging modelleri paralel ve bağımsız eğitir. Boosting modelleri sırayla, öncekinin hatasına bakarak eğitir.

Hedef: Bagging varyansı düşürür, kararlılık sağlar. Boosting yanlılığı düşürür, doğruluk artırır.

Risk: Bagging aşırı öğrenmeye karşı daha dirençlidir. Boosting gürültülü veriye ve fazla tur sayısına karşı duyarlıdır, bu yüzden öğrenme oranı ve erken durdurma gibi ayarlar kritik olur.

Örnek algoritma: Bagging için rastgele orman, boosting için gradient boosting ve XGBoost.

Hangisinin daha iyi olduğu veriye göre değişir. Tablo verisinde boosting yöntemleri çoğu zaman yarışma ve uygulamada güçlü sonuç verir, ama bu bir kural değil gözlemdir.

Stacking ve voting

Ensemble'ın başka biçimleri de vardır. Voting (oylama) farklı türlerdeki modellerin, örneğin lojistik regresyon, karar ağacı ve komşuluk yönteminin, tahminlerini sade biçimde birleştirir. Stacking ise taban modellerin tahminlerini girdi olarak alan bir üst model eğitir; üst model hangi tabana ne kadar güveneceğini öğrenir.

Stacking daha esnektir ama aşırı öğrenme riskine açıktır; bu nedenle taban modellerin tahminleri çapraz doğrulamayla üretilmelidir.

Ne zaman kullanılır, bedeli nedir?

Ensemble yöntemler, tek model doğruluğunun yetmediği ve tahmin kalitesinin önemli olduğu durumlarda kullanılır: kredi riski, müşteri kaybı tahmini, talep tahmini gibi tablo verisi problemleri tipik örneklerdir.

Bedeli yorumlanabilirlik ve maliyettir. Yüzlerce ağaçtan oluşan bir modelin neden o kararı verdiğini açıklamak tek ağaca göre zordur; SHAP gibi araçlar bu açığı kapatmaya yardım eder. Ayrıca eğitim ve tahmin süresi artar. Gerçek hayatta bu denge, iş ihtiyacına göre kurulur.

Mindset programlarında nerede çalışılır?

Boosting ve Ensemble Yöntemler (XGBoost, LightGBM) eğitiminde Ensemble Öğrenmesi Temelleri, Random Forest ve Bagging Yöntemleri, Gradient Boosting Mekanizması, XGBoost ile Rekabetçi Modelleme, LightGBM ve CatBoost ile Gelişmiş Uygulamalar ve Üretim ve Proje Uygulamaları modül başlıklarıdır.