Karar Ağacı ve Rastgele Orman: Mantık ve Fark

Karar ağacı nedir?

Karar ağacı, bir veri kümesini art arda sorularla bölerek tahmin yapan denetimli öğrenme modelidir. Her soru bir özelliğe bakar, örneğin 'gelir belirli bir eşiğin üstünde mi?'. Cevaba göre veri dallara ayrılır ve süreç, kararın verildiği yapraklara ulaşana kadar sürer. En üstteki düğüme kök, en alttaki karar noktalarına yaprak denir.

Model hem sınıflandırmada (evet ya da hayır, hangi sınıf) hem de regresyonda (bir sayıyı tahmin etme) kullanılır. En büyük avantajı okunabilir olmasıdır: ağacı çizip hangi soruların hangi sonuca götürdüğünü iş birimlerine gösterebilirsiniz.

Ağaç soruları nasıl seçer?

Ağaç, her adımda veriyi en çok ayrıştıran özelliği ve eşik değerini arar. 'En çok ayrıştırmak', bölme sonrası gruplardaki karışıklığın azalması demektir. Bu karışıklık sınıflandırmada genellikle Gini safsızlığı ya da entropi ile ölçülür; regresyonda ise hatanın azalmasına bakılır.

Ağaç büyüdükçe eğitim verisini çok iyi açıklar ama yeni veride kötü sonuç verebilir; buna aşırı öğrenme (overfitting) denir. Derinliği sınırlamak, bir yaprakta en az kaç örnek bulunacağını belirlemek ve budama bu riski azaltan yaygın yöntemlerdir.

Rastgele orman nedir?

Rastgele orman (random forest), çok sayıda karar ağacını birlikte kullanan bir topluluk (ensemble) yöntemidir. Her ağaç eğitim verisinden rastgele çekilmiş bir örnekle eğitilir. Ağaçtaki her bölme noktasında da bütün özellikler yerine rastgele seçilmiş bir özellik alt kümesi değerlendirilir. Böylece ağaçlar birbirinden farklı öğrenir.

Sınıflandırmada ağaçların oyları sayılır ve çoğunluğun seçtiği sınıf sonuç olur; regresyonda ağaçların tahminlerinin ortalaması alınır. Tek tek ağaçlar hata yapsa da hataları birbirini dengelediği için orman genellikle tek ağaçtan daha kararlı sonuç verir. Bu fikre bagging denir.

Küçük bir örnek: kredi başvurusu

Örneğin bir banka başvuruyu onaylamak ya da reddetmek istiyor. Tek bir karar ağacı şöyle çalışabilir: önce 'geçmiş ödeme gecikmesi var mı?' diye sorar, yoksa 'gelir-borç oranı belirli bir değerin altında mı?' diye devam eder, sonunda onay ya da ret yaprağına varır. Bu yol açıkça okunabilir ve risk ekibine anlatılabilir.

Rastgele orman aynı soruyu birçok ağaca sorar. Her ağaç verinin farklı bir örneğine ve farklı özelliklere baktığı için farklı yollardan gider. Orman bu ağaçların oyunu birleştirir. Sonuç genellikle daha isabetlidir ama tek bir okunabilir yol yerine çok sayıda yoldan oluştuğu için kararı kısaca açıklamak güçleşir. Özellik önem sıralaması bu açığı kısmen kapatır.

Karar ağacı ve rastgele orman arasındaki fark

Ölçüt: okunabilirlik. Karar ağacı: çizilebilir ve insanın izleyebileceği tek bir yol. Rastgele orman: çok sayıda ağacın birleşimi olduğu için doğrudan okunması zor.

Ölçüt: kararlılık. Karar ağacı: verideki küçük değişikliklerde yapısı çok değişebilir. Rastgele orman: ağaçların ortalaması aldığı için değişikliklere daha dayanıklı.

Ölçüt: aşırı öğrenme. Karar ağacı: derin ağaçlarda yüksek risk. Rastgele orman: örnekleme ve ortalama sayesinde daha düşük risk, ancak ortadan kalkmış değil.

Ölçüt: hesaplama. Karar ağacı: hızlı eğitilir ve tahmin üretir. Rastgele orman: ağaç sayısı kadar iş yapar, bu yüzden daha çok bellek ve süre ister.

Rastgele orman ağaçları bağımsız eğitir. Gradient boosting gibi yöntemlerde ise ağaçlar art arda eklenir ve her biri öncekinin hatasını düzeltmeye çalışır.

Pratikte dikkat edilecek noktalar

Ağaç tabanlı modeller özelliklerin ölçeklendirilmesini gerektirmez ve sayısal ile kategorik veriyle çalışabilir; bu, onları hızlı bir başlangıç modeli yapar. Yine de bazı tuzaklar vardır.

• Veri sızıntısı: hedefi dolaylı olarak içeren bir sütun modele girerse sonuç gerçekçi olmaz
• Dengesiz sınıflar: nadir sınıf az görüldüğünde model hep çoğunluğu tahmin edebilir, sınıf ağırlığı ve doğru ölçüt seçimi gerekir
• Doğrulama: başarıyı eğitim verisi üzerinde değil, ayrı bir doğrulama veya test verisinde ölçmek gerekir
• Aşırı derin ağaç: tek ağaçta derinlik ve yaprak boyutu sınırsız bırakılırsa model veriyi ezberler

Rastgele ormanda ağaç sayısını artırmak genellikle kararlılığı artırır ama bir noktadan sonra kazancı küçülür.

Bu konuları Mindset programlarında nerede çalışırsınız?

Denetimli Öğrenme Algoritmaları programında karar ağaçları ve kural tabanlı yöntemlere ayrılmış bir modül vardır. Boosting ve Ensemble Yöntemler programı ise 'Random Forest ve Bagging Yöntemleri' modülüyle başlar ve gradient boosting yöntemlerine geçer.

Önce tek bir ağacın mantığını, ardından ağaçların topluluk halinde nasıl birleştiğini aynı sırayla çalışmak, bu kavramlar arasındaki farkı uygulamada görmek için doğal bir yoldur.