SHAP ve LIME: Makine Öğrenmesi Modeli Kararları Nasıl Açıklanır?

Model yorumlanabilirliği ve SHAP ile LIME nedir?

Birçok güçlü makine öğrenmesi modeli (derin sinir ağları, topluluk modelleri) karar verirken içeride ne yaptığını doğrudan göstermez; kara kutu gibi davranır. Model yorumlanabilirliği, böyle bir modelin bir tahmini neden yaptığını insanın anlayabileceği biçimde açıklama çabasıdır.

SHAP (SHapley Additive exPlanations) ve LIME (Local Interpretable Model-agnostic Explanations) bu amaçla en yaygın kullanılan iki yöntemdir. İkisi de modelin içine girmeden, girdi ve çıktı davranışına bakarak her özniteliğin tahmine katkısını tahmin eder.

SHAP nasıl çalışır?

SHAP, oyun kuramındaki Shapley değeri fikrine dayanır. Tahmin bir oyun, öznitelikler ise bu oyunu birlikte oynayan oyuncular gibi düşünülür. Her özniteliğin payı, o özniteliğin farklı öznitelik kombinasyonlarına eklendiğinde tahmini ortalama olarak ne kadar değiştirdiğine bakılarak hesaplanır.

Sonuçta her tahmin için her özniteliğe bir katkı değeri çıkar: pozitif değer tahmini yukarı, negatif değer aşağı çeker. Katkılar toplandığında modelin ortalama tahmini ile bu örnek için yaptığı tahmin arasındaki fark elde edilir. Bu toplamsal yapı SHAP'ın en güçlü özelliğidir. Tek tahmini açıklamanın yanında, birçok tahminin katkıları birleştirilerek modelin genel olarak hangi özniteliklere dayandığı da görülür.

LIME nasıl çalışır?

LIME, açıklanacak tek bir tahminin çevresine bakar. O örneğin etrafında girdi değerlerinde küçük değişiklikler yapılarak yapay örnekler üretilir, kara kutu modelin bunlara verdiği yanıtlar toplanır. Ardından, açıklanan örneğe yakın olan örnekleri daha ağırlıklı sayan basit ve yorumlanabilir bir model, çoğunlukla doğrusal bir model, bu yanıtlara uydurulur.

Bu basit modelin katsayıları, o tahmin için hangi özniteliklerin hangi yönde etkili olduğunu gösterir. LIME'ın açıklaması yereldir: modelin genel davranışını değil, yalnızca o örneğin çevresini anlatır.

Örnek: reddedilen bir kredi başvurusu

Örneğin bir bankanın kredi skorlama modeli bir başvuruyu yüksek riskli bulup reddetmiş olsun. Analist 'neden' sorusuna yanıt arar. SHAP, bu başvuru için borç gelir oranının tahmini riske ne kadar katkı yaptığını, gelir düzeyinin ne kadar azalttığını ve geçmiş ödeme geçmişinin ne yönde etkili olduğunu özniteliklere bölerek gösterir. LIME ise aynı başvurunun çevresinde yerel bir yaklaşım kurarak en belirleyici öznitelikleri sıralar.

Bu açıklamalar karar vericiye itiraz değerlendirmesinde, modeli geliştirene ise beklenmeyen bir özniteliğe aşırı dayanılıp dayanılmadığını görmede yardımcı olur.

SHAP ve LIME arasındaki farklar

Kuramsal dayanak: SHAP, Shapley değerlerinin tutarlılık özelliklerine dayanır. LIME ise pratik bir yerel yaklaşım yöntemidir.

Kapsam: SHAP hem tek tahmini hem de birçok tahmin üzerinden genel önem sıralamasını verebilir. LIME yerel açıklamaya odaklanır.

Kararlılık: LIME örnekleme rastgeleliği nedeniyle aynı örnek için tekrarlandığında biraz farklı sonuç verebilir. SHAP daha tutarlıdır.

Hesaplama yükü: Model türüne göre değişir. Ağaç tabanlı modeller için SHAP verimli hesaplanabilirken, genel amaçlı hesaplama yavaş olabilir. LIME tek örnek için hızlı ama çok örnekte yük getirir.

Sınırlar ve yaygın hatalar

• Nedensellik değildir: Açıklama, modelin neye dayandığını gösterir; gerçek dünyada o özniteliğin sonucu doğurduğunu kanıtlamaz.
• Birbiriyle ilişkili öznitelikler: Korelasyonlu özniteliklerde katkı paylaşımı yanıltıcı olabilir.
• Tek yönteme güvenmek: Yöntemler birbirinden farklı sonuç verebilir; kritik kararlarda karşılaştırmak ve alan bilgisiyle doğrulamak gerekir.
• Açıklamayı model doğruluğu sanmak: İyi görünen bir açıklama modelin doğru olduğunu göstermez.
• Üretimde izlememek: Model ve veri değiştikçe öznitelik katkıları kayabilir; izlenmezse sessizce bozulur.

Mindset programlarında nerede çalışılır?

Model Yorumlanabilirliği (SHAP, LIME) eğitimi LIME ile Yerel Açıklama, SHAP Teorisi ve Shapley Değerleri, SHAP Görselleştirme ve Yorumlama ve Açıklanabilir Yapay Zeka Çerçevesi modüllerini içerir. Model Açıklanabilirliğini Üretimde İzleme eğitimi ise Öznitelik Katkısı İzleme ve Uyarılar ile Yönetişim, Raporlama ve İtiraz Süreçleri modülleriyle konuyu üretim ortamına taşır.