Karışıklık matrisi: sınıflandırma modelinin hata türlerini okumak
Bir sınıflandırma modelinin nerede doğru, nerede yanlış tahmin ettiğini tek tabloda görmeyi; dört hücrenin ne anlattığını ve hata türlerinin neden farklı maliyet taşıdığını öğrenirsiniz.
Bir bakışta
- Karışıklık matrisi, gerçek sınıfları tahmin edilen sınıflarla çaprazlayan tablodur. İkili sınıflandırmada dört hücre vardır ve her biri farklı bir sonuç türünü sayar.
- Doğruluk tek başına hata türlerini saklar. Matris, modelin hangi yönde yanıldığını gösterir; bu yön çoğu zaman karar için asıl bilgidir.
- Yanlış pozitif ve yanlış negatif farklı bedeller taşır. Sağlam bir e-postayı spam saymak ile sahte işlemi kaçırmak aynı ağırlıkta hata değildir.
- Kesinlik, duyarlılık gibi ölçütler bu dört hücreden türetilir. Önce matrisi okumak, ölçütlerin neden öyle hesaplandığını anlamayı kolaylaştırır.
- Satır ve sütun düzeni araçtan araca değişebilir. scikit-learn gerçek sınıfı satırda, tahmini sütunda gösterir; başka kaynaklar tersini kullanabilir.
Karışıklık matrisi nedir?
Karışıklık matrisi (confusion matrix), bir sınıflandırma modelinin tahminlerini gerçek etiketlerle karşılaştıran tablodur. Satırlar ve sütunlar sınıfları temsil eder; hücrelerde ise o gerçek sınıftan kaç örneğin hangi sınıf olarak tahmin edildiği sayılır. Türkçede hata matrisi olarak da anılır.
Tablonun gücü, tek bir başarı sayısının sakladığını göstermesidir. Bir model genel olarak yüksek doğrulukta görünebilir ama belirli bir sınıfta sürekli yanılıyor olabilir. Matris, modelin neyi neyle karıştırdığını görünür kılar; adındaki karışıklık da buradan gelir.
Dört hücre nasıl okunur?
İkili sınıflandırmada, yani pozitif ve negatif sınıflar varken, matris dört hücrelidir. Doğru pozitif ve doğru negatif modelin doğru bildiği örneklerdir. Yanlış pozitif, gerçekte negatif olan örneğe pozitif demektir; yanlış negatif ise gerçekte pozitif olanı kaçırmaktır.
scikit-learn belgesinde matrisin i satırı ve j sütunundaki sayı, gerçekte i sınıfında olup j sınıfı olarak tahmin edilen gözlem sayısıdır. İkili durumda bu düzen, doğru negatif ile yanlış pozitifin üst satırda, yanlış negatif ile doğru pozitifin alt satırda yer almasıyla sonuçlanır. Başka kaynaklarda eksenler ters çevrilmiş olabilir; bir matrisi okumadan önce hangi eksenin gerçek, hangisinin tahmin olduğuna bakmak gerekir.
Gerçek sınıf ile tahmin kesişince dört sonuç türü doğar
İkili sınıflandırma matrisi (scikit-learn düzeni)
Örnek: sahte işlem tespiti
Bir banka, kart işlemlerini sahte ya da normal olarak sınıflayan bir model kullansın; sahte işlem pozitif sınıf olsun. Doğru pozitif, sahte işlemin yakalanmasıdır. Yanlış pozitif, sağlam bir işlemin sahte sayılıp müşterinin kartının engellenmesidir. Yanlış negatif, sahte işlemin geçip gitmesidir. Doğru negatif ise normal işlemin sorunsuz geçmesidir.
Bu dört sonuç aynı bedeli taşımaz. Yanlış pozitif müşteri memnuniyetini ve çağrı merkezi yükünü etkiler; yanlış negatif doğrudan kayıp demektir. Sahte işlemler çok nadir olduğu için model her şeye normal dese bile genel doğruluk çok yüksek görünür. Matris bunu hemen ele verir: pozitif satırı neredeyse tamamen yanlış negatiflerle doluysa model işe yaramıyor demektir.
Matristen ölçütlere geçiş
Kesinlik, duyarlılık ve özgüllük gibi ölçütlerin hepsi bu dört hücrenin oranlarıdır. Kesinlik, pozitif denenlerin ne kadarının gerçekten pozitif olduğuna bakar ve yanlış pozitifleri dikkate alır. Duyarlılık, gerçek pozitiflerin ne kadarının yakalandığını ölçer ve yanlış negatiflerle ilgilidir.
Bu nedenle bir ölçütü ezberlemeden önce matriste hangi hücrelerin pay ve paydada yer aldığını görmek anlamayı kolaylaştırır. Ölçütlerin formülleri ve aralarındaki denge ayrıca ele alınan bir konudur; burada önemli olan, hepsinin aynı tablodan çıktığını ve hangisinin seçileceğinin hata türlerinin maliyetine bağlı olduğunu bilmektir.
Matris ikiden çok sınıfta nasıl genişler?
Sınıf sayısı arttığında matris kare bir tabloya dönüşür; her satır gerçek sınıfı, her sütun tahmin edilen sınıfı gösterir. Köşegen doğru tahminleri taşır, köşegen dışındaki hücreler ise hangi sınıfın hangisiyle karıştırıldığını gösterir.
Bu görünüm özellikle benzer sınıfları ayırt etmek için değerlidir. Bir belge sınıflandırıcısında fatura ile sipariş sürekli karışıyorsa, sorun modelin geneli değil bu iki sınıfın ayrışmayan özellikleridir. Çözüm çoğu zaman o sınıflar için daha ayırt edici örnek ya da özellik eklemektir.
Çok sınıflı durumda tek bir pozitif sınıf yoktur; ölçütler sınıf başına ya da ortalama alınarak hesaplanır. Dengesiz sınıf dağılımında, küçük sınıfın satırını ayrıca incelemek gerekir.
Sık yapılan okuma hataları
En yaygın hata, eksenleri karıştırmaktır. Bir araçta satır gerçekse diğerinde tahmin olabilir; yanlış okunan matris yanlış pozitif ile yanlış negatifi yer değiştirir ve yanlış karar verdirir.
Bir diğer hata yalnızca köşegene bakıp başarıyı genel doğrulukla özetlemektir. Köşegen dışındaki hücreler asıl hikâyeyi taşır. Bir başkası, matrisi eğitim verisinde okumaktır; model öğrendiği veride iyi görünür. Gerçek davranış, modelin görmediği doğrulama ya da test verisindeki matriste ortaya çıkar. Son olarak eşik değiştiğinde matris de değişir: pozitif deme eşiği düşürülürse yanlış pozitifler artar, yanlış negatifler azalır.
Veri bilimi programlarında yeri
Karışıklık matrisi, her sınıflandırma çalışmasında model değerlendirmenin ilk adımıdır. Data Science Uzmanlığı Sertifika Programı, Veri Bilimi Sertifika Programı ve Makine Öğrenmesi (Uygulamalı) Programı, modelin sınıflandırma sonuçlarını bu tabloyla okumayı veri bilimci ve analist rolleri için değerlendirme becerisinin içinde işler.
İlgili Mindset programı
Data Science Uzmanlığı Sertifika Programı
Sık sorulan sorular
Karışıklık matrisi hangi modeller için kullanılır?
Çıktısı sınıf etiketi olan tüm sınıflandırma modelleri için kullanılır: lojistik regresyon, karar ağaçları, sinir ağları gibi. Sürekli sayı tahmin eden regresyon modellerinde karşılığı yoktur; orada hata dağılımı ve artıklar incelenir.
Yanlış pozitif ile yanlış negatif nasıl ayırt edilir?
Önce hangi sınıfın pozitif sayıldığını belirleyin. Model pozitif demiş ama gerçek negatifse yanlış pozitiftir; model negatif demiş ama gerçek pozitifse yanlış negatiftir. Pozitif sınıfı seçmek keyfî değildir; genellikle bulmak istediğiniz olaydır, örneğin sahte işlem ya da hastalık.
Matristeki sayılar neden bazen oran olarak gösterilir?
Sınıflar dengesizse ham sayılar okunmayı zorlaştırır. Satır bazında oranlamak, her gerçek sınıfın ne kadarının doğru tahmin edildiğini karşılaştırılabilir kılar. Normalleştirme hangi eksen üzerinden yapıldıysa yorum ona göre okunmalıdır.
Karışıklık matrisi tek başına model seçmek için yeterli mi?
Hayır. Hangi hata türünün daha pahalı olduğu iş bağlamından gelir ve matris bunu tek başına söylemez. Modeller aynı doğrulama verisinde karşılaştırılmalı, ilgili ölçüt ve eşik iş ihtiyacına göre seçilmelidir.