Kesinlik, duyarlılık ve F1 skoru: sınıflandırma modeli neyi ne kadar doğru buluyor?

Kesinlik ve duyarlılık nedir?

Kesinlik (precision) ve duyarlılık (recall), bir sınıflandırma modelinin pozitif sınıfı ne kadar iyi bulduğunu ölçen birbirini tamamlayan metriklerdir. Kesinlik, modelin pozitif dediği örneklerin ne kadarının gerçekten pozitif olduğunu söyler. Duyarlılık ise gerçekte pozitif olan örneklerin ne kadarının modelce yakalandığını söyler.

Kısacası kesinlik soruyor: modelin işaretlediklerinin ne kadarı doğru? Duyarlılık soruyor: bulunması gerekenlerin ne kadarı bulundu? F1 skoru bu ikisini tek sayıda özetleyen ölçüdür.

Karışıklık matrisinden formüllere

Her ikisi de karışıklık matrisinin kutularından hesaplanır: gerçek pozitif (TP), yanlış pozitif (FP), gerçek negatif (TN) ve yanlış negatif (FN).

• Kesinlik = TP / (TP + FP)
• Duyarlılık = TP / (TP + FN)
• F1 = kesinlik ile duyarlılığın çarpımının, toplamlarına oranının katı (harmonik ortalama)

F1, kesinlik ile duyarlılığın harmonik ortalamasıdır. Aritmetik ortalamadan farkı, birinin çok düşük olduğu durumda sonucu da belirgin biçimde aşağı çekmesidir; bir metriği feda ederek yüksek görünen model F1 ile ayıklanır.

Örnek: spam filtresi ve hastalık taraması

Örneğin bir e-posta spam filtresi düşünün. Filtre meşru bir postayı spam olarak işaretlerse bu yanlış pozitiftir ve kullanıcı önemli bir mesajı kaçırır. Burada kesinlik değerli olur: işaretlenenlerin gerçekten spam olması istenir.

Bir hastalık tarama modelinde ise tablo ters döner. Hastayı sağlıklı sanmak (yanlış negatif) çok daha pahalıdır; yanlış alarm ek bir tetkikle çözülür. Bu durumda duyarlılığı yüksek tutmak öncelik olur. Aynı model, aynı veride, hangi hatanın daha maliyetli olduğuna göre farklı yorumlanır.

Kesinlik ile duyarlılık arasındaki denge

Bir sınıflandırıcı çoğu zaman bir olasılık ya da skor üretir ve pozitif demek için bir eşik kullanır. Eşiği yükselttiğinizde model yalnızca çok emin olduğu örnekleri pozitif işaretler: kesinlik genellikle artar, duyarlılık düşer. Eşiği düşürdüğünüzde daha çok örnek yakalanır ama yanlış alarmlar çoğalır.

Bu nedenle kesinlik ve duyarlılık tek başına değil, birlikte okunur. Eşiği iş maliyetine göre seçmek, F1'i tek başına maksimize etmekten genellikle daha anlamlıdır. Eşik bağımsız bir değerlendirme için ROC eğrisi ve AUC gibi araçlar kullanılır.

Doğruluk (accuracy) neden yetmez?

Doğruluk, tüm tahminlerin ne kadarının tutturulduğunu gösterir. Sınıflar dengesizse yanıltıcı olur. Örneğin dolandırıcılık işlemleri veri kümesinin çok küçük bir parçasıysa, her işlemi meşru diyen bir model bile çok yüksek doğruluk gösterir ama hiçbir dolandırıcılığı yakalamaz.

Kesinlik ve duyarlılık ilgilendiğiniz azınlık sınıfa odaklandığı için bu tuzağa düşmez. Çok sınıflı problemlerde sınıf bazında hesaplanır; sonra makro ortalama (her sınıfa eşit ağırlık) ya da mikro ortalama (örnek sayısına göre ağırlık) ile birleştirilir.

Nerelerde kullanılır?

Doküman ve metin sınıflandırmada bir belgenin doğru kategoriye atanıp atanmadığını, görüntü sınıflandırmada nesnenin doğru tanınıp tanınmadığını, bilgi getirmede ise arama sonuçlarının ilgili belgeleri ne kadar kapsadığını ölçmek için kullanılır. Üretime alınmış bir modelin zaman içinde bozulup bozulmadığını izlemek için de bu metrikler periyodik olarak yeniden hesaplanır.

Çok etiketli ve hiyerarşik sınıflandırmada metrikler etiket ya da seviye bazında ayrı ayrı raporlanır; böylece zayıf kalan sınıf toplam ortalamanın arkasında saklanmaz.

Mindset programlarında nerede çalışılır?

Metriklerin yorumu, sınıflandırma modellerini kuran ve işleten veri bilimi ile makine öğrenmesi ekipleri için gündelik bir iştir. Doküman Sınıflandırması programı klasik makine öğrenmesinden derin öğrenmeye metin sınıflandırmayı, çok etiketli ve hiyerarşik yapıları ve model dağıtımı ile izlemeyi birlikte ele alır; metriklerin üretimdeki izleme tarafına bağlandığı yer burasıdır.

BERT ve Türevleri ile Sınıflandırma programında ince ayar, değerlendirme ve üretim, Görüntü Sınıflandırma Modelleri programında ise model yorumlanabilirliği ve güvenirlik başlıkları aynı değerlendirme dilini farklı veri türlerinde kullanır.