ROC eğrisi ve AUC: sınıflandırıcının ayırt etme gücünü eşikten bağımsız ölçmek

ROC eğrisi ve AUC nedir?

ROC (Receiver Operating Characteristic) eğrisi, ikili bir sınıflandırma modelinin karar eşiği değiştikçe nasıl davrandığını gösteren grafiktir. Eğrinin yatay ekseninde yanlış pozitif oranı, dikey ekseninde gerçek pozitif oranı (duyarlılık) yer alır. Her nokta, farklı bir eşik değerine karşılık gelir.

AUC (Area Under the Curve) bu eğrinin altında kalan alandır. Modelin pozitif ve negatif örnekleri ne kadar iyi birbirinden ayırdığını tek bir sayıda özetler. Değer yükseldikçe ayırt etme gücü artar.

Eğri nasıl oluşturulur?

Model, her örnek için bir skor ya da olasılık üretir. Örnekler bu skora göre sıralanır ve eşik en yüksekten en düşüğe doğru kaydırılır. Her eşik değerinde şu oranlar hesaplanır:

• Gerçek pozitif oranı = TP / (TP + FN), yani duyarlılık
• Yanlış pozitif oranı = FP / (FP + TN)

Eşik çok yüksekken model hemen hemen hiçbir örneği pozitif demez ve eğri sol alt köşede başlar. Eşik düştükçe model daha çok örneği pozitif işaretler, hem yakaladığı gerçek pozitifler hem de yanlış alarmlar artar ve eğri sağ üst köşeye ulaşır. Noktaları birleştirmek eğriyi verir.

Eğriyi nasıl okuruz?

Sol üst köşeye yaklaşan bir eğri iyi bir modeldir: az yanlış alarmla çok sayıda gerçek pozitifi yakalar. Sol alttan sağ üste uzanan köşegen, yazı tura atmaya eşdeğer rastgele tahmini temsil eder. Köşegenin altına düşen bir eğri ise skorların ters yorumlandığına işaret edebilir.

AUC'nin pratik bir yorumu vardır: rastgele seçilmiş bir pozitif örneğin, rastgele seçilmiş bir negatif örnekten daha yüksek skor alma olasılığıdır. Rastgele tahminin değeri köşegenin altında kalan alandır; mükemmel ayrım ise kareyi tamamen kaplayan alana karşılık gelir.

Örnek: müşteri kaybı tahmini

Örneğin bir abonelik şirketi, hangi müşterilerin ayrılacağını tahmin eden bir model kurar. Model her müşteriye bir ayrılma olasılığı verir. Ekip en yüksek olasılıklı müşterilere elde tutma kampanyası yapacaktır; kampanyanın kapasitesi sınırlıdır.

ROC eğrisi, farklı eşiklerde kaç ayrılan müşterinin yakalandığını ve kaç sadık müşteriye gereksiz kampanya gönderildiğini gösterir. AUC, farklı modeller arasında genel bir kıyas sağlar. Ama kampanya kapasitesine uygun gerçek eşiği seçmek için kesinlik ve duyarlılık gibi eşiğe bağlı metrikler yine gerekir.

AUC'nin sınırları

AUC eşikten bağımsızdır; bu hem avantaj hem sınırdır. Model karar vermek için bir eşik seçmek zorundadır ve AUC bunun nerede olması gerektiğini söylemez. Ayrıca farklı maliyet profillerini ayırt etmez: yanlış alarmların çok pahalı olduğu bir uygulamada eğrinin yalnızca sol bölgesi önemlidir ama AUC tüm eğriyi eşit sayar.

Sınıflar çok dengesizse, örneğin pozitifler veri kümesinin çok küçük bir kısmıysa, ROC eğrisi iyimser görünebilir. Çünkü yanlış pozitif oranının paydasında çok sayıda negatif vardır ve çok sayıda yanlış alarm bile oranı fark edilir biçimde yükseltmez. Bu durumda kesinlik-duyarlılık eğrisi daha bilgilendirici olur.

ROC ile ilişkili kavramlar

Kesinlik ve duyarlılık, tek bir eşikte hesaplanan metriklerdir; ROC eğrisi ise tüm eşikleri tarar. F1 skoru da yine tek bir eşiğe bağlıdır. Karışıklık matrisi bütün bu hesapların ortak başlangıç noktasıdır.

Çok sınıflı problemlerde ROC doğrudan tanımlı değildir; genellikle her sınıf diğerlerine karşı (bir sınıfa karşı geri kalan) ele alınarak sınıf bazlı eğriler çizilir ve ortalaması alınır.

Mindset programlarında nerede çalışılır?

ROC ve AUC, sınıflandırma modellerini değerlendiren her ekibin rutin araçlarıdır. Doküman Sınıflandırması programı metin sınıflandırmanın klasik ve derin öğrenme yaklaşımlarını, kurumsal uygulamaları ve model dağıtımı ile izlemeyi bir arada ele alır; BERT ve Türevleri ile Sınıflandırma programı ince ayar sonrası değerlendirme ve üretime geçişi kapsar.

Görüntü Sınıflandırma Modelleri programı ise klasik CNN mimarilerinden Vision Transformer'a kadar uzanan modellerin yanında model yorumlanabilirliği ve güvenirliği içerir. Veri bilimi ve makine öğrenmesi ekipleri bu içerikleri kendi veri kümeleriyle çalışarak uygulayabilir.