MAE ile RMSE: Regresyon Modelinde Hangi Hata Ölçütü Kullanılmalı?

Ortak zemin: ikisi de hatanın tipik büyüklüğünü ölçer

MAE ve RMSE, sayısal bir değeri tahmin eden regresyon modellerinin en sık kullanılan iki hata ölçütüdür. İkisi de her gözlem için gerçek değer ile tahmin arasındaki farkı, yani hatayı hesaplar ve bu hataları tek bir sayıda özetler. İkisinde de değer ne kadar küçükse model o kadar iyidir ve ikisi de hedef değişkenle aynı birimde okunur. scikit-learn belgeleri RMSE için bunu açıkça belirtir: MSE'nin karekökü alınarak hedef değişkenle aynı birimde bir ölçü elde edilir.

Bu ortak birim, iki ölçütü yöneticilere anlatmayı kolaylaştırır. "Model günlük satışı ortalamada şu kadar adet yanılıyor" cümlesi, R kare gibi birimsiz ölçütlerden daha somuttur.

Ayrıldıkları nokta, hataları özetlerken onlara verdikleri ağırlıktır. MAE her hatayı kendi büyüklüğüyle sayar. RMSE ise hataların karesini aldığı için büyük hatalara, küçük hatalardan orantısız biçimde daha fazla ağırlık verir.

Aynı MAE, farklı RMSE: kurgusal bir hesap

Farkı görmenin en kolay yolu, aynı veri üzerinde iki modeli karşılaştırmaktır. Bir mağazanın günlük satışını tahmin eden iki model olduğunu ve her birinin 4 günlük tahmin hatalarını incelediğimizi düşünelim.

A modeli her gün aynı büyüklükte yanılıyor: hataları 2, 2, 2 ve 2 adet. Mutlak hataların ortalaması 2'dir, yani MAE 2'dir. Kareler 4, 4, 4 ve 4 olduğu için ortalamaları da 4'tür ve karekökü olan RMSE 2'ye eşittir.

B modeli günlerin çoğunda çok iyi, bir gün çok kötü tahmin ediyor: hataları 1, 1, 1 ve 5 adet. Mutlak hataların toplamı 8, ortalaması yine 2'dir. Yani MAE'ye bakarsanız iki model eşittir. Ama hata kareleri 1, 1, 1 ve 25'tir; toplamları 28, ortalamaları 7'dir ve RMSE yaklaşık 2,65'e çıkar.

RMSE, B modelinin tek ama büyük yanılgısını görünür kılar. Bu gün bir kampanya günüyse ve stok yetersizliği yüzünden satış kaçırıldıysa, RMSE'nin uyarısı işin gerçeğine daha yakındır. Bu sapma önemsiz bir veri hatasından kaynaklanıyorsa, MAE'nin sakin tablosu daha doğru bir özettir.

Ölçüt ölçüt MAE ve RMSE

• Ölçüt: Hesap. MAE: mutlak hataların ortalaması. / RMSE: hata karelerinin ortalamasının karekökü.
• Ölçüt: Büyük hatalara duyarlılık. MAE: her hata kendi büyüklüğü kadar sayılır. / RMSE: büyük hatalar karesi alındığı için ağır basar.
• Ölçüt: Ödüllendirdiği tahmin. MAE: scikit-learn belgelerine göre mutlak hatayı en aza indiren tahmin koşullu medyandır. / RMSE: kare hatayı en aza indiren tahmin koşullu ortalamadır.
• Ölçüt: Aykırı değerler. MAE: etkisi sınırlıdır. / RMSE: tek bir aykırı gözlem ölçütü belirgin biçimde yükseltebilir.
• Ölçüt: Birbirine göre konum. MAE: aynı veride RMSE'den hiçbir zaman büyük olamaz. / RMSE: tüm hatalar eşit büyüklükteyken MAE'ye eşittir, hatalar dengesizleştikçe ondan uzaklaşır.
• Ölçüt: Eğitimde kullanım. MAE: mutlak değer sıfır noktasında türevlenemediği için bazı optimizasyon yöntemlerinde daha zahmetlidir. / RMSE: kare hata türevlenebilir olduğu için birçok algoritmanın varsayılan kaybıdır.

Koşullu ortalama ile medyan farkı pratikte önemlidir. Satış gibi sağa çarpık dağılan verilerde ortalama, birkaç çok büyük günden yukarı çekilir. Kare hatayla eğitilen bir model bu ortalamaya yaklaşmaya, mutlak hatayla eğitilen bir model ise tipik güne yaklaşmaya çalışır.

İşin maliyetine göre seçim

Doğru ölçüt, istatistik zevkine göre değil, tahmin hatasının işteki maliyetine göre seçilir.

Büyük bir hata, birkaç küçük hatanın toplamından daha pahalıysa RMSE daha doğru bir aynadır. Elektrik yükü tahmininde tek bir büyük sapma kapasite yetersizliğine, hastane yatak planlamasında hastaların geri çevrilmesine yol açabilir. Bu tür işlerde büyük hataları ayrıca cezalandıran bir ölçüt, modelin gerçekten kaçınması gereken durumları öne çıkarır.

Hatanın maliyeti büyüklüğüyle doğru orantılıysa MAE daha dürüst bir özettir. Her fazladan ya da eksik birimin aynı maliyete yol açtığı bir sipariş planında, birkaç uç günün tabloyu domine etmesi yanıltıcı olur. Verideki uç değerler gerçek davranışı değil kayıt hatalarını yansıtıyorsa da MAE tercih edilir; daha da dayanıklı bir özet için scikit-learn'ün aykırı değerlere karşı dayanıklı olarak tanımladığı medyan mutlak hata eklenebilir.

Çoğu raporda en sağlıklı yol ikisini birlikte göstermektir. MAE tipik yanılgıyı, RMSE ile MAE arasındaki açıklık ise büyük hataların varlığını anlatır. Açıklık bir model sürümünden diğerine büyüyorsa, ortalama iyileşse bile model riskli hâle geliyor olabilir.

Sık yapılan hatalar

• Farklı ölçekteki hedefleri MAE ya da RMSE ile kıyaslamak. İki ölçüt de hedefin birimine bağlıdır; günlük satışı yüzlerle ölçülen bir ürün ile binlerle ölçülen bir ürünün hataları doğrudan karşılaştırılamaz. Bu iş için ölçekten bağımsız ölçütler gerekir; scikit-learn belgeleri MAPE'nin hedefin genel ölçeklenmesinden etkilenmediğini belirtir.
• Eğitim kaybını ve değerlendirme ölçütünü birbirinden kopuk seçmek. Modeli kare hatayla eğitip yalnız MAE ile değerlendirmek, ekibin optimize ettiği şeyle raporladığı şeyi ayırır.
• scikit-learn'de negatif skorlarla şaşırmak. Belgelere göre tüm skor nesneleri büyük değerin daha iyi olduğu kuralına uyar; bu yüzden ölçütler neg_mean_absolute_error ve neg_root_mean_squared_error adlarıyla, işareti ters çevrilmiş olarak döner.
• Tek bir sayıya bakıp hata dağılımını görmemek. Hataların zaman, ürün ya da bölgeye göre kırılımı, hangi durumda büyük yanılgı yapıldığını gösterir.
• Doğrulama verisinde değil eğitim verisinde ölçmek. Eğitim verisindeki düşük hata, modelin yeni veride de aynı başarıyı göstereceği anlamına gelmez.

Mindset programlarında model değerlendirmeyi nerede çalışırsınız?

Veri Bilimi Sertifika Programı'nın denetimli öğrenme ve model değerlendirme bölümü, regresyon modellerini hangi ölçütle değerlendireceğinize ve sonuçları nasıl yorumlayacağınıza odaklanır; tahmin modellerinin sonuçlarını iş birimlerine raporlayan analistler için doğrudan uygulanabilir.

Zaman serisi tahmini ve model optimizasyonunda bu ölçütleri kullanmak isteyenler Data Science Uzmanlığı Sertifika Programı'ndaki zaman serisi analizi ve ileri makine öğrenmesi konularıyla devam edebilir.