Kayıp fonksiyonu: modelin hatasını ölçen ve eğitimi yönlendiren sayı
Kayıp fonksiyonu, modelin tahmini ile gerçek değer arasındaki farkı tek bir sayıya çevirir. Eğitim bu sayıyı küçültmeye çalışır; bu nedenle fonksiyonun seçimi modelin neyi öğreneceğini belirler.
Bir bakışta
- Kayıp, eğitimin pusulasıdır. Model ağırlıklarını kaybı azaltacak yönde günceller; kayıp neyi cezalandırıyorsa model onu öğrenir.
- Regresyonda fark, sınıflandırmada olasılık cezalandırılır. MSE ve MAE sayısal tahminlerde, çapraz entropi sınıf olasılıklarında kullanılır.
- MSE büyük hatalara daha sert davranır. MAE ise hataları orantılı sayar ve uç değerlere karşı daha dayanıklıdır.
- Kayıp ile değerlendirme ölçüsü aynı olmak zorunda değildir. Eğitim türevlenebilir kayıpla yapılır; raporlanan ölçü iş gereksinimine göre seçilir.
Kayıp fonksiyonu nedir?
Kayıp fonksiyonu (loss function), bir modelin tahminlerinin ne kadar kötü olduğunu ölçen formüldür. Her tahmin için tahmin ile gerçek değeri karşılaştırır ve bir hata değeri üretir; bu değerlerin ortalaması eğitim boyunca izlenen kayıptır. Kayıp ne kadar düşükse model eğitim verisine o kadar iyi uyuyor demektir.
Bu fonksiyon yalnız bir raporlama aracı değil, eğitimin kendisidir. Gradyan inişi, ağırlıkları kaybı azaltacak yönde değiştirir. Dolayısıyla hangi kaybı seçtiğiniz, hangi hatayı ne kadar ciddiye aldığınızı modele öğretmek anlamına gelir. Aynı veriyle iki farklı kayıp, iki farklı davranışlı model üretebilir.
Regresyon problemleri için kayıplar
Sayısal bir değer tahmin ederken en bilinen kayıp MSE'dir: hatanın karesi alınır ve ortalaması hesaplanır. Kare almak büyük hataları orantısız biçimde büyütür; bu yüzden MSE ile eğitilen model, tek tük büyük sapmaları düzeltmeye daha çok çaba harcar. Veride aykırı değerler varsa bu özellik zararlı olabilir.
MAE ise hatanın mutlak değerini ortalar; her hata kendi büyüklüğü kadar ceza getirir ve aykırı değerlere daha toleranslıdır. Huber kaybı, küçük hatalarda MSE gibi, büyük hatalarda MAE gibi davranarak ikisinin ortasında durur. Örneğin bir restoranın günlük sipariş sayısını tahmin eden modelde nadir ama çok yoğun bir bayram günü varsa, MSE modeli o güne aşırı odaklayabilir; MAE veya Huber daha dengeli sonuç verir.
Sınıflandırma problemleri için kayıplar
Sınıflandırmada model her sınıf için bir olasılık üretir ve çapraz entropi kaybı, gerçek sınıfa verilen olasılık düşük olduğunda hatayı hızla büyütür. Model yanlış bir sınıfa yüksek güvenle sahip çıkarsa ceza çok ağırdır; bu, modeli iyi kalibre olasılıklar üretmeye iter. İkili sınıflandırmada ikili çapraz entropi, çok sınıflı problemlerde kategorik çapraz entropi kullanılır.
Sınıflar dengesizse kayıp, sınıf ağırlıklarıyla ya da odaklı kayıp (focal loss) gibi varyantlarla ayarlanabilir. Doğrusal ayırıcılarda kullanılan menteşe kaybı (hinge loss) ise sınıflar arasındaki marjı önceler ve destek vektör makinelerinin temelindedir.
Problem türü ve veri yapısı kayıp seçimini belirler
- Sayısal tahmin, aykırı değer azMSEBüyük hatalar öne çıkar, türevi düzgündür.
- Sayısal tahmin, aykırı değer çokMAE ya da HuberUç değerlere karşı daha dayanıklıdır.
- İki sınıflı tahminİkili çapraz entropiÇıkış olasılığı doğru sınıfa yaklaştırılır.
- Çok sınıflı tahminKategorik çapraz entropiSoftmax çıkışıyla birlikte kullanılır.
Kayıp ile değerlendirme ölçüsü aynı şey değildir
Eğitimde kullanılan kayıp türevlenebilir olmalıdır; oysa iş tarafında istenen ölçü, örneğin F skoru (F1) ya da doğruluk, her zaman türevlenebilir değildir. Bu nedenle model çapraz entropiyle eğitilip doğrulukla raporlanabilir. İki sayı birlikte iyileşir, ama birbirinin yerine geçmez.
Benzer bir karışıklık MAE ve RMSE için de yaşanır: bunlar hem kayıp olarak hem değerlendirme ölçüsü olarak kullanılabilir. Eğitimde seçtiğiniz kaybın, raporlayacağınız ölçüyle uyumlu bir yönde ilerlemesi önemlidir; aksi halde eğitim bir şeyi optimize eder, iş başka bir şeyi bekler.
Sık yapılan hatalar
Çapraz entropiyi regresyonda, MSE'yi olasılık çıkışlı sınıflandırmada kullanmak yaygın hatadır; öğrenme yavaşlar ya da hedefle uyumsuz çözümler çıkar. Kayıp değerini farklı problemlerde doğrudan kıyaslamak da yanıltıcıdır: ölçekleri farklıdır.
Bir başka hata, yalnız eğitim kaybına bakmaktır. Eğitim kaybı düşerken doğrulama kaybı yükseliyorsa model aşırı öğreniyordur. Ayrıca sınıf dengesizliğini kayıpta hesaba katmamak, modelin çoğunluk sınıfını öğrenip azınlığı görmezden gelmesine yol açar.
Mindset programlarında kayıp fonksiyonları
Makine Öğrenmesi (Uygulamalı) Programı'nın regresyon ve sınıflandırma modülleri ile Veri Bilimci Programı'nın (Yapay Zeka Odaklı) makine öğrenmesi algoritmaları modülü, kayıp seçiminin model davranışına etkisini deneyerek görmek için uygundur. Model kurarken hangi hatanın iş için daha pahalı olduğunu belirlemek bu temelin parçasıdır.
İlgili Mindset programı
Veri Bilimci Programı (Yapay Zeka Odaklı)
Sık sorulan sorular
Kayıp fonksiyonu ile maliyet fonksiyonu aynı mı?
Günlük kullanımda çoğunlukla birbirinin yerine kullanılır. Ayrım yapılırken kayıp tek bir örnek için hatayı, maliyet ise tüm eğitim verisi üzerindeki ortalama hatayı (ve varsa ceza terimlerini) ifade eder. Kitaplıklar genellikle 'loss' adını kullanır.
MSE mi MAE mi kullanmalıyım?
Büyük hataların özellikle pahalı olduğu ve aykırı değerlerin az olduğu durumda MSE, aykırı değerlerin çok olduğu ya da hataların orantılı sayılması gereken durumda MAE tercih edilir. Kararsızsanız Huber kaybı iki davranışı birleştirir. Doğrulama sonucunu iş hedefiyle karşılaştırmak kararı netleştirir.
Kayıp neden sıfır olmaz, olmalı mı?
Eğitim kaybının tam sıfır olması genellikle ezberleme belirtisidir. Verideki gürültü yüzünden gerçek bir modelin kaybı sıfıra inmez. Önemli olan kaybın doğrulama verisinde de makul düzeyde ve eğitim kaybından çok uzaklaşmadan düşmesidir.
Kendi kayıp fonksiyonumu yazabilir miyim?
Evet. Derin öğrenme çerçeveleri özel kayıp tanımlamaya izin verir; tek şart fonksiyonun türevlenebilir olması ve iş hedefini doğru yansıtmasıdır. Örneğin pahalı yanlışları daha ağır cezalandıran ağırlıklı kayıplar sık kullanılır.