Üretimdeki modelde veri kayması izleme: yöntemler, uyarılar ve müdahale

Üretimdeki model neden bozulur?

Bir model eğitim verisinin dünyasını öğrenir; üretimde ise dünya değişmeye devam eder. Müşteri davranışı mevsimle ya da kampanyayla kayar, bir veri kaynağı alan biçimini değiştirir, yeni bir ürün ya da kanal eskiden hiç görülmeyen değerler getirir. Model aynı kodla çalışmaya devam eder ama tahmin kalitesi sessizce düşer. Yazılım hataları genellikle hata mesajı verir; model bozulması vermez.

Bu yüzden izleme, modelin yayına alınmasının sonrası değil parçasıdır. İzleme olmadığında bozulma, genellikle bir iş birimi sonuçların tuhaflığını fark ettiğinde ortaya çıkar; o zamana kadar yanlış kararlar verilmiş olur. Örneğin bir kredi skorlama modelinde başvuru profili değiştiğinde, model eskisi gibi güvenle skor üretir ama skorlar artık gerçek riski yansıtmaz.

Kayma türleri: girdi, etiket ve kavram

Bozulmanın nedenini ayırt etmek, doğru müdahaleyi seçmeyi sağlar. Yaygın sınıflama şöyledir: • Girdi (özellik) kayması: modelin gördüğü girdilerin dağılımı eğitimdekinden farklılaşır. Örneğin yaş ortalaması yükselir ya da yeni bir şehirden başvurular gelmeye başlar. • Etiket (hedef) kayması: sonucun kendi dağılımı değişir, örneğin dolandırıcılık oranı artar. • Kavram kayması: girdi ile sonuç arasındaki ilişki değişir. Aynı özelliklere sahip müşteri artık farklı davranır; ekonomik koşullar ya da düzenleme sonrası görülen tipik durumdur. • Veri kalitesi sorunları: dağılım değişimi değil, veri hattında bir bozulmadır; eksik alan, birim değişikliği, yinelenen kayıt ya da gecikmeli veri gibi.

Bu ayrım önemlidir. Veri kalitesi sorunu genellikle kaynağı düzeltince biter; girdi kayması yeniden eğitim ya da özellik güncellemesi gerektirebilir; kavram kayması ise genellikle modelin yeniden tasarımını gündeme getirir.

Kaymayı nasıl ölçersiniz?

Girdi kaymasını ölçmek için bir referans dağılım (genellikle eğitim ya da sağlıklı bir dönem) ile güncel pencere karşılaştırılır. Sayısal özelliklerde Kolmogorov-Smirnov testi gibi dağılım karşılaştırma testleri, mesafe ölçütleri ya da kutulanmış dağılımlar üzerinden hesaplanan kararlılık endeksleri (örneğin popülasyon kararlılık endeksi) kullanılır. Kategorik özelliklerde sınıf oranlarının farkına ya da ki-kare testine bakılır. Model çıktısının dağılımı da izlenir; tahmin skorlarının dağılımı kayıyorsa girdiler büyük olasılıkla değişmiştir.

Ölçüm tasarlarken şunlara dikkat edin: • Referans seçimi sonucu belirler; mevsimsel bir model için tüm yıla bakan referans, tek bir ay referansından farklı sonuç verir. • Çok büyük veri kümelerinde en küçük fark istatistiksel olarak anlamlı çıkar; anlamlılık yerine fark büyüklüğüne ve iş etkisine bakın. • Çok sayıda özelliği tek tek izlemek gürültü üretir; önem sırasına göre öncelik verin. • Özellik birleşimlerindeki kayma tek tek bakınca görünmeyebilir; çok değişkenli yaklaşımlar gerekebilir.

Gecikmeli etiketler ve performans izleme

Asıl soru, modelin hâlâ doğru tahmin edip etmediğidir; ancak gerçek etiket sıklıkla geç gelir. Bir kredinin geri ödenip ödenmediği aylar sonra, bir müşterinin ayrılıp ayrılmadığı da ancak dönem sonunda bilinir. Bu gecikme boyunca performans doğrudan ölçülemez.

Bu durumda şu yollar birlikte kullanılır. Önce vekil göstergeler: girdi ve çıktı dağılımındaki kayma, güven skorlarının dağılımı ve iş süreci metrikleri. Sonra etiketler geldikçe geriye dönük hesaplama: tahmin kayıtlarını saklayıp etiketle eşleştirerek performansı gecikmeli de olsa düzenli raporlamak. Ayrıca etiketlemeyi hızlandırmak: tahminlerin bir örneklemini elle incelemek ya da erken sinyal veren bir ara hedef tanımlamak.

Tahmin kayıtlarının girdi, çıktı ve model sürümüyle birlikte saklanması bu yaklaşımların ortak önkoşuludur. Kayıt yoksa sonradan analiz yapılamaz.

İzleme altyapısı, uyarı tasarımı ve müdahale

İzleme altyapısı şu parçalardan oluşur: tahmin ve girdi kayıtlarının toplanması, bu kayıtlar üzerinde düzenli hesaplama işleri ve sonuçları gösteren panolar ile uyarılar. Hesaplama zamanlanmış bir iş ya da akış işleme olarak çalışabilir. Model izleme, genel sistem gözlemlenebilirliğinin (gecikme, hata oranı, kaynak kullanımı) üzerine eklenir; ikisi ayrı düşünülmemelidir.

Uyarı tasarımı kritiktir. Çok hassas eşikler sürekli yanlış alarm üretir ve ekip uyarıları görmezden gelmeye başlar; çok gevşek eşikler gerçek bozulmayı kaçırır. Uyarılar şiddete göre sınıflanmalı, her uyarının sahibi ve ilk bakılacak yer belli olmalıdır.

Müdahale seçenekleri şunlardır: • Veri hattı hatasıysa kaynağı düzeltmek ve etkilenen tahminleri yeniden hesaplamak. • Önceki model sürümüne dönmek. • Yeni veriyle yeniden eğitmek. • Modeli geçici olarak devre dışı bırakıp kural tabanlı yedek çözüme geçmek.

Her olay kapanırken kök neden kaydedilmeli ve izleme kuralları buna göre güncellenmelidir.

Sık yapılan hatalar

İzleme projelerinde tekrar eden sorunlar şunlardır: • Yalnız altyapıyı izlemek. Servis ayakta ve hızlı yanıt veriyor diye model sağlıklı değildir. • Tüm özellikleri aynı ağırlıkla izleyip uyarı gürültüsü yaratmak. • Referans dönemi bilinçsiz seçmek; mevsimsel dalgalanmayı kayma sanmak. • Kayma tespit edildi diye otomatik yeniden eğitime geçmek. Kayma bir veri hatasıysa model hatalı veriyle yeniden eğitilir. • Tahmin kayıtlarını saklamamak; sonradan analiz imkânsızlaşır. • Uyarıya sahip atamamak: herkesin gördüğü ama kimsenin sorumlu olmadığı uyarı çözülmez. • İş etkisini ölçmemek. Teknik olarak büyük kayma, iş sonucunu etkilemiyor olabilir; küçük bir kayma ise kritik bir kararı bozabilir.

İyi bir izleme sistemi, her uyarıda 'şimdi ne yapacağız?' sorusuna hazır bir yanıt taşır.

Öğrenme yolu

Başlangıçta temel istatistik bilgisi gerekir: dağılım, örneklem, hipotez testi ve fark büyüklüğü. Sonra basit bir modelin tahmin kayıtlarını saklayıp eğitim verisiyle güncel veriyi karşılaştıran küçük bir betik yazın. Bilinçli olarak veriyi bozup (bir alanı kaydırıp ya da birim değiştirip) ölçümlerin bunu yakalayıp yakalamadığını görmek en öğretici egzersizdir.

İleri aşamada pencere tasarımı, gecikmeli etiketlerle performans hesaplama, panolar, uyarı yönlendirme ve olay sonrası kök neden analizi öğrenilir. Ayrıca veri hattı gözlemlenebilirliği ile model izlemeyi birleştirmek önemlidir; çünkü kaymalar çoğunlukla modelde değil, yukarıdaki veri akışındaki değişikliklerde başlar.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Model İzleme: Veri Kayması ve Performans Bozulması programı modül başlıklarına göre bozulma türleri ve izleme stratejisi, veri kayması ölçüm yöntemleri, performans izleme ve gecikmeli etiketler, izleme altyapısının kurulması, uyarı tasarımı ve müdahale ile kök neden analizi ve kapanış döngüsünü kapsar. ML Sistemlerinde Gözlemlenebilirlik programı ise metrik toplama ve panolar, yapılandırılmış günlükleme, dağıtık izleme, veri hattı gözlemlenebilirliği ile uyarı, olay yönetimi ve teşhis konularını içerir.