Model Kayması (Model Drift): Üretimdeki Modelin Zamanla Bozulması

Model kayması nedir?

Model kayması (model drift), üretim ortamına alınmış bir makine öğrenmesi modelinin zaman içinde tahmin kalitesini yitirmesidir. Model eğitildiği gün yeterince iyi çalışsa bile, onu besleyen veri ya da veriyle hedef arasındaki ilişki değiştikçe tahminler gerçeğin gerisinde kalır.

Bu bir yazılım hatası değildir; kod aynı kalır, değişen dünyadır. Bu yüzden sürüm kontrolü ve birim testleri kaymayı yakalamaz. Kayma sessiz ilerler: sistem hata vermez, yalnızca giderek daha yanlış karar üretir. Model izleme (model monitoring) disiplini tam da bu sessiz bozulmayı görünür kılmak için vardır.

Kayma türleri: veri kayması ve kavram kayması

Literatürde iki ana tür ayırt edilir:

• Veri kayması (data drift): Modelin girdi verisinin dağılımı değişir. Eğitimde görülen müşteri profili ya da sensör aralığı üretimde farklılaşmıştır. Girdi ile hedef arasındaki ilişki aynı kalsa bile model, tanımadığı bölgelerde zayıf tahmin yapar.
• Kavram kayması (concept drift): Girdi ile hedef arasındaki ilişkinin kendisi değişir. Aynı girdi artık farklı bir sonuç anlamına gelir. Dolandırıcılık yöntemleri evrildiğinde eski işlem örüntüleri artık dolandırıcılık göstergesi olmaktan çıkabilir.

Bazı kaynaklar bunlara etiket kayması (hedef değişkenin dağılımının değişmesi) ayrımını da ekler. Pratikte önemli olan fark şudur: veri kayması girdilere bakarak, kavram kayması ise gerçek sonuçlar geldikten sonra performansa bakarak anlaşılır.

Kayma neden olur?

Nedenler genellikle model dışındadır. Mevsimsellik ve tüketici davranışındaki değişim, yeni ürün ya da kampanya, mevzuat değişikliği, rakip hamleleri ve ekonomik şoklar girdi dağılımını kaydırır. Teknik kaynaklı nedenler de vardır: bir veri kaynağının alan biçimini değiştirmesi, sensör kalibrasyonunun bozulması, ön işleme hattında sessizce yapılan bir güncelleme.

Örneğin kredi başvurularını puanlayan bir model, ekonomik koşulların farklı bir döneminde toplanmış veriyle eğitilmişse, koşullar değiştiğinde başvuru sahiplerinin gelir ve borç profili modelin gördüğünden farklılaşır. Model çalışmaya devam eder ama eşik değerleri artık yanlış yerde durur.

Model kayması nasıl tespit edilir?

Tespit yaklaşımı, gerçek sonuç bilgisinin ne zaman geldiğine bağlıdır:

• Girdi izleme: Üretimdeki özelliklerin dağılımı, eğitim verisiyle istatistiksel olarak karşılaştırılır. Popülasyon kararlılık endeksi, Kolmogorov-Smirnov testi ve Jensen-Shannon uzaklığı bu amaçla yaygın kullanılır.
• Tahmin izleme: Modelin çıktı dağılımı zaman içinde izlenir; ani değişim bir uyarıdır.
• Performans izleme: Gerçek etiketler geldikçe doğruluk, kesinlik ve duyarlılık gibi ölçütler hesaplanır. Etiket gecikmesi olan işlerde (örneğin kredi geri ödemesi) bu yöntem geç kalır, bu yüzden girdi izlemeyle desteklenir.

İzleme için hem açık kaynak hem ticari araçlar bulunur; önemli olan eşiklerin iş etkisine göre belirlenmesidir. Her küçük sapma alarm üretirse ekip alarmları görmezden gelmeye başlar.

Kayma görüldüğünde ne yapılır?

Tepki, kaymanın niteliğine göre seçilir. Önce kaymanın gerçekten model performansına yansıyıp yansımadığı doğrulanır; her dağılım değişimi performans kaybı demek değildir. Gerçek bir bozulma varsa seçenekler şunlardır: güncel veriyle modeli yeniden eğitmek, özellik setini gözden geçirmek, eşikleri yeniden ayarlamak ya da model mimarisini değiştirmek.

Yeniden eğitimi takvime bağlamak (örneğin her dönem sonunda) ile tetikleyiciye bağlamak (izleme eşiği aşıldığında) arasında bir tercih yapılır. Hangisi seçilirse seçilsin, yeniden eğitilen model doğrudan üretime alınmadan önce gölge modda ya da kademeli yayınla sınanmalı, sorun çıkarsa önceki sürüme dönülebilmelidir.

Büyük dil modellerinde kayma

Üretken yapay zeka sistemlerinde kayma farklı biçimlerde görünür. Girdi tarafında kullanıcı soru türlerinin değişmesi, çıktı tarafında yanıt uzunluğu, ton ya da ret oranındaki sapmalar izlenir. Dış model sağlayıcısı sürümü güncellediğinde aynı komut farklı yanıt üretebilir. Klasik doğruluk ölçütleri çoğu zaman hesaplanamadığı için örneklenmiş yanıtların otomatik ve insan değerlendirmesi birlikte kullanılır.

Mindset programlarında model kayması

Mindset kataloğundaki Model Monitoring ve Drift Tespiti eğitimi model izlemenin önemini, veri kayması tespitini, kavram kayması ve model performansını, açık kaynak ve ticari izleme araçlarını, LLM ve üretken yapay zeka izlemeyi ve yeniden eğitim stratejisi ile olay müdahalesini modüller halinde işler.