Modelleri otomatik yeniden eğitmek: tetikleyici, kapı ve geri alma

Modeller neden yeniden eğitilir?

Üretimdeki bir makine öğrenmesi modeli, eğitildiği günün dünyasını öğrenmiştir. Müşteri davranışı değişir, ürün yelpazesi güncellenir, veri kaynağının biçimi farklılaşır, mevsimsel etkiler gelir. Girdi dağılımı kayabilir (veri kayması) ya da girdi ile hedef arasındaki ilişki değişebilir (kavram kayması). Bu durumların her birinde model giderek daha az isabetli tahmin üretir ve çoğu zaman kimse fark etmeden değer kaybeder.

Yeniden eğitim, modeli güncel veriyle tekrar eğiterek bu bozulmayı gidermektir. Elle yapıldığında ise gecikmeli, kişiye bağımlı ve hataya açık bir süreçtir: Biri hatırlar, bir betik çalıştırır, sonucu gözle kontrol eder, sonra elle yayına alır. Otomasyonun amacı bu zinciri güvenilir, izlenebilir ve geri alınabilir bir akışa çevirmektir. Önemli nokta, otomasyonun yalnızca modeli eğitmek değil, yeni modelin gerçekten daha iyi olduğunu doğrulamak ve gerekirse eskisine dönebilmek olduğudur.

Strateji: ne zaman ve ne kadar yeniden eğitilmeli?

Her modelin yeniden eğitim ihtiyacı farklıdır; strateji önce iş bağlamından çıkarılır. Hızlı değişen bir alanda (örneğin öneri sistemleri) sık güncelleme gerekir; kararlı bir alanda ise sık eğitim hem maliyetli hem de gereksiz risktir. Strateji belirlenirken şu sorular sorulur:

• Modelin bozulması ne kadar hızlı ve etkisi ne kadar büyük?
• Doğru etiketler ne zaman elde ediliyor? Gerçek sonuç aylar sonra belli oluyorsa model performansını anında ölçmek mümkün değildir.
• Eğitim maliyeti ve süresi nedir? Ağır modellerin sık eğitilmesi bütçeyi zorlar.
• Yeni model yayına alınmadan önce hangi insan onayı gerekir?
• Düzenleme gereği modelin her sürümünün kaydı tutulmalı mı?

Bu yanıtlar, yeniden eğitimin periyodik mi, olay tetikli mi, yoksa bunların karışımı mı olacağını belirler. Strateji belgesi hedef metriği, kabul eşiğini ve acil durumda kimin devreye gireceğini içermelidir.

Tetikleyici tasarımı

Yeniden eğitimi başlatan sinyal, otomasyonun kalbidir. Yaygın tetikleyici türleri şunlardır.

• Zamana bağlı: Belirli aralıklarla (örneğin her hafta ya da her ay) çalışır. Basit ve öngörülebilirdir, ama gereksiz eğitim üretebilir ya da hızlı bir bozulmayı geç yakalayabilir.
• Veri hacmine bağlı: Yeterli miktarda yeni etiketli veri biriktiğinde çalışır.
• Performansa bağlı: Canlı doğrulukta ya da iş metriğinde belirlenen eşiğin altına inildiğinde çalışır. Etiketlerin geç geldiği durumlarda uygulanması zordur.
• Kayma tabanlı: Girdi özelliklerinin dağılımı eğitim verisinden belirgin biçimde ayrıştığında çalışır. Etiket beklemeden erken uyarı verir, ama her kayma performans kaybı anlamına gelmez.
• Elle: Bir operatörün kontrollü biçimde başlattığı eğitim; acil durumlar için her zaman bulunmalıdır.

Tetikleyicilerin birleştirilmesi yaygındır: düzenli takvim eğitimi ve buna ek olarak kayma uyarısı. Her tetikleyici, gürültüde sık yanlış alarm üretmemesi için bir bekleme süresi ve en az veri koşuluyla sınırlanmalıdır.

Eğitim verisi yönetimi ve kabul kapıları

Otomatik yeniden eğitimde en tehlikeli hata, bozuk veriyle eğitilip bozuk modeli otomatik yayına almaktır. Bu yüzden akış, kalite kapılarıyla korunur.

Veri tarafında yapılacaklar: Eğitim kümesinin sürümlenmesi ve hangi model sürümünün hangi veriyle eğitildiğinin kaydedilmesi; şema ve değer aralığı doğrulamaları; etiket gecikmesinin hesaba katılması; veri sızıntısına karşı zaman bazlı bölme; ve olağan dışı verinin (örneğin sensör arızası, hatalı kayıt) süzülmesi.

Model tarafında kabul kapıları, yeni modelin yayına aday olması için geçmesi gereken otomatik kontrollerdir:

• Doğrulama kümesinde belirlenen asgari metriğin sağlanması
• Mevcut üretim modeline göre geriye düşmeme (gerileme testi)
• Önemli alt gruplarda ya da kritik senaryolarda performansın korunması
• Gecikme ve kaynak kullanımının sınır içinde kalması
• Tahmin dağılımının makul olması, örneğin tüm tahminlerin aynı sınıfa çökmemesi

Kapılardan biri başarısız olursa yeni model yayına alınmaz, mevcut model çalışmaya devam eder ve ekip uyarılır.

Yayın, geri alma ve orkestrasyon

Kapıları geçen model hemen tüm trafiğe açılmak zorunda değildir. Güvenli yayın yöntemleri arasında gölge modda çalıştırma (yeni model tahmin üretir ama kullanıcıya gösterilmez, çıktıları üretimdeki modelle karşılaştırılır), kısmi trafiğe açma ve kademeli yaygınlaştırma sayılabilir. Her yöntemde yayın öncesi geri alma planı bulunmalıdır: Önceki model sürümü kayıtlı ve hemen etkinleştirilebilir durumda kalmalı, geri alma tek bir komutla ya da otomatik bir kuralla yapılabilmelidir.

Bütün bu adımları birbirine bağlayan katman orkestrasyondur: Veri hazırlama, eğitim, değerlendirme, kayıt, yayın ve bildirim adımları bir iş akışı olarak tanımlanır; başarısız adımlar yeniden denenir, çıktılar ve parametreler kaydedilir. Orkestrasyon aracının seçimi mevcut altyapıya bağlıdır. Önemli olan, her çalıştırmanın hangi veriyle, hangi kodla ve hangi parametreyle yapıldığının sonradan yeniden üretilebilir olmasıdır.

Örnek akış ve sık yapılan hatalar

Örneğin bir perakende şirketinin talep tahmin modeli düşünelim. Takvim tetikleyicisi her dönem sonunda akışı başlatır; ayrıca ürün grubu dağılımında belirgin kayma görülürse erken uyarı tetikleyicisi devreye girer. Akış, yeni satış verisini doğrular, eğitim kümesini sürümler, yeni modeli eğitir ve doğrulama kümesinde mevcut modelle karşılaştırır. Yeni kampanya ürünlerinde ve düşük hacimli ürün gruplarında da gerilememesi gerekir. Kapıları geçerse model önce gölge modda çalışır, sonra kademeli olarak devralır; kapı geçilmezse alarm açılır ve mevcut model sürer.

Sık yapılan hatalar şunlardır:

• Kabul kapısı koymadan otomatik yayın
• Eğitim verisini ve model sürümünü ilişkilendirmemek
• Etiket gecikmesini hesaba katmadan performans tetikleyicisi kurmak
• Geri alma yolunu sınamamak
• Çok sık eğitip maliyeti ve kararsızlığı artırmak
• Yeniden eğitim sonuçlarını izlememek: Yeni model de zamanla bozulur ve süreç yeniden izlenmelidir

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Model Yeniden Eğitimi (Retraining) Otomasyonu eğitimi şu modülleri içerir: Yeniden Eğitim Stratejisi, Tetikleyici Tasarımı, Eğitim Verisi Yönetimi, Otomatik Değerlendirme ve Kabul Kapıları, Yayın ve Geri Alma, Orkestrasyon ve İşletme. MLOps Mühendisliği Sertifika Programı ise "Model İzleme ve Sapma Tespiti" ve "Yeniden Eğitim Otomasyonu ve Sürekli Öğrenme" modüllerini deney takibi, ML için test ve sürekli entegrasyon ve boru hattı orkestrasyonu gibi konularla birlikte ele alır.

Bu içerik, üretimdeki modelleri işleten ML ve MLOps mühendisleri ile veri bilimcileri için uygundur; model performansından sorumlu ürün ve operasyon ekiplerinin yeniden eğitim kararlarını ortak ölçütlerle vermesine de katkı sağlar.