Makine öğrenmesi modelleri A/B testiyle canlıda nasıl karşılaştırılır?

Çevrimdışı skor yetmez: modeli neden canlıda da test ederiz?

Bir model geliştirilirken genellikle geçmiş veri üzerinde doğruluk, hata ya da sıralama kalitesi gibi çevrimdışı ölçütlerle değerlendirilir. Bu ölçütler gereklidir ama yeterli değildir. Çevrimdışı veri, modelin canlıdaki kullanıcı davranışını nasıl etkileyeceğini göstermez; gecikme, arayüz etkisi, veri kayması ve kullanıcıların modele tepkisi ancak gerçek trafikte görünür.

Örneğin bir öneri modeli çevrimdışı veride daha isabetli çıkabilir, ama kullanıcılar önerilen ürünlere tıklamıyor olabilir. Ya da yeni bir arama sıralama modeli ilgili sonuçları daha iyi sıralar ama yanıt süresi uzadığı için kullanıcılar sayfadan ayrılır. Bu durumda gerçek iş sonucunu ölçen tek yol canlı karşılaştırmadır.

A/B testi bu karşılaştırmanın kontrollü halidir. Kullanıcıların bir kısmı mevcut modelle (kontrol), bir kısmı yeni modelle (deney) hizmet alır; sonuçlar aynı dönemde, aynı koşullarda ölçülür. Zaman içindeki doğal değişimler gruplara eşit yansıdığı için fark, modelden kaynaklanan etkiyi daha güvenilir gösterir.

Test tasarımı: hipotez, birim ve metrik

Teste başlamadan önce yazılı bir tasarım hazırlayın: • Hipotez: Yeni model, birincil metrikte kontrolden anlamlı biçimde iyidir. Hipotezi veriyi görmeden yazın. • Randomizasyon birimi: Kullanıcı, oturum ya da istek. Ürün modellerinde genellikle kullanıcı birimi seçilir; aksi halde aynı kişi farklı oturumlarda farklı modelle karşılaşır ve deneyimi bozulur. • Birincil metrik: Karar bu metriğe göre verilir. Dönüşüm, tıklama, sepet değeri ya da çözüm süresi gibi iş sonucunu ölçen bir metrik olmalıdır; model hatası gibi çevrimdışı ölçüt tek başına birincil metrik olmamalıdır. • Koruma metrikleri: Başka bir şeyin bozulmadığını izler: yanıt süresi, hata oranı, şikayet, iptal. Birincil metrik iyileşirken koruma metriği bozuluyorsa model üretime alınmaz. • Süre ve örneklem: Tahmini etki büyüklüğüne ve metriğin değişkenliğine göre gereken kullanıcı sayısı önceden hesaplanır, test bu miktara ulaşana kadar sürdürülür.

Tasarım belgesi, sonuç geldikten sonra hedefin kaydırılmasını engelleyen kayıt işlevi görür.

Trafik bölme: kullanıcıları gruplara nasıl ayırırsınız?

Atamanın rastgele ve tutarlı olması gerekir. Rastgele, gruplar arasında sistematik bir fark olmaması demektir. Tutarlı, aynı kullanıcının test boyunca hep aynı gruba düşmesi demektir.

Uygulamada bu genellikle kullanıcı kimliğinin deney adıyla birlikte özetlenip (hash) sonucuna göre gruba atanmasıyla yapılır. Aynı kimlik aynı özeti ürettiği için kişi her istekte aynı modele yönlenir. Deney adı karıştırmaya dahil edilirse aynı kullanıcı farklı testlerde farklı gruplara düşer ve testler birbirini kirletmez.

Güvenli başlangıç için kademeli açılış önerilir: önce küçük bir trafik yüzdesiyle yeni modeli başlatıp hata ve gecikme gibi temel sağlık göstergelerini izleyin, sorun yoksa payı artırın. Bu, kötü bir modelin tüm kullanıcılara ulaşmasını engeller.

Bölme sonrası mutlaka grup dağılımını kontrol edin. Beklenen bölme oranı ile gerçek kullanıcı sayıları arasında anlamlı fark varsa, atama mekanizmasında bir hata vardır ve sonuçlar güvenilmez. Bu kontrol örnek oranı uyuşmazlığı kontrolü olarak adlandırılır.

Analiz ve karar kuralı

Test süresi dolduğunda birincil metrik kontrol ve deney grupları için karşılaştırılır. Oran metriklerinde (dönüşüm gibi) oranların farkı için, sürekli metriklerde (sepet değeri gibi) ortalamaların farkı için uygun istatistiksel test kullanılır. Sonuçta yalnız anlamlı mı sorusuna değil, farkın büyüklüğüne ve güven aralığına bakın. Çok büyük bir örneklemde küçük bir fark istatistiksel olarak anlamlı çıkabilir ama iş açısından önemsiz olabilir.

Karar kuralını testten önce yazın. Örneğin: Birincil metrik önceden belirlenen asgari iyileşmeyi aşar ve hiçbir koruma metriği bozulmazsa yeni model yayına alınır. Kural önceden varsa sonucu yorumlama sırasında kendi lehinize esnetmek zorlaşır.

Birden fazla metrik, birden fazla grup ya da birden fazla zaman kesiti incelerseniz şans eseri anlamlı çıkan sonuç bulma ihtimali artar. Bu yüzden analizi önceden belirlediğiniz metrik ve kesitlerle sınırlayın, başka bulgular için ek testler planlayın.

Test süresince sonuçlara sürekli bakıp anlamlı çıktığı anda durdurmak yaygın bir hatadır. Bu yöntem yanlış pozitif oranını şişirir. Ya ardışık analiz yöntemleri kullanın ya da önceden belirlenen süreyi bekleyin.

Örnek: öneri modelinin yenisiyle karşılaştırılması

Örneğin bir e-ticaret şirketi ürün öneri modelinin yeni sürümünü üretime almak istiyor. Çevrimdışı değerlendirmede yeni model daha iyi çıktı.

Tasarım. Birim kullanıcıdır. Birincil metrik, önerilen ürünlerden gelen sepete ekleme dönüşümüdür. Koruma metrikleri sayfa yanıt süresi, hata kaydı ve iade oranıdır.

Uygulama. Başlangıçta küçük bir kullanıcı payı yeni modele yönlendirilir; sağlık göstergeleri temiz olunca pay artırılır ve beklenen oranda sabitlenir. Kullanıcı sayıları beklenen dağılıma uyuyor mu diye kontrol edilir.

Analiz. Süre dolduğunda yeni model birincil metrikte anlamlı bir iyileşme gösteriyor, ancak yanıt süresi koruma metriğinde bozulma var. Bu durumda karar yayına almak değil; önce gecikme sorununun çözülmesi ve testin yeniden yapılmasıdır.

Bu örnek şunu gösterir: çevrimdışı iyileşme iş sonucunun güvencesi değildir, ve tek metrik yerine bir metrik seti kullanmak hatalı kararları önler.

Yaygın tuzaklar ve ileri senaryolar

Model A/B testlerinde tekrar eden sorunlar: • Yenilik etkisi: Kullanıcılar yeni bir davranışı ilk günlerde merak nedeniyle farklı kullanır. Test süresi, bu geçici etkinin sönmesine yetecek kadar uzun olmalı. • Gruplar arası etkileşim: Kullanıcıların birbirini etkilediği ürünlerde (pazar yeri, sosyal ağ) bir grubun davranışı diğerini kirletebilir. Bu durumda kullanıcı yerine bölge ya da zaman dilimi gibi daha büyük birimler düşünülür. • Geri besleme döngüsü: Modelin kararları sonraki eğitim verisini şekillendiriyorsa, test dönemi tek başına gerçek etkiyi göstermeyebilir. • Gürültülü metrik: Varyansı yüksek metriklerde ön veri kullanarak gürültüyü azaltan yöntemler kullanılabilir.

İleri senaryolarda büyük dil modellerinin karşılaştırılması ayrı bir zorluk getirir; çünkü çıktı kalitesini ölçmek tek bir sayı ile mümkün değildir. İnsan değerlendirme, otomatik hakem modeller ve kullanıcı davranışı göstergeleri birlikte kullanılır. Öneri sistemlerinde ise kullanıcıya birden fazla modelin sonuçlarını karıştırarak sunan yöntemler ve çok kollu bandit yaklaşımları, trafiği iyi performans gösteren modele dinamik olarak yönlendirmek için kullanılır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

A/B Test ile Model Karşılaştırma programı, modelini üretime almadan önce kanıt toplamak isteyen veri bilimciler, makine öğrenmesi mühendisleri ve ürün analistleri için kurgulanmıştır. Modül başlıkları A/B test temellerini ve makine öğrenmesi uygulamasını, trafik bölme ve dağıtım mekanizmalarını, istatistiksel analiz ve karar ölçütlerini, metrik tasarımı ve gürültü azaltmayı, kurumsal A/B test altyapısını ve büyük dil modelleri ile öneri sistemleri gibi ileri senaryoları içerir.

Model Karşılaştırma ve Değerlendirme programı ise model seçimi, değerlendirme çerçevesi tasarımı, kıyaslama veri setleri ve hallüsinasyon ile önyargı testleri gibi çevrimdışı değerlendirme tarafını kapsar. Bu programlar birlikte, bir modelin hem laboratuvarda hem canlıda nasıl değerlendirileceğini bütünlüklü ele alır.

Kurumsal ekipler için bu konular, model yayına alma sürecinin standart bir kapısını tanımlamak için ortak bir zemin sunar.