Veri Bilimi Çalışmasının İş Etkisini Ölçmek ve Yönetime Sunmak

Model başarısı ile iş etkisi aynı şey değildir

Veri bilimi projelerinde en sık yaşanan kopukluk şudur: ekip modelin doğruluk ya da hata metriğini sunar, yönetim ise "bu bize ne kazandırdı" diye sorar. İki taraf da haklıdır, çünkü ölçtükleri şey farklıdır. Model metriği, tahmin kalitesini söyler. İş etkisi ise o tahminin bir karara dönüşüp dönüşmediğini ve kararın bir sonucu değiştirip değiştirmediğini söyler.

Örneğin müşteri kaybı tahmin eden bir model teknik olarak çok iyi olabilir. Ama satış ya da müşteri ilişkileri ekibi listeyi kullanmıyorsa, kullansa bile doğru müşteriye doğru teklifi sunmuyorsa iş etkisi sıfırdır. Bu yüzden etki ölçümü, modelin bittiği yerde değil, proje başlamadan önce tasarlanır.

Çerçeveyi kısaca şöyle kurun: model metriği, kullanım metriği, iş metriği. Modelin iyi olması şarttır ama yetmez; kullanılması gerekir; kullanıldığında bir iş sonucunu değiştirmesi gerekir.

Başlamadan önce etki hipotezini yazın

Etkiyi sonradan ölçmenin en büyük sorunu, neyle kıyaslanacağının belli olmamasıdır. Bu yüzden proje başında bir etki hipotezi yazın:

• Hangi karar iyileşecek? (Örneğin hangi müşteriye öncelikle ulaşılacağı, hangi ürün stoğunun artırılacağı.)
• Bu kararın sonucu hangi iş metriğiyle ölçülür? (Müşteri elde tutma, stok devir, işlem süresi, hata maliyeti.)
• Bugün bu karar nasıl veriliyor? Yani karşılaştırma tabanı nedir? (Mevcut kural, deneyimli bir çalışanın sezgisi, rastgele dağıtım.)
• Başarı için hangi değişim anlamlı sayılacak? Bunu iş sahibiyle birlikte kararlaştırın.

Hipotezi iş birimi sahibiyle birlikte yazmak ayrıca sahiplenmeyi sağlar. Etki rakamını sunan kişi veri bilimci olsa da rakamın kime ait olduğu, o iş biriminin metriğidir.

Etkiyi ölçme yöntemleri: temel çizgi ve kontrol grubu

En güvenilir yöntem, modeli kullanan grupla kullanmayan grubu aynı dönemde karşılaştırmaktır. Rastgele ayrılmış bir kontrol grubu (A/B testi), farkın modele bağlı olduğunu en net gösterir. Rastgele ayırma mümkün değilse şu yaklaşımlar kullanılır:

• Önce-sonra karşılaştırması: Basittir ama mevsimsellik, kampanya veya piyasa değişimi gibi etkenleri ayıramaz. Bu nedenle yalnızca ek kanıtla birlikte sunulmalıdır.
• Eşleştirilmiş gruplar: Benzer özellikteki birimlerden biri modeli kullanır, diğeri kullanmaz.
• Aşamalı yayılım: Modelin bölge ya da ekip bazında farklı zamanlarda devreye alınması, doğal bir karşılaştırma sağlar.
• Geri dönük (backtest) senaryo: Modelin geçmiş verideki kararları ile gerçekte alınan kararların kıyaslanması. Karar etkisini canlı veriden değil, tahminden çıkardığı için ihtiyatla yorumlanmalıdır.

Hangi yöntem seçilirse seçilsin, belirsizlik de rapora girmelidir. "Etki şu kadar" yerine "etki muhtemelen şu aralıkta, şu varsayımlarla" demek, yönetimin güvenini daha sağlam kurar.

Somut bir kurgu örneği: bir talep tahmin modeli stok kararlarını yönlendiriyor. Modeli bazı mağazalarda devreye alıp benzer mağazaları mevcut yöntemle bırakırsınız; stokta kalmama ve fazla stok maliyetini iki grupta karşılaştırırsınız. Fark, modelin etkisine en yakın tahmindir. Dönem boyunca kampanya veya mevsim farkı iki gruba da aynı şekilde yansıdığı için karşılaştırma korunur.

Maliyeti ve riski de hesaba katın

Etki yalnızca kazançtan ibaret değildir. Gerçek değer, kazançtan modelin kurulum, işletim ve bakım maliyetinin çıkarılmasıyla anlaşılır. Veri hazırlığı, altyapı, izleme, yeniden eğitim ve bu işi yürüten ekibin zamanı bu maliyetin parçalarıdır.

Risk tarafında şunlar sorulmalıdır: • Model yanlış tahmin ettiğinde sonuç ne olur ve bunun maliyeti nedir? • Veri değişirse model bozulur mu, bunu kim izler? • Kullanıcılar modele aşırı güvenir veya hiç güvenmezse ne olur? • Düzenleyici ve etik açıdan dikkat gereken bir tarafı var mı?

Maliyet ve riski ihmal eden bir etki hesabı, ilk itirazda çöker. Yönetim sunumunda bunları açık göstermek, çalışmayı daha inandırıcı kılar. Abartılmış tek bir rakam yerine, makul ve savunulabilir bir çerçeve tercih edilir.

Yönetime sunum kurgusu: önce karar, sonra kanıt

Yönetim, yöntemi değil kararı görmek ister. Sunumu şu sırayla kurun:

• Soru ve karar: Hangi iş sorusuna cevap aranıyor, sizden hangi karar bekleniyor?
• Ana sonuç: Etki tek cümlede, iş diliyle.
• Kanıt: Karşılaştırmanın nasıl yapıldığı, grafiklerle, birkaç sayfada.
• Sınırlar ve varsayımlar: Neyi bilmediğimiz, sonucu neyin bozabileceği.
• Öneri ve sonraki adım: Devreye alma, genişletme, durdurma ya da ek test.
• Ek: Teknik ayrıntı, model metrikleri, veri tanımları.

Anlatıyı kurarken hedef kitleyi düşünün: finans yöneticisi maliyet ve geri dönüşe, operasyon yöneticisi süreçteki değişime, üst yönetim ise stratejik sonuca bakar. Aynı çalışma farklı hedef kitleye farklı vurguyla sunulur. Görsellerde tek mesajlı, etiketli, okunaklı grafikler tercih edilmeli; karmaşık model çıktıları ekte kalmalı.

Sunum öncesi şu sınamayı yapın: çalışmayı hiç bilmeyen bir yönetici, ilk sayfaya bakıp neye karar vermesi gerektiğini söyleyebiliyor mu? Söyleyemiyorsa ilk sayfa fazla teknik veya fazla geneldir. Grafiklerde başlığı bulgu cümlesi yapın; örneğin konu başlığı yerine sonucun kendisini yazın.

Sık yapılan sunum hataları

• Teknik metriklerle başlamak: Yönetim modelin yapısına ilgi duymadan önce işe etkisini bilmek ister.
• Önce-sonra farkını nedensel kanıt gibi sunmak: Mevsimsellik ve diğer müdahaleler ayrıştırılmadan etki tek nedene bağlanır.
• Belirsizliği saklamak: Tek bir kesin rakam, ilk sorguda savunulamaz.
• Kullanım verisini ihmal etmek: Model kullanılmıyorsa etki yoktur; benimsenme oranı rapora girmelidir.
• Sorumluluğu belirsiz bırakmak: Etkiyi gerçekleştirecek ekip adı sunumda geçmiyorsa karar çıkmaz.
• Sonraki adımı vermemek: "Bilgi olsun" sunumları genellikle sonuçsuz kalır.

İyi sunum, dinleyiciyi kararsız bırakmaz. Ona somut bir öneri ve o öneriyi reddetmenin ya da ertelemenin sonucunu gösterir.

Bu beceriyi Mindset programlarında nerede çalışırsınız

Mindset'in Veri Bilimci Programı (Yapay Zeka Odaklı) içinde "Veri Bilimi İletişimi ve Etki Ölçümü" ve "Veri Bilimci Kariyer Atölyesi ve Proje" başlıkları bu konuya doğrudan temas eder. Veri İletişimi ve Raporlama Programı ise hedef kitle analizi, metrik seçimi ve rapor mimarisi, anlatı kurma ve bulguyu aksiyona bağlama başlıklarını, yönetim raporu ve pano tasarımı ile birlikte kapsar.

İlk program, veri bilimci olarak çalışan ya da bu role geçmeyi düşünenler için; ikincisi, veriyi yönetime aktaran analistler, raporlama sorumluları ve iş birimi yöneticileri için uygundur.