Artımsal etki (incrementality) testi adım adım

Incrementality testi neyi ölçer?

Atribüsyon raporları dönüşümün hangi kanala yazıldığını söyler; ancak o dönüşümün reklam olmasaydı da gerçekleşip gerçekleşmeyeceğini söylemez. Artımsal etki testi tam bu soruyu cevaplar: Reklamı gören grupta, reklamı görmeyen benzer bir gruba kıyasla ek olarak ne kadar dönüşüm oluştu?

Bu fark, reklamın nedensel etkisidir. Örneğin markanızı zaten arayan kişilere gösterilen marka kelime reklamı, raporda yüksek dönüşüm alabilir ama bu kişiler reklam olmasa da organik sonuçla gelmiş olabilir. Atribüsyon bu dönüşümü reklama yazar, artımsal etki testi ise yalnızca gerçekten ek olan kısmı ölçer.

Test, kanal ve kampanya bütçesi kararlarında özellikle şu iki durumda değerlidir: yüksek harcama yapılan ama gerçek katkısı belirsiz kanallarda ve atribüsyonun görünürlük kaybettiği ortamlarda.

Temel mantık: test grubu, kontrol grubu, rastgele bölme

Testin kalbinde iki grubun karşılaştırılması vardır. Test grubu reklamı görür, kontrol grubu görmez. İki grubun başlangıçta benzer olması gerekir; bu da kişilerin ya da bölgelerin rastgele atanmasıyla sağlanır. Gruplar farklı olursa, ortaya çıkan fark reklamdan değil, grupların başlangıç farkından gelir.

Fark şu şekilde okunur: Test grubundaki dönüşüm oranından kontrol grubundaki oran çıkarılır, kalan değer reklamın katkısıdır. Bu katkı, harcamayla birleştirildiğinde ek dönüşüm başına gerçek maliyet bulunur ve bu değer atribüsyon raporundaki maliyetle karşılaştırılır. Aradaki fark, kanalın gerçekte ne kadar ek değer yarattığını gösterir.

Temel kural, bölmenin reklam başlamadan önce yapılması ve test boyunca korunmasıdır.

Yöntemler: hangi test hangi duruma uygun?

Kullanım koşuluna göre üç ana yaklaşım vardır.

• Kullanıcı bazlı holdout: Hedef kitlenin bir bölümü rastgele ayrılır ve reklam gösterilmez. Platformların sunduğu dönüşüm etkisi ölçüm araçları bu mantıkla çalışır. Kullanıcı düzeyinde veri ve platform desteği gerekir.
• Coğrafi (geo) test: Bölgeler (il, şehir, pazar) gruplara ayrılır; bazılarında reklam sürer, bazılarında durdurulur ya da bütçe değiştirilir. Kullanıcı düzeyinde izleme mümkün değilse veya çevrimdışı satışlar da ölçülecekse uygundur. Bölgelerin benzer olması için geçmiş veriyle eşleştirme yapılır.
• Zaman bazlı karşılaştırma: Reklamı belirli bir dönem durdurup önceki ve sonraki dönemi kıyaslamak. En kolay yoldur ama mevsimsellik ve diğer kampanyalardan en çok etkilenen yoldur; tek başına güvenilmez.

Çoğu işletme için doğru başlangıç, uygulanabilir ve temiz bir tasarım kurabildiği yöntemdir.

Adım adım test planı

• Hipotezi yazın. Örneğin: Marka kelime reklamı, organik sonucun zaten yakaladığı dönüşümün üzerine ek satış getirmiyor.
• Ana metriği seçin: satış, kayıt, mağaza ziyareti gibi tek bir sonuç belirleyin.
• Yöntemi seçin: holdout, geo ya da kombinasyon.
• Grupları oluşturun ve rastgele atayın. Geo testte bölgeleri geçmiş performansa göre eşleştirin.
• Etkiyi görebilecek yeterli süre ve hacmi planlayın. Küçük örneklemde fark gürültüden ayırt edilemez; gerekli hacmi istatistiksel güç hesabıyla belirleyin.
• Test boyunca diğer değişkenleri sabit tutun: fiyat değişikliği, büyük promosyon ya da yeni kanal açılışı sonucu bozar.
• Analiz edin: iki grup arasındaki farkı ve belirsizlik aralığını raporlayın.
• Sonucu karara bağlayın: bütçeyi artır, azalt, koru ya da testi tekrarla.

Örnek: marka kelime reklamını durdurma testi

Örneğin bir e-ticaret şirketi, marka adı aramalarına verdiği reklamın raporda çok düşük maliyetle dönüşüm getirdiğini görüyor. Soru şudur: Bu reklam kapatılırsa bu satışlar kaybolur mu?

Test şöyle tasarlanır. Satış bölgeleri geçmiş satış hacmine göre benzer çiftlere ayrılır. Her çiftin biri rastgele test grubuna, diğeri kontrol grubuna atanır. Test bölgelerinde marka kelime reklamı durdurulur, kontrol bölgelerinde sürer. Belirlenen süre boyunca iki gruptaki toplam satış izlenir.

Sonuç iki gruptaki satış farkı küçükse, reklam ek satış yaratmıyordur ve bütçe başka kanala kaydırılabilir. Fark büyükse reklam gerçekten ek satış getiriyordur. Bu sonuç, atribüsyon raporuyla yapılan yorumdan farklı olabilir; test, raporun yanıltıcı olduğu yerleri gösterir.

Sık yapılan tasarım hataları

• Rastgele olmayan bölme: Kolay ulaşılan ya da en yüksek performanslı bölgeleri teste koymak sonucu çarpıtır.
• Çok kısa test: Dönüşüm gecikmesi olan ürünlerde etki henüz yansımamıştır.
• Aynı anda birden çok değişiklik: Test sırasında yeni kampanya ya da fiyat değişikliği sonucu yorumlanamaz hale getirir.
• Kontrol grubunun sızması: Kontrol bölgesindeki kullanıcılar başka cihaz ya da kanaldan reklam görürse fark küçülür.
• Yalnızca tıklama ya da gösterim ölçmek: Ana metrik iş sonucu olmalı.
• Tek testle kalıcı karar: Sonuç belirli dönemin ve bütçe seviyesinin sonucudur. Önemli kararlarda test tekrarlanmalı, başka yöntemlerle birlikte okunmalıdır.
• Sonucu atribüsyonla çelişirse yok saymak: Çelişki, öğrenme fırsatıdır.

Incrementality ve atribüsyon birlikte nasıl kullanılır?

Artımsal etki testi atribüsyonun yerine geçmez, onu kalibre eder. Günlük kararlar için atribüsyon verisi sürekli akar ama kanalın gerçek katkısını abartabilir. Periyodik artımsal etki testleri, bu abartının ne kadar olduğunu gösterir ve atribüsyon modeline düzeltme katsayısı olarak uygulanabilir. Medya karması modelleme (MMM) ile birlikte kullanıldığında ise modelin varsayımlarını gerçek deneylerle doğrulama imkânı sağlar.

Mindset'in Pazarlama Atribüsyon Modellemesi eğitimi atribüsyon temelleri ve müşteri yolculuğu, veri odaklı ve algoritmik atribüsyon, media mix modeling ve incrementality testleri, platform bazlı atribüsyon araçları ve atribüsyon ile bütçe optimizasyonu modüllerini içerir. Performans pazarlama, pazarlama analitiği ve bütçe sorumlusu ekiplerin, raporlanan sonuç ile gerçek katkıyı birlikte okumasına yardımcı olur.