E-posta A/B testi: hipotezden karara test planı ve örnek senaryo

E-posta A/B testi neyi cevaplar?

E-posta A/B testi, bir kampanyanın A ve B sürümlerini listenin ayrı parçalarına gönderip hangisinin hedef göstergede daha iyi çalıştığını ölçmektir. Tek bir sorunun cevabını arar: bu değişiklik sonucu gerçekten etkiledi mi, yoksa fark rastlantı mıydı?

Sezgiyle verilen kararlar, kitleyi tanıyan bir pazarlamacının bile zaman zaman yanılmasına yol açar. Test, bu sezgiyi veriye çevirir ve her kampanyadan öğrenme biriktirir. Ancak testin değeri, doğru kurulmasına bağlıdır: yanlış kurulan test, yanıltıcı bir "kazanan" üretir ve yanlış kararı güçlendirir.

Neyi test edebilirsiniz?

E-postada test edilebilecek unsurlar etkilediği göstergeye göre gruplanır:

• Açılma oranını etkileyenler: konu satırı, gönderen adı, önizleme metni, gönderim günü ve saati.
• Tıklamayı etkileyenler: eylem çağrısı metni ve rengi, düğmenin yeri, görsel ile metin dengesi, e-postanın uzunluğu, tek sütun ile çok sütun düzeni.
• Dönüşümü etkileyenler: teklifin çerçevesi (ücretsiz kargo mu, indirim mi), açılış sayfası, kişiselleştirme düzeyi.

Açılma ve tıklama aynı testte karışmamalıdır. Konu satırı testinin sonucu açılma oranıyla; eylem çağrısı testinin sonucu tıklama ve dönüşümle okunur. Her testin tek bir birincil göstergesi olmalıdır.

Test planı: hipotezden karara

Bir test planı şu adımlarla yazılır:

• Hipotez: "Soru formundaki konu satırı, düz duyuru formundan daha yüksek açılma getirir çünkü hedef kitle somut bir sorunla uğraşıyor." Hipotezde neden olduğu da yazılır; böylece sonuç sadece rakam değil, bir öğrenme olur.
• Tek değişken: yalnız konu satırını değiştirin; aynı gönderim saati, aynı içerik, aynı gönderen adı. Aynı anda birden fazla unsuru değiştirirseniz farkın nedenini bilemezsiniz.
• Birincil gösterge: bu testte açılma oranı. İkincil göstergeleri (tıklama, çıkış) kontrol amaçlı izleyin.
• Kitle ve bölme: listeyi rastgele ayırın. Rastgelelik, bir sürümün daha aktif abonelere gitmesinin önüne geçer.
• Örneklem: her sürüme yeterli sayıda alıcı düşmelidir. Küçük örneklemde görülen fark gürültü olabilir.
• Karar kuralı: testi başlatmadan, ne kadar fark ve ne kadar süre sonunda kazananı seçeceğinizi yazın. Sonuç gelince kuralı değiştirmek, istenen cevabı bulmaya yol açar.
• Kayıt: sonucu, hipotezi ve çıkarılan dersi test günlüğüne yazın.

Örnek: bir e-posta bülteninde konu satırı testi

Örneğin bir eğitim platformu, ücretsiz bir e-kitabı duyuran bir kampanya gönderiyor. Plan:

• Hipotez: Fayda odaklı konu satırı, merak odaklı olandan daha çok açılır.
• Sürüm A: "Sepet kurtarma akışı için hazır şablon rehberi" (fayda).
• Sürüm B: "Sepetleri terk eden müşteriler neden dönmüyor?" (merak).
• Bölme: liste rastgele eşit parçalara ayrılır; her sürümün alıcı grubu eşit büyüklüktedir.
• Birincil gösterge: açılma. İkincil: tıklama (e-kitabı indirme bağlantısı).
• Karar: önceden belirlenen süre dolunca daha yüksek açılma ve en azından benzer tıklama getiren sürüm kazanır.

Sonuçta B daha çok açılmış ama tıklama düşükse, merak başlığı alıcıyı kandırmış olabilir; bu durumda kazanan A sayılır. Tek bir göstergeye bakmak yanıltıcıdır.

Hangi testle başlamalı? Öncelik sırası

Zamanınız ve örnekleminiz sınırlıysa testleri etkisi yüksek, kurulumu kolay olanlardan seçin:

• Konu satırı: kurulumu en kolay ve her kampanyada uygulanabilen testtir. Sonucu hızlı gelir; öğrenmeler diğer kampanyalara taşınır.
• Eylem çağrısı: metni, yeri ve görünürlüğü tıklama oranını doğrudan etkiler. Düğme metni "Rehberi indir" ya da "Şablonu al" gibi eylemi netleştirdikçe fark görülebilir.
• Gönderim günü ve saati: kitlenin davranışını gösterir ama mevsim ve gündem gibi dış etkenlerden etkilenir; tek testle genelleme yapmayın.
• Teklifin çerçevesi: aynı teklifin farklı sunuluşu (örneğin kargo avantajı ya da süre kısıtı) dönüşümü etkileyebilir. Bu test, kampanyanın fiyat politikası ve marj kararlarıyla birlikte düşünülmelidir.
• E-posta düzeni: tek sütun ile çok sütun, uzun ile kısa içerik. Bu testlerin kurulumu daha zahmetlidir; temel testlerden sonra denenmelidir.

Test günlüğü, bu sıralamanın yaşayan halidir. Her kayıtta test tarihi, hipotez, sürümler, kullanılan segment, birincil gösterge, sonuç ve bir sonraki adım bulunmalıdır. Ekipte yeni gelen biri günlüğü okuyarak hangi sorunun cevaplandığını ve hangisinin hâlâ açık olduğunu görebilmelidir.

Sonuçları okurken dikkat edilecek noktalar

• İstatistiksel anlamlılık: sürümler arasındaki farkın tesadüf olma ihtimalini ölçen bir yöntemdir. Birçok e-posta aracı bunu otomatik hesaplar; ancak aracın "kazanan" demesi, testin doğru kurulduğu anlamına gelmez.
• Açılma ölçümünün sınırı: posta istemcilerinin görselleri önceden yükleme uygulamaları açılma oranını şişirebilir. Konu satırı testi yapılırken tıklama gibi daha sağlam sinyallerle birlikte okuyun.
• Otomatik kazanan gönderimi: bazı araçlar, listenin küçük bir bölümünde testi yapıp kazananı kalan listeye gönderir. Bu hızlı bir yöntemdir ama küçük örneklemde yanılma riski taşır.
• Yenilik etkisi: yeni bir format başlangıçta dikkat çekebilir ama etkisi zamanla azalabilir. Önemli kararları tek teste dayandırmayın; tekrarlanan sonuç arayın.
• Segment farkı: bir segmentte kazanan sürüm, başka segmentte geçerli olmayabilir. Sonuçları segment bazında da inceleyin.

Sık yapılan hatalar

• Aynı anda birden fazla unsuru değiştirmek.
• Çok küçük bir listede test yapıp kesin hüküm vermek.
• Testi erken bitirip ilk gelen farkı kazanan ilan etmek.
• Rastgele ayırmak yerine "aktif aboneler A'ya, diğerleri B'ye" gibi yanlı bölme yapmak.
• Kazananı seçerken yalnız açılma oranına bakmak.
• Sonucu kaydetmemek; böylece aynı testi aylar sonra tekrar çalıştırmak.
• Her kampanyada test yapmaya çalışıp hiçbirinde yeterli örneklem bırakmamak. Az sayıda ama iyi tasarlanmış test, çok sayıda zayıf testten daha öğreticidir.

Bu becerinin Mindset programlarındaki yeri

Mindset'in E-posta Pazarlama (İleri) programı, E-posta Analitik ve ROI Ölçümü ile Kişiselleştirme ve Dinamik İçerik başlıklarını içerir. A/B testi bu alanların birleştiği yerdedir: neyin test edileceği içerik tarafından, nasıl okunacağı ölçüm tarafından belirlenir.

Pazarlama ve CRM ekipleri için bu program, test alışkanlığını bireysel bir deneyden çıkarıp kayıt tutulan ve ekipçe paylaşılan bir çalışma biçimine dönüştürmeye yardımcı olabilir.