A/B testi yapma rehberi: hipotez kurmaktan sonucu uygulamaya

A/B testi nedir ve ne zaman yapılır?

A/B testi, bir sayfanın, e-postanın ya da reklamın iki sürümünü aynı dönemde ziyaretçilerin farklı gruplarına göstererek hangi sürümün hedef ölçütte daha iyi sonuç verdiğini ölçen kontrollü bir deneydir. Sürümlerden biri mevcut halidir (kontrol), diğeri tek bir değişiklik içeren yeni halidir (varyant). Ziyaretçiler rastgele iki gruba ayrıldığı için, sonuçtaki fark değişikliğe atfedilebilir.

A/B testi her soru için doğru araç değildir. Trafik çok azsa sonuç güvenilir çıkmaz; değişiklik bariz biçimde bozuksa test yapmadan düzeltmek daha hızlıdır; değişikliğin etkisi uzun vadede ortaya çıkıyorsa kısa bir test yanıltıcı olabilir. Test, makul seçenekler arasında kararsız kalındığında, ölçülebilir bir hedef varken ve yeterli trafik bulunduğunda anlamlıdır.

Bu yöntem, kanaate dayalı tartışmaları veriye dayalı karara çevirir. Tasarım ekibi ile pazarlama ekibinin hangi başlığın daha iyi olduğunu tartışması yerine, ziyaretçilerin davranışı belirleyici olur. Ancak testin ürettiği bilgi yalnızca test edilen soruya cevap verir; sonuç, daha geniş bir stratejinin parçası olarak yorumlanmalıdır.

Önce hipotez: ne değiştiriyorsunuz ve neden?

Her test bir hipotezle başlar. İyi bir hipotez şu yapıdadır: şu gözleme dayanarak, şu değişikliği yaparsak, şu kitlede, şu ölçütte, şu yönde bir fark olur, çünkü şu nedenle. Örneğin kurgusal bir senaryoda bir eğitim kurumunun kayıt formundaki alan sayısı fazla olabilir; hipotez, alan sayısını azaltmanın form tamamlama oranını artıracağı yönünde kurulur.

Hipotezin kaynağı veridir: oturum kayıtları, ısı haritaları, kullanıcı görüşmeleri, destek talepleri ve analitik verisi nerede sorun olduğunu gösterir. Rastgele fikirlerle test yapmak hem trafik hem zaman israfıdır. Fikirleri önceliklendirirken etki potansiyeli, güven düzeyi ve uygulama kolaylığı birlikte değerlendirilir.

Bir testte tek bir şey değiştirilir. Başlık, görsel ve düğme rengi aynı anda değişirse sonuç iyi çıktığında hangisinin etki ettiği bilinemez. Birden çok değişkeni birlikte sınamak gerekiyorsa çok değişkenli test (multivariate) adı verilen ayrı bir yöntem kullanılır, ama bu çok daha fazla trafik gerektirir.

Başarı ölçütü ve örneklem büyüklüğü

Test başlamadan önce başarı ölçütü seçilir. Ana ölçüt, hipotezle doğrudan bağlantılı tek bir göstergedir: form tamamlama, satın alma, e-posta tıklama, kayıt gibi. Yardımcı ölçütler sonucun yan etkilerini izlemek içindir; örneğin tıklama artarken satın alma düşüyorsa kazanç görünürdeki bir kazançtır.

Örneklem büyüklüğü, sonucun rastlantıyla açıklanamayacak kadar güvenilir olması için gereken ziyaretçi sayısıdır. Şu değişkenlere bağlıdır: mevcut dönüşüm oranı, tespit etmek istediğiniz en küçük anlamlı fark ve kabul ettiğiniz belirsizlik düzeyi. Mevcut oran düşükse ya da küçük farkı yakalamak istiyorsanız gereken örneklem büyür. Bunu hesaplamak için örneklem büyüklüğü hesaplayıcıları kullanılır.

Test süresi de ziyaretçi sayısı kadar zamanla ilgilidir. Haftanın farklı günleri ve ayın farklı dönemleri farklı davranış üretir. Bu yüzden test, en azından tam hafta döngülerini kapsayacak şekilde planlanır. Hesaplanan örnekleme ulaşılmadan testin bitirilmesi, sonucun rastlantı olma olasılığını artırır.

Testi kurmak: rastgele bölme ve teknik kontrol

Testin kurulumunda ziyaretçilerin rastgele ve dengeli biçimde gruplara bölünmesi gerekir. Aynı kişi sayfayı yeniden ziyaret ettiğinde aynı sürümü görmelidir; aksi halde deneyim tutarsız olur ve ölçüm bozulur. A/B test araçları bu atamayı çerezler ya da kullanıcı kimlikleri üzerinden yapar.

Yayından önce teknik kontrol listesi uygulanır: • Kontrol ve varyant da tüm tarayıcı ve cihazlarda doğru görünüyor mu? • Ölçüm kodu her sürümde doğru olayı kaydediyor mu? • Sayfa yüklenme hızı sürümler arasında benzer mi? Yavaş bir varyant, tasarımdan bağımsız olarak kaybeder. • Sürümler arasında titreme (flicker) var mı? Kullanıcı önce eski sürümü, sonra yeni sürümü görüyorsa deney bozulur. • Trafik kaynakları gruplara dengeli dağılıyor mu?

Kurulum hatası, testin en pahalı hatalarındandır, çünkü sonuç geçerli görünür ama yanlıştır. Deney yayına alınmadan önce küçük bir kontrol dönemi ya da iç test yapmak bu riski azaltır. Eşzamanlı çalışan testlerin birbirini etkilememesine de dikkat edilir.

Testi çalıştırmak ve sonucu yorumlamak

Test çalışırken en sık yapılan hata, sonuçlara erkenden bakıp kazananı ilan etmektir. İlk günlerde sonuçlar çok oynaktır; bir varyant erken iyi görünüp sonra geriye düşebilir. Testin süresi önceden belirlenir ve bu süre dolmadan karar verilmez. Planlanan süre dolmadan sonuçlara göre durdurmak, istatistiksel güveni bozar.

Sonuç yorumlanırken şu sorular sorulur: fark istatistiksel olarak anlamlı mı, ve pratik olarak anlamlı mı? İstatistiksel anlamlılık, farkın rastlantı olmadığına dair güvendir; pratik anlamlılık, farkın iş açısından önemli olup olmadığıdır. Çok büyük örneklemlerde çok küçük farklar da anlamlı çıkabilir, ama uygulama maliyetini karşılamayabilir.

Sonuçlar segmentlere ayrılarak da incelenir: yeni ziyaretçiler ile geri dönenler, mobil ile masaüstü, farklı trafik kaynakları. Ancak çok fazla segmente bakmak, rastlantısal bir desen bulma riskini artırır; segment analizi yeni hipotez üretmek için kullanılır, kesin karar için değil. Kazanan çıkmayan test de değerlidir, çünkü hangi fikrin işe yaramadığını gösterir.

Sık yapılan hatalar

A/B testlerinde sıkça karşılaşılan hatalar şunlardır: • Yetersiz trafikle test yapmak ve ortaya çıkan rastlantısal farka güvenmek. • Testi erkenden durdurmak. • Aynı anda birçok değişiklik yapıp neyin işe yaradığını bilememek. • Test sonrasında ölçüt değiştirmek; kazanan çıkmayınca başka bir göstergeye bakıp başarı bulmaya çalışmak. • Mevsimsel etkileri ve kampanya dönemlerini gözetmemek. • Sonucu kaydetmemek; aynı fikir bir süre sonra yeniden test edilir. • Yalnızca tıklamayı ölçüp iş sonucuna bakmamak.

Bir diğer yaygın hata da test kültürü eksikliğidir: tek bir testin sonucu kuruma yayılmaz, her ekip aynı hataları yeniden yapar. Bu yüzden test kayıtları, yani hipotez, sonuç ve öğrenme, ortak bir arşivde tutulur. Kazanan sürümün uygulanması da bir iştir; testte kazanan sürümün kalıcı olarak yayına alındığından emin olunmalıdır.

Öğrenme yolu ve kullanılan araçlar

A/B testi öğrenmeye temel istatistik kavramlarıyla başlanır: ortalama, oran, varyans, güven aralığı, istatistiksel anlamlılık ve örneklem büyüklüğü. Bu kavramlar test araçlarının arka planındaki mantığı anlamayı sağlar; araç bir sonucu "anlamlı" diye işaretlediğinde bunun ne anlama geldiğini bilmek gerekir.

Sonraki adım, analitik ve ölçüm becerisidir: dönüşüm olaylarının nasıl tanımlandığı, hangi verilerin hangi araçtan geldiği. Ardından A/B test araçları, e-posta platformlarının kendi test özellikleri ve reklam platformlarının deney araçları denenir. Son aşamada ise test programı yönetimi gelir: fikir havuzu, önceliklendirme, test takvimi, sonuç arşivi ve bulguları kuruma yayma.

Öğrenmenin en etkili yolu küçük bir testi baştan sona yapmaktır. E-posta konu satırı testi, düşük riskli ve hızlı sonuç veren bir başlangıçtır; trafik arttıkça açılış sayfası testlerine geçilir.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

A/B Test ile Pazarlama Optimizasyonu programı, test hipotezi ve kapsam belirleme, A/B test bilimi ve mantığı, e-posta pazarlama testleri, landing page ve web testleri, reklam ve kanal testleri ile sonuç analizi ve ölçekleme başlıklarını işler.

Conversion Rate Optimization (CRO) programı ise kullanıcı araştırması, veri analizi ve hipotez oluşturma, landing page ve form optimizasyonu, A/B test süreci ve istatistik ile CRO programını ölçeklendirme konularını kapsar.