A/B Testi ve Kullanılabilirlik Testi: "Hangisi" ile "Neden" Sorularının Farkı

Ortak zemin: ikisi de tahmin yerine kanıt ister

A/B testi ve kullanılabilirlik testi, ürün ekiplerinin "bence kullanıcılar bunu sever" türünden tahminleri sınamak için kullandığı iki yöntemdir. İkisi de bir tasarım kararını kullanıcı davranışına dayandırmayı amaçlar ve ikisi de UX tasarımcısı, ürün yöneticisi, büyüme ekibi ve geliştiricilerin ortak çalışmasıyla yürür.

Benzerlik burada biter. A/B testi bir deneydir: kullanıcılar rastgele iki gruba ayrılır, her grup farklı bir sürüm görür ve önceden seçilen bir ölçüt, örneğin dönüşüm ya da tıklama, iki grup arasında karşılaştırılır. Kullanılabilirlik testi ise bir gözlemdir: az sayıda temsilî kullanıcıya gerçekçi görevler verilir, ne yaptıkları, nerede durakladıkları ve ne söyledikleri izlenir.

Bu yüzden iki yöntemi rakip gibi görmek yanıltıcıdır. A/B testi büyük ölçekte davranışın sonucunu ölçer; kullanılabilirlik testi küçük ölçekte davranışın nedenini gösterir. Bir ekip hangi soruyu sorduğunu bilirse, yöntem seçimi kendiliğinden netleşir.

Ölçüt ölçüt iki test

• Ölçüt: Yanıtladığı soru. A/B testi: hangi sürüm hedef davranışı daha çok üretiyor? / Kullanılabilirlik testi: kullanıcılar görevi tamamlayabiliyor mu, nerede ve neden zorlanıyor?
• Ölçüt: Veri türü. A/B testi: nicel; oranlar ve farklar. / Kullanılabilirlik testi: ağırlıkla nitel; gözlem notları, alıntılar, görev başarısı.
• Ölçüt: Katılımcı. A/B testi: siteye ya da uygulamaya gelen gerçek kullanıcılar, genellikle test edildiklerini bilmeden. / Kullanılabilirlik testi: hedef kitleyi temsil eden, bilerek katılan az sayıda kişi.
• Ölçüt: Ön koşul. A/B testi: iki sürümün de yayında olması ve anlamlı sonuç için yeterli trafik. / Kullanılabilirlik testi: tıklanabilir bir prototip ya da kâğıt taslak bile yeterlidir.
• Ölçüt: Sonucun derinliği. A/B testi: kazananı söyler, nedenini söylemez. / Kullanılabilirlik testi: nedeni gösterir, sorunun ne kadar kullanıcıyı etkilediğini kesin olarak ölçmez.
• Ölçüt: Kör nokta. A/B testi: yalnız sınadığınız seçenekleri kıyaslar; ikisinin de taşıdığı sorunu göremez. / Kullanılabilirlik testi: küçük örneklem nedeniyle ince performans farklarını yakalayamaz.

Tablodaki son iki satır, iki yöntemin birbirini neden tamamladığını özetler: birinin kör noktası, diğerinin güçlü olduğu yerdir.

Hangi soru, hangi yöntem

Yöntem seçimini kolaylaştırmanın yolu, soruyu açıkça yazmaktır. Bir sorunun neden var olduğunu bilmiyorsanız önce gözleme ihtiyacınız vardır. Sorunun nedenini biliyor ve iki çözüm arasında karar vermek istiyorsanız deneye ihtiyacınız vardır.

Örneğin bir ödeme sayfasında terk oranı yüksekse, analitik size kullanıcıların nerede ayrıldığını gösterir ama nedenini söylemez. Kullanılabilirlik testinde katılımcıların kargo seçeneğini bulamadığını ya da bir hata mesajını anlamadığını görebilirsiniz. Bu gözlem bir tasarım çözümü doğurur. Çözümün gerçekten terki azaltıp azaltmadığını ise ancak A/B testiyle, gerçek trafikte eski sürümle karşılaştırarak bilirsiniz.

Tersi de geçerlidir: bir buton metninin iki varyantı arasında karar vermek için kullanılabilirlik testi düzenlemek, az sayıda katılımcıyla güvenilir bir fark yakalayamayacağı için verimsizdir. Burada doğru araç A/B testidir.

Ürün geliştirme evrelerinde iki testin yeri

İki yöntemin ne zaman kullanılacağı, ürünün hangi evrede olduğuna da bağlıdır. Fikir ve taslak evresinde ortada ölçülecek trafik yoktur; burada kullanılabilirlik testi, kâğıt taslak ya da düşük doğruluklu prototip üzerinde bile kavramın anlaşılıp anlaşılmadığını gösterir.

Yüksek doğruluklu prototip evresinde kullanılabilirlik testi en çok değeri üretir: akışlar, etiketler ve hata durumları gerçeğe yakın biçimde sınanır, düzeltmeler henüz kod yazılmadan yapılır. Yayına çıkmadan hemen önce kısa bir kullanılabilirlik turu, son dakika değişikliklerinin yeni bir sorun yaratıp yaratmadığını kontrol eder.

Ürün yayına çıkıp trafik oluştuğunda A/B testi devreye girer. Bu evrede kullanılabilirlik testi bırakılmaz; A/B sonuçları beklenmedik bir şey gösterdiğinde, örneğin kazanması beklenen sürüm kaybettiğinde, nedenini anlamak için yine gözleme dönülür.

Bir kayıt formu üzerinden iki yöntemin katkısı

Bir eğitim platformunun ücretsiz deneme kayıt formunu düşünün. Analitik, formu açanların önemli bir kısmının formu tamamlamadan ayrıldığını gösteriyor. Ekip içinde iki görüş var: biri formun çok uzun olduğunu, diğeri şifre kurallarının kafa karıştırdığını düşünüyor.

Kullanılabilirlik testinde hedef kitleden birkaç kişiye "deneme hesabı açın" görevi verilir ve sesli düşünmeleri istenir. Gözlemde katılımcıların form uzunluğundan değil, şifre kurallarının ancak hata verildikten sonra gösterilmesinden yakındığı görülür. Bir katılımcı da telefon numarası alanının neden zorunlu olduğunu sorar ve güvensizlik duyar. Bu iki bulgu, ekip içindeki tartışmayı tahminden çıkarıp somut bir tasarım önerisine dönüştürür: şifre kurallarını alanın yanında baştan göstermek ve telefon alanını isteğe bağlı yapmak.

Yeni form tasarlandıktan sonra A/B testi kurulur: ziyaretçilerin bir kısmı eski formu, diğerleri yeni formu görür ve ölçüt kayıt tamamlama olur. Test, değişikliğin gerçek trafikte kayıtları artırıp artırmadığını gösterir. Sonuç beklenenden zayıf çıkarsa ekip yeniden gözleme döner; belki de asıl engel formdan önceki sayfadadır.

Bu örnekte iki yöntem farklı işler yapar: kullanılabilirlik testi hangi değişikliğin denenmesi gerektiğini bulur, A/B testi o değişikliğin iş sonucuna etkisini kanıtlar.

Birlikte kullanırken dikkat edilecekler

İki yöntemi birlikte kullanan ekiplerin karşılaştığı en yaygın sorun, bulguların ayrı ekiplerde kalmasıdır. Kullanılabilirlik araştırması tasarım ekibinde, A/B sonuçları büyüme ya da pazarlama ekibinde kalırsa, kimse bir deneyin neden kaybettiğini ya da bir gözlemin gerçek kullanımda ne kadar önemli olduğunu birleştirmez.

• A/B testine başlamadan önce hipotezi gözleme dayandırın: "Kullanıcılar kargo seçeneğini fark etmediği için terk ediyor; seçeneği öne alırsak terk azalır."
• Ölçütü ve testin ne kadar süreceğini önceden belirleyin; sonuç beklediğiniz gibi çıkınca testi erken durdurmak yanıltıcı kazananlar üretir.
• Kullanılabilirlik testinde katılımcıları gerçek hedef kitleden seçin; ekip arkadaşlarıyla yapılan test, ürünü zaten bilen kişilerin davranışını gösterir.
• Kullanılabilirlik testindeki tek bir katılımcının görüşünü genel bir gerçek gibi sunmayın; nedeni gösterir ama yaygınlığını kanıtlamaz.
• A/B testinde kaybeden sürümü "başarısız fikir" diye kapatmadan önce, kullanıcıların onu nasıl deneyimlediğini kısa bir gözlemle kontrol edin.