Kullanılabilirlik Testinde Moderatör Olsun mu? İki Yöntemin Karşılaştırması
Moderasyonlu testte bir araştırmacı oturumu canlı yönetir ve katılımcının takıldığı yerde "neden" diye sorabilir. Moderasyonsuz testte katılımcı görevleri yalnız başına, ekranı ve sesi kaydedilerek tamamlar. Seçim, öğrenmek istediğiniz şeyin derinliğine ve ne kadar hızlı, kaç kişiden öğrenmek istediğinize bağlıdır.
Bir bakışta
- Moderatör, araştırmaya esneklik ve derinlik katar. Beklenmedik bir davranış görüldüğünde takip sorusu sorulabilir, görev akışı oturum içinde uyarlanabilir.
- Moderasyonsuz test, aynı görevi daha çok kişiye daha hızlı yaptırır. Katılımcılar kendi zamanlarında katılır; araştırmacının her oturumda bulunması gerekmez.
- Moderasyonsuz testte görev metni moderatörün yerini tutar. Belirsiz bir görev yönergesi, kimsenin düzeltemeyeceği bir hataya dönüşür; pilot oturum bu yüzden şarttır.
- Erken ve belirsiz sorular moderatör ister, olgun ve net sorular istemeyebilir. Kavram ve prototip keşfinde moderasyonlu, belirli bir akışın sorunsuz çalışıp çalışmadığını doğrulamada moderasyonsuz test öne çıkar.
Ortak zemin: aynı amaç, farklı oturum düzeni
Moderasyonlu ve moderasyonsuz test, aynı yöntemin iki uygulama biçimidir. İkisinde de hedef kitleyi temsil eden katılımcılara gerçekçi görevler verilir, katılımcının ekranda ne yaptığı izlenir ve arayüzün nerede zorluk çıkardığı bulunur. İkisi de tıklanabilir bir prototip ya da yayındaki ürün üzerinde yapılabilir ve ikisi de yüz yüze ya da uzaktan kurulabilir.
Fark, oturum sırasında bir araştırmacının bulunup bulunmamasıdır. Moderasyonlu testte araştırmacı katılımcıyla aynı odada ya da görüntülü görüşmede birlikte olur; görevleri verir, katılımcıyı yönlendirmeden izler ve gerektiğinde "Burada ne bekliyordunuz?" gibi takip soruları sorar. Moderasyonsuz testte ise katılımcı bir test platformuna girer, görevleri yazılı yönergelerden okur ve ekranı, sesi, bazen de yüzü kaydedilerek görevleri tek başına tamamlar. Araştırmacı kayıtları sonradan izler.
Bu tek fark, maliyetten veri derinliğine, katılımcı sayısından hazırlık yüküne kadar pek çok şeyi değiştirir.
Ölçüt ölçüt iki yöntem
- Ölçüt: Veri derinliği. Moderasyonlu: takip sorularıyla davranışın nedeni derinlemesine anlaşılır. / Moderasyonsuz: yalnız kayıtta görünen ve katılımcının kendiliğinden söylediği kadarı öğrenilir.
- Ölçüt: Esneklik. Moderasyonlu: görev sırası ve kapsamı oturum içinde uyarlanabilir. / Moderasyonsuz: görevler sabittir; yönerge yanlış anlaşılırsa oturum boşa gidebilir.
- Ölçüt: Hız ve ölçek. Moderasyonlu: her oturum araştırmacının takvimine bağlıdır, katılımcı sayısı sınırlı kalır. / Moderasyonsuz: oturumlar eşzamanlı ve katılımcının zamanında yapılır, daha çok kişiye hızla ulaşılır.
- Ölçüt: Hazırlık yükü. Moderasyonlu: oturum rehberi yeterlidir, eksikler oturumda kapatılır. / Moderasyonsuz: görev metinleri, başarı ölçütleri ve sorular kusursuz yazılmalı, mutlaka pilot yapılmalıdır.
- Ölçüt: Katılımcı davranışı. Moderasyonlu: araştırmacının varlığı katılımcıyı daha özenli ya da çekingen davranmaya itebilir. / Moderasyonsuz: katılımcı daha doğal davranabilir ama dikkati dağılabilir ya da görevi aceleyle geçebilir.
- Ölçüt: Uygun soru türü. Moderasyonlu: keşif soruları, karmaşık akışlar, hassas konular. / Moderasyonsuz: belirli görevlerin tamamlanıp tamamlanmadığı, kısa ve net akışlar, karşılaştırmalı sınamalar.
Özetle moderasyonlu test derinlik ve esneklik, moderasyonsuz test hız ve ölçek sağlar. Hangisinin değerli olduğunu araştırma sorusu belirler.
Hangi araştırma sorusu için hangisi
Yöntem seçiminde ilk bakılacak şey, sorunun ne kadar belirsiz olduğudur. Yeni bir ürün fikrinde ya da ilk prototipte, kullanıcıların arayüzü nasıl yorumladığını bilmiyorsunuzdur ve beklenmedik davranışları anında sorgulamak istersiniz; burada moderatör gerekir. Karmaşık bir iş yazılımında, örneğin birkaç ekranı ve rolü kapsayan bir onay akışında da moderatör, katılımcının bağlamını anlamak için kaçınılmazdır.
Soru netleştikçe moderasyonsuz test öne çıkar. "Kullanıcılar şifre sıfırlama akışını yardımsız tamamlayabiliyor mu?" ya da "Yeni menü düzeninde ürün kategorisi bulunabiliyor mu?" gibi sorular, kısa ve açık görevlerle ölçülebilir; daha çok katılımcı, sonucun daha güvenilir olmasını sağlar.
Hassas konular, örneğin sağlık ya da finans verisiyle ilgili akışlar, katılımcıya güven vermek ve rahatsızlığı fark etmek için genellikle moderatör ister. Erişilebilirlik testleri de yardımcı teknoloji kullanan katılımcılarla yapıldığında, kurulum sorunlarını çözebilecek bir moderatörle daha sağlıklı yürür.
Soru ne kadar belirsizse moderatöre o kadar ihtiyaç vardır
- Kullanıcıların yeni bir kavramı ya da prototipi nasıl yorumladığınıModerasyonlu testBeklenmedik davranışı anında sorgulayabilirsiniz.
- Karmaşık ya da hassas bir akışın neden zorladığınıModerasyonlu testBağlamı anlamak ve katılımcıya güven vermek için.
- Net bir görevin yardımsız tamamlanıp tamamlanmadığınıModerasyonsuz testKısa görevler, daha çok katılımcı, daha hızlı sonuç.
- İki tasarım seçeneğinden hangisinde görevin daha kolay yapıldığınıModerasyonsuz testAynı görevler iki gruba sabit biçimde verilir.
Moderasyonsuz test kurmanın püf noktaları
Moderasyonsuz testte oturumu kurtaracak kimse olmadığı için işin büyük kısmı hazırlıktadır. Görev metni, moderatörün yapacağı her açıklamayı tek başına üstlenmek zorundadır. "Ürünü sepete ekleyin" yerine "Bir arkadaşınıza doğum günü hediyesi arıyorsunuz; uygun bulduğunuz bir ürünü sepete ekleyin" gibi bir senaryo, katılımcıya hem bağlam hem de doğal bir hedef verir. Görev metni arayüzdeki buton adlarını tekrar etmemelidir; aksi halde katılımcı arayüzü anlamak yerine kelime avına çıkar.
Her görevin başarı ölçütü önceden yazılmalıdır: hangi ekrana ulaşınca görev tamamlanmış sayılır? Görev sonrasında kısa bir zorluk sorusu, kayıtta görünmeyen algıyı yakalar. Katılımcıdan sesli düşünmesini istemek, kaydın değerini büyük ölçüde artırır; bu isteği görevlerden önce kısa bir örnekle göstermek işe yarar.
Moderasyonsuz testin kalitesi oturumdan önce belirlenir
- Senaryoyu yazBağlam ve doğal hedef içeren, buton adlarını tekrar etmeyen görev metinleri hazırlayın.
- Başarıyı tanımlaHer görev için tamamlanma ekranını ve görev sonrası soruyu önceden yazın.
- Pilot yapBir ya da iki kişiyle deneyip yanlış anlaşılan yönergeleri düzeltin.
- Yayına alHedef kitleye uygun katılımcı seçim ölçütleriyle testi başlatın.
- Kayıtları izleGörev başarısını ve takılma anlarını kayıtlardan çıkarıp bulgulara dönüştürün.
İki yöntemi aynı projede birleştirmek
İki yöntem aynı araştırma döngüsünde birbirini tamamlayabilir. Kullanışlı bir sıra şöyledir: önce birkaç moderasyonlu oturumla kullanıcıların arayüzü nasıl düşündüğü ve hangi noktalarda zorlandığı keşfedilir. Bu oturumlar hem tasarım düzeltmelerini hem de moderasyonsuz test için daha iyi yazılmış görev metinlerini doğurur.
Tasarım düzeltildikten sonra, aynı görevler moderasyonsuz testle daha geniş bir katılımcı grubuna verilir. Bu tur, düzeltmenin farklı kullanıcı gruplarında da işe yarayıp yaramadığını hızla gösterir. Moderasyonsuz kayıtlarda açıklanamayan bir davranış görülürse, birkaç moderasyonlu oturumla geri dönülür.
Bu birleşim, bütçeyi de dengeler: araştırmacının zamanı en çok değer ürettiği keşif aşamasına harcanır, tekrarlayan doğrulama ise moderasyonsuz düzene bırakılır.
Sık yapılan hatalar
- Moderasyonlu testte katılımcıya yardım etmek: "Sağ üstteki menüye bakabilirsiniz" demek, sorunu çözüp kanıtı yok eder. Moderatör yönlendirmez, yalnız sorar: "Şu anda ne arıyorsunuz?"
- Moderasyonsuz testi pilot yapmadan başlatmak: tek bir belirsiz görev, tüm oturumların o kısmını kullanılamaz hale getirir.
- Moderasyonsuz testte çok uzun oturum kurmak: katılımcının dikkati dağılır, son görevler aceleyle geçilir.
- Katılımcıları hedef kitleden seçmemek: test platformlarında sık test yapan katılımcılar, sıradan kullanıcıdan farklı davranabilir; seçim ölçütleri ve eleme soruları bunu sınırlar.
- Kayıtları yalnız izleyip not almamak: bulgular görev, gözlenen davranış ve olası neden olarak düzenli kaydedilmezse ekip aynı kaydı tekrar tekrar izler.
İlgili Mindset programı
UX/UI Bootcamp
Sık sorulan sorular
Uzaktan test ile moderasyonsuz test aynı şey mi?
Hayır. Uzaktan test, katılımcı ile araştırmacının aynı fiziksel mekânda olmadığını anlatır; moderasyonsuz test ise oturumda araştırmacının bulunmadığını. Görüntülü görüşmeyle yapılan uzaktan bir oturum moderasyonludur, çünkü araştırmacı canlı olarak oradadır. Moderasyonsuz testler ise doğası gereği genellikle uzaktan yapılır. İki ayrımı karıştırmamak, yöntem seçerken asıl kararın moderatörün varlığı olduğunu görmeyi sağlar.
Moderatör olmak için hangi beceriler gerekir?
İyi bir moderatör tarafsız soru sorar, sessizliğe dayanabilir ve katılımcıya yardım etme isteğini bastırır. Katılımcıyı rahatlatmak, oturumun kendisini değil arayüzü sınadığını hissettirmek de işin parçasıdır. Oturum rehberine bağlı kalırken beklenmedik bir davranışın peşine düşmeyi bilmek, deneyimle gelişen bir beceridir. Başlangıçta deneyimli bir araştırmacının oturumlarını izlemek ve kendi oturumlarının kaydını sonradan eleştirel gözle izlemek hızlı öğrenmeyi sağlar.
Prototip moderasyonsuz teste hazır mı, nasıl anlaşılır?
Moderasyonsuz testte katılımcı prototipin eksik kalan bir ekranına ulaştığında kimse "Bu kısım henüz hazır değil" diyemez. Bu yüzden görevlerin geçtiği tüm yolların tıklanabilir olması, çıkmaz sokakların ya kapatılması ya da görevin dışında bırakılması gerekir. Pilot oturumda katılımcının beklenmedik bir yola sapıp sapmadığına özellikle bakın. Prototip yalnız ana akışı kapsıyorsa ve kullanıcıların farklı yollar deneyeceğini düşünüyorsanız, moderasyonlu test daha güvenli seçimdir; moderatör çıkmaz noktada katılımcıyı akışa geri döndürebilir.
Moderasyonsuz testte sesli düşünme yeterince işe yarar mı?
İşe yarar ama moderasyonlu testteki kadar sürekli değildir. Katılımcılar zorlandıkları anda susmaya eğilimlidir ve onları hatırlatacak kimse yoktur. Görev öncesinde kısa bir örnekle sesli düşünmeyi göstermek, görev aralarına "Şu ana kadar ne düşündünüz?" türünden kısa yazılı sorular eklemek ve görev sonrası açık uçlu bir soru sormak, kayıttaki sessiz anların anlamını yakalamaya yardım eder.
Bulgular paydaşlara nasıl sunulmalı?
İki yöntemde de en ikna edici kanıt, kısa kayıt kesitleridir: bir katılımcının bir butonu aradığı kısa bir an, uzun bir rapordan daha etkilidir. Bulguları görev, gözlenen davranış, olası neden ve öneri biçiminde düzenlemek tartışmayı somutlaştırır. Moderasyonlu oturumlardan gelen alıntılar nedeni, moderasyonsuz turdaki görev başarısı ise sorunun yaygınlığını gösterir; ikisini yan yana sunmak öncelik kararını kolaylaştırır.