Sistem Kullanılabilirlik Ölçeği (SUS) ile ürün ölçümü

SUS anketi nedir, neyi ölçer?

SUS (System Usability Scale, Sistem Kullanılabilirlik Ölçeği), bir ürün, uygulama ya da sistemin kullanılabilirliğini kısa bir anketle ölçen, yaygın kullanılan standart ölçektir. Kullanıcıya sistemi kullandıktan sonra birtakım ifadeler sunulur; kullanıcı her ifadeye ne ölçüde katıldığını belirtir. Cevaplar bir formülle tek bir puana dönüştürülür.

Ölçeğin gücü sadeliğindedir. Kısa olduğu için doldurması kolaydır, farklı ürünlere ve farklı kullanıcı gruplarına uygulanabilir. Aynı ölçek zamanla tekrarlandığında, bir tasarım değişikliğinin kullanılabilirliği iyileştirip iyileştirmediğini sayıyla göstermeye yarar.

SUS neyi ölçmez? Ürünün hangi ekranında, hangi adımda sorun olduğunu söylemez. Genel bir algı puanı verir; nedenini bulmak için kullanılabilirlik testleri, gözlem ya da görüşme gerekir. Bu yüzden SUS tanılayıcı değil, ölçüm aracıdır: "iyi miyiz, iyileştik mi, rakibe göre neredeyiz?" sorularına cevap verir.

Ne zaman SUS, ne zaman başka ölçek kullanılır?

Kullanılabilirlik ölçümü için birkaç ölçek vardır ve her biri farklı bir ihtiyaca uyar.

• SUS: Ürünün genel kullanılabilirliğini, bir oturumun ya da dönemin sonunda ölçmek için kullanılır. Genel algıya bakar.
• SEQ (Single Ease Question, tek zorluk sorusu): Kullanıcı bir görevi bitirir bitirmez tek bir soruyla görevin ne kadar kolay olduğunu puanlar. Görev bazlı ölçüm sağlar.
• UMUX-Lite: Çok kısa, yalnızca birkaç ifadeden oluşan bir ölçektir; yararlılık ve kullanım kolaylığını yakalar. Çok kısa tutulması gereken anketler için seçilir.

Seçim, ölçmek istediğiniz düzeye bağlıdır. Görev düzeyinde bir sorun arıyorsanız SEQ, ürünün tamamı hakkında bir puan istiyorsanız SUS, uzun anket kabul edilmeyecek bir ortamda ise UMUX-Lite uygundur. Ekipler SEQ'yu görevlerin ardından, SUS'u oturum sonunda birlikte kullanır.

Ölçüm nasıl planlanır?

Ölçümü planlamadan önce açık bir soru belirlenir: ürünün genel kullanılabilirliğini mi izliyoruz, yeni tasarımı eskisiyle mi karşılaştırıyoruz, rakiple mi kıyaslıyoruz? Soru netleşmeden kurgu yapılırsa sonuç yorumlanamaz.

Planlama şu başlıkları içerir. Katılımcı seçimi: Ürünün gerçek kullanıcı kitlesini temsil eden kişiler seçilir. Sistemi hiç kullanmamış birine SUS vermek anlamlı bir sonuç üretmez; ölçek, ürünle bir miktar deneyim kazanmış kullanıcıya uygulanmalıdır. Zamanlama: Anket, kullanıcı sistemi kullandıktan hemen sonra doldurulur. Önce anket, sonra konuşma düzeni takip edilirse görüşme sırasında yönlendirme etkisi azalır. Örneklem büyüklüğü: Küçük örneklemlerle genel eğilim görülebilir, ancak gruplar arası karşılaştırma yapılacaksa daha geniş katılımcı gerekir. Kesin sayı ihtiyaç ve istatistiksel güvene göre belirlenir.

Ölçek ifadeleri değiştirilmeden kullanılır. Ürüne uyarlamak için "sistem" kelimesi ürün adıyla değiştirilebilir, ancak anlamı değiştiren düzenlemeler sonucu karşılaştırılamaz hâle getirir.

Veri toplama ve puanlama

Anket, kâğıt üzerinde, çevrim içi form üzerinde ya da kullanılabilirlik test oturumu sonunda uygulanabilir. İfadeler dönüşümlü olarak olumlu ve olumsuz yazılmıştır; bu, kullanıcının düşünmeden aynı kutuyu işaretlemesini zorlaştırır.

Puanlama şu mantıkla işler. Olumlu ifadelerde yüksek katılım yüksek puan getirir; olumsuz ifadelerde puanlama tersine çevrilir. Tüm katkılar toplanır ve sonuç, ölçeğin standart formülüne göre tek bir genel puana dönüştürülür. Bu formülün ayrıntıları ölçeği tanımlayan kaynaklarda yer alır ve ölçeğin birebir uygulanabilmesi için doğrulanmış kaynaktan alınmalıdır; formülü elle uydurmak sonucu bozar.

Hesaplamada dikkat edilecek noktalar: eksik cevap veren katılımcılar tutarlı bir kuralla ele alınmalıdır (örneğin dışarıda bırakmak). Ham puan her kullanıcı için hesaplanır, ardından grup ortalaması ve dağılımı raporlanır. Yalnızca ortalamaya bakmak yetmez; sonuçlar arasındaki yayılım da yorum için önemlidir.

Sonuçlar nasıl yorumlanır ve raporlanır?

Tek başına bir SUS puanı sınırlı bilgi verir. Anlamlı hale gelmesi için bir referansla karşılaştırılması gerekir: ürünün önceki sürümü, rakip ürün, sektör ortalaması ya da ekibin belirlediği hedef. Literatürde puanları kategorilere ve harf notlarına bağlayan yorum tabloları vardır; bu eşiklerin hangi kaynağa dayandığı raporda belirtilmeli ve karşılaştırma aynı kaynaktan yapılmalıdır.

Raporlama yaparken şunlar yer alır: ölçümün amacı, katılımcı profili ve sayısı, uygulama yöntemi, genel puan ve dağılım, karşılaştırma noktası ve sınırlılıklar. Örnek olarak, bir mobil uygulamanın yeni arayüzünde puan eskisine göre yükselmişse, bu yükselmenin istatistiksel olarak anlamlı olup olmadığı küçük örneklemde dikkatle değerlendirilir.

Sayıdan sonra nedeni bulmak gerekir. Puan düşükse hangi görevlerde sorun yaşandığı SEQ sonuçlarına, kullanıcı testlerinin gözlemlerine ve açık uçlu yorumlara bakılarak belirlenir. Böylece ölçüm bir karne olmaktan çıkar, iyileştirme planının girdisi olur.

Sık yapılan hatalar

SUS'un basitliği yanıltıcıdır; hatalar sıklıkla uygulama kurgusundan gelir.

• Ürünü hiç kullanmayan kişilere anket vermek.
• Ölçek ifadelerini değiştirmek ve sonucu standart ölçekle karşılaştırmak.
• Puanı tek başına "iyi" ya da "kötü" olarak yorumlamak; referans noktasını belirtmemek.
• Puanı sorun tanısı gibi kullanmak. SUS neyin bozuk olduğunu söylemez.
• Küçük örneklemle kesin istatistiksel iddialarda bulunmak.
• Her ürünü aynı eşikle değerlendirmek. Ürün türü ve kullanıcı kitlesi beklentiyi değiştirir.
• Ölçümü bir kez yapıp bırakmak. Asıl değer tekrarlayan ölçümden gelir.

Bu hataların çözümü ölçümün amacını baştan netleştirmek, standart uygulamaya sadık kalmak ve niteliksel yöntemlerle desteklemektir.

Mindset programlarında nerede çalışılır?

Mindset kataloğundaki Kullanılabilirlik Benchmark Ölçümü: SUS, SEQ ve UMUX-Lite eğitimi bu konuya odaklanır. Modül başlıkları şunlardır: Kullanılabilirlik Ölçümünün Çerçevesi, Ölçeklerin Uygulanması, Veri Toplama ve Hesaplama, Yorumlama ve Raporlama.

Eğitim, ölçeklerin seçilmesinden, uygulanmasından ve elde edilen verinin raporlanmasına kadar bütün akışı tek çatı altında ele alır.