Yapay zeka tasarımı kullanıcılarla nasıl test edilir ve değerlendirilir?

Neden olağan kullanılabilirlik testi yetmez?

Klasik bir kullanılabilirlik testi, arayüzün kullanıcıyı hedefe götürüp götürmediğini ölçer. Yapay zeka destekli ürünlerde buna ek olarak çıktının kalitesi, kullanıcının çıktıya güveni ve sistem yanıldığında kullanıcının toparlanabilmesi de ölçülmelidir. Aynı girdi farklı çıktı üretebildiği için tek bir test oturumu ürünün gerçek davranışını göstermez.

Bu nedenle değerlendirme farklı katmanlarda yürür: arayüz ve etkileşim katmanında kullanıcıyla yapılan testler, model çıktısı katmanında ise gerçekçi örnek girdilerle yapılan kalite incelemesi. Tasarımcı ikisini birbirinden ayırır ama birlikte okur; bir sorunun arayüzden mi model davranışından mı kaynaklandığını anlamak düzeltmenin kimde olduğunu belirler.

Test planı: görev senaryoları ve hata senaryoları

Plan, kullanıcının gerçek hedeflerinden türeyen görevlerle başlar: bir belgeyi özetletmek, bir soruya kaynaklı yanıt almak, bir taslağı düzenletmek. Görevleri hedef cümlesi olarak yaz, arayüz adımı olarak değil: kullanıcıya "şu belgeden toplantı notu çıkar" denir, "özetle düğmesine bas" denmez; böylece özelliği kendiliğinden bulup bulamadığı da görünür. Her görev için başarı ölçütü yaz: görevin tamamlanması, gereken düzeltme sayısı, kullanıcının yanıtı olduğu gibi mi yoksa düzenleyerek mi kullandığı.

Hata senaryolarını da plana ekle. Sistem kasıtlı olarak zayıf ya da yanlış bir çıktı verdiğinde kullanıcı bunu fark ediyor mu, nasıl düzeltiyor, hangi noktada pes ediyor? Bu senaryolar iyi gün testlerinde görünmeyen tasarım boşluklarını ortaya çıkarır. Katılımcıları gerçek hedef kitleden seç; yapay zeka konusunda deneyimli ve deneyimsiz kullanıcıları birlikte dahil etmek beklentilerin farkını gösterir.

Prototip yoksa: Oz büyücüsü yöntemi

Model henüz hazır değilse ya da çıktıları kontrol etmek istiyorsan Oz büyücüsü (Wizard of Oz) yöntemi kullanılır. Kullanıcı sistemle konuştuğunu düşünürken yanıtlar perde arkasında bir insan ya da hazırlanmış bir senaryo tarafından üretilir. Böylece arayüz ve etkileşim kararları model geliştirilmeden önce denenir.

Yöntemin dikkat noktası dürüstlüktür: test sonunda kullanıcıya gerçeği açıkla, çıktıların gerçek model kalitesini temsil etmediğini rapora yaz ve gerçek model hazır olduğunda testi tekrarla. Örneğin bir müşteri destek asistanı tasarlıyorsan, ekip üyesi önceden belirlenmiş yönergelerle yanıt verir; amaç yanıt kalitesini değil, sohbet akışının ve devir noktasının anlaşılırlığını ölçmektir.

Neyi ölçmeli: güven, doğruluk algısı ve çaba

Yapay zeka ürünlerinde aşağıdaki boyutlar standart ölçümlerin yanına eklenir: • Görev başarısı ve tamamlama süresi: klasik ölçümler hâlâ geçerlidir. • Güven kalibrasyonu: kullanıcı yanlış çıktıya fazla güveniyor mu, doğru çıktıdan şüphe ediyor mu? İdeal durum güvenin çıktının gerçek güvenilirliğiyle örtüşmesidir. • Düzeltme çabası: kullanıcı yanıtı kullanabilmek için ne kadar düzenleme yapıyor? • Anlaşılırlık: sistem neyi yapabildiğini ve yapamadığını kullanıcıya iletebiliyor mu? • Kontrol hissi: kullanıcı yönlendirebildiğini ve geri alabildiğini hissediyor mu?

Bunları gözlem notlarıyla, düşünerek yüksek sesle konuşma yöntemiyle ve test sonrası kısa anketle topla. Anket maddelerinde sistemin çıktısına ne kadar güvendiğini ve çıktıyı ne kadar kullandığını ayrı sor.

Model çıktısını değerlendirme: örnek kümesiyle çalış

Arayüz testine paralel olarak gerçek kullanıcı girdilerinden bir örnek kümesi derle: tipik, zor ve uç durumlar. Bu kümeyi her sürümde aynı ölçütlerle puanla: doğruluk, eksiksizlik, ton, zararsızlık. Ölçütleri önceden yaz ve birden çok kişiyle puanlatıp anlaşmazlıkları tartış; böylece tek kişinin kanaatine dayanan bir değerlendirme olmaz.

Bulguları sınıflandır: model yanlış mı, arayüz yanlış beklenti mi yarattı, istem tasarımı mı eksik? Sınıf farklı ekibe işaret eder. Örneğin yanıt doğru ama kullanıcı onu fark etmediyse sorun arayüzdedir; yanıt yanlışsa model ya da veri ekibine gider.

Örnek oturum: belge özetleyici

Örneğin bir belge özetleme özelliğini test ediyorsun. Oturum kısa bir tanışma sorusuyla başlar, ardından katılımcıdan kendi iş belgelerine benzer bir metni özetletmesi istenir. Sen düşünerek yüksek sesle konuşmasını hatırlatır ve yönlendirmeden izlersin.

İlk görevde özet doğrudur. İkinci görevde özetin içine kasıtlı olarak bir hata yerleştirilmiştir. Katılımcının hatayı fark edip etmediğine, kaynak metne dönüp dönmediğine ve özeti düzeltmeden kullanıp kullanmadığına bakarsın. Oturum sonunda sorulacak sorular: Özete ne kadar güvendin? Neden? Hangi bilgi eksikti? Bu çıktıyı işinde olduğu gibi kullanır mıydın?

Bu örnek sayesinde yalnızca arayüzün anlaşılır olup olmadığı değil, güvenin doğru yere konup konmadığı da görülür.

Testte sık yapılan hatalar da bellidir: • Yalnızca iyi çalışan örneklerle test etmek ve sistem hatasını hiç denememek. • Katılımcıya sistemin yapay zeka olduğunu anlatıp beklentiyi baştan yükseltmek ya da düşürmek. • Tek oturumdaki izlenimi genelleyip çıktının değişkenliğini görmezden gelmek. • Kullanıcı beğenisini doğruluk ile karıştırmak: kullanıcı yanlış bir çıktıyı beğenebilir. • Bulguları arayüz ve model ayrımı yapmadan tek bir listeye yazmak, sorumluluğu belirsiz bırakmak.

Bulguları tasarıma çevir ve izle

Test sonunda bulguları önem ve sıklığa göre sırala ve her bulgu için tasarım değişikliği öner: bir uyarı metni, kaynak gösterimi, daha net bir geri alma düğmesi, bir ek onay adımı. Değişikliği uygulayıp aynı görevlerle kısa bir doğrulama turu yap.

Canlıya çıktıktan sonra değerlendirme bitmez. Geri bildirim sinyallerini, vazgeçilen oturumları ve kullanıcı düzeltmelerini izle; bunlar tasarımın gerçek dünyadaki sağlığını gösterir. Sorumlu ve kapsayıcı tasarım bakışıyla farklı kullanıcı gruplarında çıktı kalitesinin eşit olup olmadığını da düzenli kontrol et.

Mindset programlarında nerede çalışılır?

Bu beceri, yapay zeka ürünü geliştiren UX tasarımcıları, kullanıcı araştırmacıları ve ürün yöneticileri için gereklidir. Yapay Zeka Tasarımcısı Programının Yapay Zeka Tasarımı Test ve Değerlendirme modülü bu konuya ayrılmıştır; Yapay Zeka için Kullanıcı Araştırması ve Sorumlu ve Kapsayıcı Yapay Zeka Tasarımı modülleriyle birlikte okunduğunda araştırmadan teste kadar bir zincir oluşur.