Yapay zeka kullanıcılarının güvenini ve beklentisini araştırma yöntemleri

Yapay zeka ürünlerinde araştırma neden farklıdır?

Geleneksel bir arayüzde aynı eylem her zaman aynı sonucu verir. Yapay zeka ürününde çıktı olasılıksaldır: aynı girdiye her seferinde aynı yanıt gelmeyebilir, model bazen yanılır, kullanıcı bunu nasıl yorumlayacağını bilmez. Bu nedenle araştırmanın odağı yalnızca 'arayüz anlaşılıyor mu' sorusundan 'kullanıcı çıktıya ne kadar güveniyor ve hata olduğunda ne yapıyor' sorusuna genişler.

Bir başka fark beklentidir. Kullanıcılar yapay zekadan ya çok fazlasını bekler ya da hiç güvenmez. Araştırma, bu beklentinin gerçek yetenekle ne kadar örtüştüğünü anlamayı hedefler. Son fark ise veridir: davranış ve geri bildirim verisi modelin kendisini de iyileştirebilir, bu yüzden araştırma ile model geliştirme döngüsü birbirine bağlanır.

Araştırmaya nereden başlanır?

Başlamadan önce şunları netleştirin: Hangi kullanıcı görevi için yapay zeka kullanılıyor, bu görev bugün nasıl yapılıyor ve yapay zekanın hata yapması durumunda kullanıcıya maliyeti ne? Bu yanıtlar araştırma sorularını belirler.

Örneğin bir randevu özetleme özelliği düşünün. Araştırma soruları şunlar olabilir: Kullanıcılar özetlere hiç düzeltme yapmadan mı güveniyor? Önemli bir bilginin eksik kalmasını fark ediyorlar mı? Özeti kopyalayıp başka bir yere mi aktarıyorlar, yoksa yeniden mi yazıyorlar?

Bu sorular hem görüşmelerle hem de kullanım verisiyle yanıtlanabilir. Önce hızlı ve ucuz yöntemlerle (kullanıcı görüşmeleri, mevcut destek talepleri, ürün içi geri bildirim) başlayıp, sorular netleştikçe daha yapılandırılmış çalışmalara geçmek çoğu ekip için verimlidir.

Nitel yöntemler ve araç seti

Yapay zeka ürünlerinde işe yarayan nitel yöntemlerin başında derinlemesine görüşmeler gelir: kullanıcının mevcut iş akışını, yapay zekaya bakışını ve geçmiş deneyimlerini anlatmasını sağlar. Kullanılabilirlik testleri, kullanıcının gerçek bir görevi yapay zekayla birlikte tamamlamasını izlemeye yarar; burada 'sesli düşünme' yöntemi güven ve kafa karışıklığı anlarını açığa çıkarır.

Yapay zekaya özgü yöntemler de vardır. Sihirbaz Oz (Wizard of Oz) denemesinde model henüz hazır değilken yanıtı gizlice bir insan verir; böylece özelliğe duyulan ihtiyaç ve beklenti model yatırımından önce sınanır. Günlük ya da güncel kullanım çalışmaları, kullanıcının özelliği haftalar içinde nasıl benimsediğini gösterir. Kart sıralama ya da senaryo tabanlı sorular, yapay zekanın açıklama dilini test etmek için kullanılabilir.

Tüm bu yöntemlerde katılımcı seçimi önemlidir: yapay zekaya meraklı kullanıcılar ile şüpheci olanlar çok farklı şeyler söyler; ikisini de örnekleme dahil edin.

Nicel veri ve kullanım analitiği

Görüşmeler 'neden'i, kullanım verisi 'ne kadar' sorusunu yanıtlar. Yapay zeka özelliklerinde izlenecek davranışlar şunlardır: öneri kabul ya da reddedilme sıklığı, çıktının düzeltilme oranı, kullanıcının sonucu yeniden üretme (tekrar deneme) davranışı, özelliği terk ettiği adımlar ve özelliğe geri dönüş.

Anket ile güven ve memnuniyet ölçmek de yaygındır. Soruları dikkatli yazın: 'Yapay zeka sonuçlarına güveniyor musunuz' gibi genel sorular yerine, belirli bir görevde 'sonucu kullanmadan önce kontrol eder misiniz' gibi davranışa yakın sorular daha bilgilendiricidir.

A/B testi ile farklı açıklama dillerini ya da güven göstergelerini (örneğin kaynakların gösterilmesi) karşılaştırabilirsiniz. Nicel veriyle nitel bulguları birlikte okuyun: sayılar bir sorunun varlığını, görüşmeler nedenini gösterir.

Güven, açıklanabilirlik ve hata deneyimi

Yapay zeka araştırmasının merkezinde güven vardır. Hem aşırı güven (kullanıcının yanlış sonucu doğrulamadan kullanması) hem de yetersiz güven (doğru çıktıyı reddetmesi) sorundur. Araştırmanın amacı güvenin modelin gerçek güvenilirliğiyle uyumlu olmasıdır.

Bunun için şunları test edin: Kullanıcıya sonucun nasıl üretildiği ya da ne kadar emin olunduğu gösterilince davranış değişiyor mu? Hata yapıldığında kullanıcı bunu fark ediyor mu, düzeltmek kolay mı, geri alabiliyor mu? Model emin değilken bunu açıkça söylemek kullanıcıyı nasıl etkiliyor?

Hata deneyimi ayrıca çalışılmalıdır. Kullanıcıların modelin ilk yanlışına verdiği tepki, özelliği bırakıp bırakmayacaklarını belirler. Hata mesajlarının dili, yeniden deneme seçenekleri ve insana aktarma yolu araştırmada somut senaryolarla sınanmalıdır.

Bulguları ürün kararına dönüştürme

Araştırma, bulgular karar üretmedikçe değer taşımaz. Bulguları şu biçimde düzenleyin: gözlem, yorum, öneri ve güven düzeyi. 'Kullanıcılar özetleri doğrulamadan kullanıyor' bir gözlemdir; 'bu risklidir çünkü eksik bilgi fark edilmez' yorumdur; 'özette kaynak cümleleri vurgulanmalı' öneridir.

Bulguları ürün, veri bilimi ve tasarım ekipleri ile birlikte gözden geçirin. Bazı bulgular arayüzü (açıklama, onay adımı), bazıları modeli (belirli hata türlerini azaltma, daha fazla veri), bazıları ise beklentiyi (onboarding metni, sınırların anlatımı) değiştirmeyi gerektirir. Hangi bulgunun hangi ekibe gittiğini netleştirin.

Sürekli araştırma pratiği kurun: her sürümden sonra kısa bir kullanıcı denetimi, düzenli görüşme havuzu ve geri bildirim kanalı ürün olgunlaştıkça kullanıcı davranışının nasıl değiştiğini görmenizi sağlar.

Sık yapılan hatalar

• Yalnızca 'kullanıcılar yapay zekayı sever mi' diye sormak. Bu soru görev ve bağlam olmadan anlamsızdır.
• Mükemmel çalışan bir demo ile test etmek. Gerçek kullanımda model hatalıdır; hata anlarını da denemeye katın.
• Katılımcılara özelliğin yapay zeka olduğunu ya da olmadığını ima ederek beklentiyi yönlendirmek.
• Tek seferlik bir çalışma yapıp bırakmak. Kullanıcı güveni zamanla değişir.
• Kullanım verisini nedenini görüşme yapmadan yorumlamak.
• Gizlilik ve rıza konusunu atlamak: kullanıcı verisi araştırmada ya da model iyileştirmede kullanılıyorsa bu açıkça belirtilmelidir.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Yapay Zeka Ürünü için Kullanıcı Araştırması eğitimi bu konuya odaklanır. Modül başlıkları arasında Yapay Zeka Araştırmasına Giriş, Nitel Araştırma Yöntemleri ve Araç Seti, Nicel Araştırma ve Kullanım Verisi, Kullanıcı Güveni ve Yapay Zeka Kabul Süreci, Bulgu Analizi ve Ürün Kararlarına Dönüştürme ile Sürekli Kullanıcı Araştırması Pratikleri yer alır. Ürün yöneticileri, UX araştırmacıları ve tasarımcılar için uygun bir başlıktır.

Yapay Zeka Ürün Yönetimi: Ürün Liderliği Programı ise araştırmayı ürün keşfi, gereksinimler, kullanıcı deneyimi ve metrik yönetimi ile birlikte ele alan daha geniş bir programdır. Kurumsal ekiplerde araştırma, tasarım ve ürün rollerinin aynı bulgulardan karar üretmesi hedefleniyorsa bu başlıklar birbirini tamamlar.