Açık Uçlu Anket Yanıtlarını Yapay Zekayla Kodlamak ve Temalara Ayırmak

Açık uçlu yanıtlar neden analiz edilmeden kalır

Anketlerin kapalı soruları kolay özetlenir; açık uçlu sorular ise en zengin bilgiyi taşıyıp en az kullanılan veridir. Çalışan anketinde yöneticiye neden bağlı hissetmediğinizi anlatın dendiğinde gelen yüzlerce serbest metin, kimsenin baştan sona okuyamayacağı bir yığın oluşturur. Sonuçta yanıtlar rapora birkaç anekdot olarak girer, geri kalanı kullanılmaz.

Kodlama, bu yığını anlamlı gruplara ayırma işidir. Elle yapıldığında yavaştır ve kodlayıcıya göre değişir: iki kişi aynı cümleye farklı etiket verebilir. Büyük dil modelleri bu işi hızlandırır; yanıtları okuyup kod önerir, tutarlı biçimde etiketler. Ama model kendiliğinden doğru tema üretmez. Yöntemi siz kurarsınız, model uygulama gücü sağlar, doğrulamayı yine insan yapar.

Bu sayfa duygu analizinden farklıdır. Duygu analizi bir yanıtın olumlu ya da olumsuz olduğunu söyler; tematik kodlama ise yanıtın neyle ilgili olduğunu çıkarır. İkisi birbirini tamamlar ama aynı soruyu cevaplamaz.

Yanıttan temaya: hiyerarşiyi kurmak

Tematik analiz, ham yanıttan başlayıp daha genel kavramlara çıkan bir hiyerarşi kurar. En altta müşterinin ya da çalışanın yazdığı gerçek cümleler durur. Bunların üstünde kısa etiketler, yani kodlar vardır: iş yükü, yönetici geri bildirimi, kariyer yolu gibi. Benzer kodlar alt temalarda, alt temalar da raporun ana başlıklarını oluşturan temalarda birleşir.

Braun ve Clarke'ın tanımladığı yaklaşımda süreç; veriyle tanışma, kodlama, tema oluşturma, temaları gözden geçirme, tanımlama ve yazıya dökme aşamalarından geçer. Bu aşamalar çizgisel değil, tekrarlıdır: tema oluştururken koda, koda bakarken ham yanıta geri dönülür. Yapay zeka, kodlama ve ilk tema önerisi aşamalarında hız kazandırır; temaların anlamlı olup olmadığına karar vermek ise analistin işidir.

Hiyerarşiyi baştan sona modele bırakmak yerine, aşamaları ayırın. Önce kodları çıkartın ve inceleyin, sonra tema önerisi isteyin. Her adımın çıktısını görmek, hatayı erken yakalamanızı sağlar.

Veriyi hazırlamak ve gizliliği korumak

Model çalışmadan önce veriyi hazırlayın. Boş, anlamsız ya da tamamen tekrar eden yanıtları ayırın, ama atmadan önce ne kadarını attığınızı kaydedin. Her yanıta benzersiz bir kimlik atayın; sonradan hem doğrulama hem alıntı doğrulama bu kimliğe dayanır.

İkinci konu gizliliktir. Çalışan anketlerindeki yanıtlar adı yazılmasa bile kimliği ele verebilir: bir birimdeki tek kıdemli yöneticiye gönderme yapan cümle, kim olduğunu açığa çıkarır. Yanıtları bir yapay zeka hizmetine göndermeden önce kurumunuzun veri politikasına bakın, isim, telefon ve e-posta gibi tanımlayıcıları temizleyin ve gerekiyorsa verinin kurum dışına çıkmayacağı bir çözüm kullanın. Yanıtları anketi uygulayan kişilerle paylaşırken de yanıtın kime ait olduğunu belirsiz tutun.

Bu hazırlık çoğu zaman analizin kendisinden uzun sürer ama sonuçların güvenilirliği ona bağlıdır.

Kod kitabı oluşturmak ve modele öğretmek

Kodlamanın omurgası kod kitabıdır. Her kod için bir ad, kısa tanım, ne zaman kullanılacağı, ne zaman kullanılmayacağı ve bir örnek yanıt yazılır. Kod kitabını önce yanıtların küçük, rastgele bir örneklemiyle taslak olarak çıkarmak iyi bir yoldur: modele örnek yanıtları verip kodları serbestçe önermesini istersiniz, sonra çıktıyı siz sadeleştirirsiniz.

Sonra modele kod kitabını verip her yanıtı etiketlemesini isteyin. İsteminizde şunlar bulunsun: kodların tam listesi, bir yanıtın birden fazla koda girebileceği, hiçbirine uymayan yanıtlar için diğer etiketi, belirsiz yanıtlar için belirsiz etiketi ve her kod için yanıttan bir alıntı gösterme şartı. Alıntı şartı, modelin yanıtta olmayan şeyi kodlamasını zorlaştırır.

İstemin sonunda çıktıyı sabit biçimde isteyin: yanıt kimliği, kod, alıntı. Sabit biçim, tabloya aktarmayı ve sonradan doğrulamayı kolaylaştırır. Modelin kod kitabının dışında yeni kod uydurmasına izin vermeyin; yeni bir kod gerekiyorsa onu siz eklersiniz.

Doğrulama: modele ne kadar güvenebilirsiniz

Modelin kodları makul görünür, ama makul görünmek doğru olmak demek değildir. Üç kontrol yapın. Birincisi alıntı kontrolüdür: modelin gösterdiği alıntının gerçekten o yanıtta geçip geçmediğini programla doğrulayın. İkincisi örneklem kontrolüdür: rastgele seçilmiş yanıtları siz kodlayıp model sonuçlarıyla karşılaştırın. Üçüncüsü tutarlılıktır: aynı yanıtı farklı sıralarda ya da tekrar gönderip aynı kodu alıp almadığınıza bakın.

Alıntı kontrolü pandas ile kısa bir satırdır:

sonuc["alinti_var"] = sonuc.apply(lambda s: s["alinti"] in s["yanit"], axis="columns")

İnsan ve model etiketlerinin uyumunu sayısallaştırmak için Cohen'in kappa katsayısı kullanılabilir. scikit-learn belgelerine göre kappa, iki kodlayıcının uyumunu şansa bağlı uyumu çıkararak ölçer; tam uyum bir uçta, şansa bağlı uyum sıfırda durur:

from sklearn.metrics import cohen_kappa_score kappa = cohen_kappa_score(insan_etiketleri, model_etiketleri)

Belgeler iyi ya da zayıf uyum için bir eşik vermez; eşiği çalışmanızın niteliğine göre kendiniz ve ilgili alan yazınına bakarak belirlersiniz. Yorumlayıcı tematik analizde ise uyum skorunun kalite göstergesi sayılmadığını hatırlayın; orada güvenilirlik, analistin gerekçeli yorumundan gelir.

Sayılara ve rapora dönüştürmek

Kodlar doğrulandıktan sonra her temanın kaç yanıtta geçtiğini sayabilir ve puan, birim ya da dönem gibi kapalı soru verileriyle çaprazlayabilirsiniz. Örneğin düşük bağlılık puanı veren çalışanlar en çok hangi temadan söz ediyor? Bu soru, açık uçlu yanıtı yalnızca anlatı olmaktan çıkarıp karar verilerine bağlar.

Raporda her tema için üç öğe bulunsun: kısa bir tanım, sıklık ve birkaç gerçek alıntı. Alıntıları seçerken yalnızca en çarpıcı olanı değil, temayı temsil edeni seçin ve kimliği belli olacak ayrıntıları çıkarın. Küçük gruplarda sıklıkla konuşmak yanıltıcı olabilir; yanıt sayısı az olan birimleri ayrı raporlamayıp birleştirmek hem anonimliği hem istatistiksel güveni korur.

Son olarak temalar eyleme bağlanmalıdır. Hangi tema hangi sorumluya gidiyor, hangi iyileştirme ne zaman gözden geçirilecek? Analiz, bu soruya cevap vermiyorsa yarım kalmıştır.

Sık yapılan hatalar

En büyük hata, tüm yanıtları tek seferde modele atıp çıkan temaları doğrudan raporlamaktır. Model, genel ve zararsız görünen temalar üretir; ayrıntı ve çelişki kaybolur. İkinci hata, kod kitabı olmadan çalışmaktır: model her seferinde farklı etiket adları üretir ve sonuçlar karşılaştırılamaz.

Üçüncü hata, alıntıyı doğrulamamaktır; model bazen yanıtta olmayan bir ifadeyi alıntı gibi sunar. Dördüncü hata, nadir ama önemli konuları göz ardı etmektir: sıklığı düşük bir tema, örneğin etik ihlali ya da güvenlik kaygısı, kritik olabilir. Bu yüzden sıklığa göre değil, önemine göre de değerlendirme yapın.

Beşinci hata, gizliliği geç düşünmektir. Veriyi göndermeden önce neyin paylaşılabileceğini belirleyin; sonradan geri alınamaz.

Bu beceriyi Mindset programlarında nerede çalışırsınız

Açık uçlu yanıt analizi, müşteri deneyimi, insan kaynakları ve araştırma ekiplerinin ortak ihtiyacıdır. Yapay Zeka Destekli İş Analitiği Uzmanlık Programı, yapay zeka ile istatistiksel içgörü ve veri keşfi modülünde veriyi yapılandırma ve içgörüye dönüştürme çalışmalarını içerir. Yapay Zeka ile İnsan Kaynakları programında çalışan deneyimi ve bağlılık başlığı, bu yöntemin çalışan anketlerine uygulanacağı alanı oluşturur.